【機器學習平臺再進化:端到端MLOps】從ML平臺邁向ML生態圈系統,免寫程式就能自動產生多人協作全套ML流程

Line正式發布了一個公開的模型儲存庫MLU Market Place,來共享Line的資料集和模型,由Line負責提供運算環境和資料管理。目前只供Line內部使用,未來考慮對外開放。(圖片來源/Line)

早在2020年,Line在內部資料平臺IU(資訊大宇宙,Information Universe)上,打造出了一個機器學習平臺MLU(Machine Learning Universe),目的是希望如同IU扮演資料單一入口角色一樣,MLU成為資料科學家或工程師的ML單一入口,可以用來調度GPU資源、上傳ML程式,來訓練、測試ML模式,也能快速部署成對外提供的ML服務。這個MLU平臺目標就是要提供整合了ML 、Dev 和Ops這三種工作流程的MLOps平臺。

負責MLU產品的Line Plus公司MLU平臺產品經理Sunhyeong hong指出,為了大規模發展ML,Line早在3年前就打造了一個可以提供自動化ML流程的MLOps平臺。一開始只是為了控制資料科學家常用的Notebook開發環境,逐漸擴充到整個ML訓練流程,甚至延伸到部署、服務提供和監控。MLU平臺團隊也從3年的10人,現在擴編為30多人。

這個MLU平臺的確加速了Line擴大AI應用規模的速度,到了2021年底,已有100多個機器學習產品,橫跨20多個部門都靠MLU來開發和管理ML專案。

去年,MLU已涵蓋ML、Dev、Ops的大部分工作,去年更近一步針對模型表現監控,發站出了一套MLOps監控工具Lupus,讓專案成員更容易掌握ML模型的動態和品質,也可以即時重新訓練模型,修正模型預測的偏差。

到了今年,Line揭露了MLU持續優化MLOps平臺最新進展,不只是一套自動化ML流程,更要涵蓋ML專案從端到端的全套流程。

Sunhyeong hong指出,不只提供給一項ML服務設計者,開發工程師,甚至連行銷、企劃人員等都可以參與專案和共享ML專案的內容和知識,讓不同角色可以快速持續建立更多ML模型。「MLU要從一個單一MLOps平臺,成為一個ML生態圈平臺,這才是一個真正的端到端的ML流程平臺。」Sunhyeong hong強調。

最新版的MLU可以提供雲端伺服器環境,資料預先處理、模型訓練和驗證機制。也可以提供Jupyter Lab開發環境,讓開發人員使用與上線環境同樣的ML環境。除了利用Airflow來建立整個ML流程管理,也提供了一個GUI介面的設計工具,使用者就算不懂python語言,不用寫任何一行程式碼,也能夠組合ML流程元件,來建立一套ML流程。

MLU利用BentoML模型部署框架,自動用Docker容器將模型程式發布成一個微服務,也就容易擴充或縮小所部署的伺服器資源。

到了模型部署時,開發者不用介入,MLU平臺會進行十幾回自動化測試和優化伺服器環境,並自動將模型部署到一個可以自動擴充和有負載平衡的可靠環境中。

網頁設計最專業,超強功能平台可客製,窩窩以「數位行銷」「品牌經營」「網站與應用程式」「印刷品設計」等四大主軸,為每一位客戶客製建立行銷脈絡及洞燭市場先機,請問台中電動車哪裡在賣比較便宜可以到台中景泰電動車門市去看看總店:臺中市潭子區潭秀里雅潭路一段102-1號。電動車補助推薦評價好的iphone維修中心擁有專業的維修技術團隊,同時聘請資深iphone手機維修專家,現場說明手機問題,快速修理,沒修好不收錢住家的頂樓裝太陽光電聽說可發揮隔熱功效一線推薦東陽能源擁有核心技術、產品研發、系統規劃設置、專業團隊的太陽能發電廠商。網頁設計一頭霧水該從何著手呢? 回頭車貨運收費標準宇安交通關係企業,自成立迄今,即秉持著「以誠待人」、「以實處事」的企業信念台中搬家公司教你幾個打包小技巧,輕鬆整理裝箱!還在煩惱搬家費用要多少哪?台中大展搬家線上試算搬家費用,從此不再擔心「物品怎麼計費」、「多少車才能裝完」台中搬家公司費用怎麼算?擁有20年純熟搬遷經驗,提供免費估價且流程透明更是5星評價的搬家公司好山好水露營車漫遊體驗露營車x公路旅行的十一個出遊特色。走到哪、玩到哪,彈性的出遊方案,行程跟出發地也可客製,產品缺大量曝光嗎?你需要的是一流包裝設計Google地圖已可更新顯示潭子電動車充電站設置地點!!廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

在MLU入口網站,還提供了一套UI環境,ML專案經理只需要幾個點擊就可以快速建立專案,就能建立個別的ML執行實例。不只模型建立流程可以共享,透過MLU建立的整套ML開發程序,都可以和同一個ML專案的成員共享和溝通。

模型部署成服務,正式上線後,MLU也提供了視覺化儀表板機制,讓維運人員來監控模型的運作情況。

Sunhyeong hong表示,使用MLU來開發模型時,工程師不用面對基礎架構的問題,MLU已經部署在優化過的基礎架構。模型工程師可以聚焦在資料分析和模型開發上。工程師可以直接使用MLU統一建立環境,和專案成員共享。「整個過程都不用寫任何程式碼,只需透過MLU入口網站的UI介面,就能快速建立全套ML流程。」

這些MLU的再次進化,更加速Line的AI應用規模和廣度,統計到2022年10月,MLU所用的叢集,涵蓋了14,886核CPU和504核GPU,以及52TB記憶體。

MLU的使用者不只日本、韓國,還有來自泰國和臺灣,超過386個團隊,分散在33個公司,1,111人。 他們透過MLU建立了300個自動化流程,已經部署了107個模型在正式環境中運作。

MLU下一步目標要建立機器學習生態圈

就在今年11月,Line正式發布了一個公開的模型儲存庫MLU Market Place,來共享Line的資料集和模型,由Line負責提供運算環境和資料管理。「Line也正在打造一個新的工作流程,要建立一個有機社群,讓任何人可以討論和共享模型的知識和資料。」Sunhyeong hong透露:「MLU的下一步要建立一個有彈性和擴充性的機器學習生態圈。」

在MLU Market Place可以快速建立模型專案,還提供了模型展示空間(Showroom)可以快速部署模型來建立示範網頁。在一個像是模型商店街的網頁上,列出了可用的ML模型,或是 模型展示清單,就像到賣場購物一樣的挑選想要用的模型。

「目前Market Place只對Line內部開放,但未來計畫可以開放給更多人。」Sunhyeong hong在演講最後QA時興奮的透露。

  

https://www.ithome.com.tw/news/154631

您可能也會喜歡…