Meta開源可加速並簡化資料管理系統開發的統一執行引擎Velox

Meta開源與英特爾、字節跳動與Ahana共同開發的統一執行引擎,這是一個加速資料管理系統並簡化其開發的函式庫,Velox目前仍在開發中,但是已經被驗證可提高資料管理系統的效率和一致性,Meta認為,Velox有助於整合和統一資料管理系統,因此希望開源社群加入專案貢獻,加速函式庫開發和採用。

在Meta有數十個資料運算引擎,組成龐大的基礎設施生態系,以支撐Meta所提供的產品和服務,這些引擎處理著不同的工作負載,包括SQL分析、串流處理以及資料擷取等,而且在人工智慧和機器學習用例快速發展下,特徵工程、資料預處理和其他用於機器學習和服務的引擎和函式庫隨之增加。

Meta提到,雖然資料運算引擎有其相似之處,但是引擎大多是獨立發展,這種碎片化讓維護和改善這些系統變得困難,而且執行這些工作負載的硬體也會逐漸更新,最終導致系統具有不同的功能集和不一致的語義,降低整體資料功能集的生產力。

想知道最厲害的網頁設計公司嚨底家!

RWD(響應式網頁設計)是透過瀏覽器的解析度來判斷要給使用者看到的樣貌

最熱情、專業有口碑的網頁設計公司讓您的網站改頭換面。

推薦評價好的iphone維修中心

擁有專業的維修技術團隊,同時聘請資深iphone手機維修專家,現場說明手機問題,快速修理,沒修好不收錢

為了要解決這個問題,Meta打造了Velox來建構更高效的基礎設施架構,Meta提到,這是一個最新的統一執行引擎,目的是要加速資料管理系統,並且簡化開發。Velox統一了資料運算引擎常見的資料密集元件,但同時又可擴充和適應不同的計算引擎,其擴展原本僅能在個別引擎進行的最佳化,並且實現一致語義框架,如此能夠減少重複工作,提高重用性同時增加了效率和一致性。

Meta進一步解釋,資料運算引擎皆由相似的邏輯元件組成,包括語言前端、中介表示、最佳化程式、Runtime和執行引擎,而Velox提供建構執行引擎所需要的模塊,包括所有在單個主機執行的資料密集操作,像是表示式評估、聚合、排序和聯合等,簡言之就是資料平面。

Velox透過統一函式庫整合資料運算系統的執行引擎,能夠讓資料運算系統更具適應性,目前Meta已於十幾個資料系統整合Velox,包括Presto、Spark和TorchArrow,還有各種內部串流處理平臺、資料擷取系統和用於特徵工程的機器學習系統等。Meta希望透過建構開源社群來支援Velox專案,並且統一各資料運算引擎孤島,模糊機器學習基礎設施和傳統資料管理系統之間的界線。

https://www.ithome.com.tw/news/152868

如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站,提高曝光率!

以設計的實用美學觀點,規劃出舒適、美觀的視覺畫面,有效提昇使用者的心理期待,營造出輕鬆、愉悅的網站瀏覽體驗。

網頁設計公司推薦不同的風格,搶佔消費者視覺第一線

透過選單樣式的調整、圖片的縮放比例、文字的放大及段落的排版對應來給使用者最佳的瀏覽體驗,所以不用擔心有手機版網站兩個後台的問題,而視覺效果也是透過我們前端設計師優秀的空間比例設計,不會因為畫面變大變小而影響到整體視覺的美感。

推薦評價好的iphone維修中心

擁有專業的維修技術團隊,同時聘請資深iphone手機維修專家,現場說明手機問題,快速修理,沒修好不收錢

您可能也會喜歡…