BigCode釋出僅有11億參數的高效能程式語言模型SantaCoder

開放科學合作組織BigCode釋出了一個用於程式開發,具有11億參數的,能夠產生比更大型開源模型,更好的Python、Java與JavaScript程式碼生成和填充建議。BigCode現在於Huggingface網站提供SantaCoder演示,供任何人研究試用。

SantaCoder使用The Stack資料集訓練,由於研究人員想要訓練出一個相對小的模型,因此僅選擇目前流行的三種語言Python、Java與JavaScript。在訓練模型之前,研究人員先註解400個範例,並且建置完善的正規表示式規則,從程式碼中刪除了諸如電子郵件、金鑰和IP地址等敏感資訊。

研究人員藉由實驗不同的因素對模型造成的影響,發現有兩個做法能夠顯著提高模型效能,第一是積極過濾重複專案,另一項則是不篩選GitHub專案星數,研究人員表示,如果只選擇GitHub 5星專案的檔案,模型效能反而會明顯降低。

模型訓練完成後,研究人員使用MultiPL-E基準評估模型,MultiPL-E是一個支援18種程式語言的文字轉程式碼基準。SantaCoder從左至右生成和填充MultiPL-E中Python、Java與JavaScript部分程式碼,評估實驗證明,儘管SantaCoder只有1.1B,但效能優於規模較大擁有67億參數的InCoder,以及參數27億的模型CodeGen-multi。

網頁設計最專業,超強功能平台可客製,窩窩以「數位行銷」「品牌經營」「網站與應用程式」「印刷品設計」等四大主軸,為每一位客戶客製建立行銷脈絡及洞燭市場先機,請問台中電動車哪裡在賣比較便宜可以到台中景泰電動車門市去看看總店:臺中市潭子區潭秀里雅潭路一段102-1號。電動車補助推薦評價好的iphone維修中心擁有專業的維修技術團隊,同時聘請資深iphone手機維修專家,現場說明手機問題,快速修理,沒修好不收錢住家的頂樓裝太陽光電聽說可發揮隔熱功效一線推薦東陽能源擁有核心技術、產品研發、系統規劃設置、專業團隊的太陽能發電廠商。網頁設計一頭霧水該從何著手呢? 回頭車貨運收費標準宇安交通關係企業,自成立迄今,即秉持著「以誠待人」、「以實處事」的企業信念台中搬家公司教你幾個打包小技巧,輕鬆整理裝箱!還在煩惱搬家費用要多少哪?台中大展搬家線上試算搬家費用,從此不再擔心「物品怎麼計費」、「多少車才能裝完」台中搬家公司費用怎麼算?擁有20年純熟搬遷經驗,提供免費估價且流程透明更是5星評價的搬家公司好山好水露營車漫遊體驗露營車x公路旅行的十一個出遊特色。走到哪、玩到哪,彈性的出遊方案,行程跟出發地也可客製,產品缺大量曝光嗎?你需要的是一流包裝設計Google地圖已可更新顯示潭子電動車充電站設置地點!!廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

SantaCoder使用開發和負責任人工智慧授權OpenRAIL,更重要的是,由於要讓開發者可以安心的使用SantaCoder,研究人員開發了一個程式碼歸屬查詢介面,讓用戶可以查詢SantaCoder生成程式碼的歸屬。

當開發者使用SantaCoder產生程式碼的時候,結果可能包含預訓練資料集程式碼的副本,研究人員提到,在這種情況下,程式碼的授權可能會要求開發者遵守部分要求,而透過使用程式碼歸屬查詢功能,用戶便可以找到程式碼的來源,遵守程式碼庫特定授權要求。

https://www.ithome.com.tw/news/154890

您可能也會喜歡…