關於chatGPT爆火，張宏江這篇分享講透了，大模型正成為AI浪潮的重要拐點｜鈦媒體T-EDGE
2022年12月22-23日，在中國北京舉辦，本次大會主題為“十年致敬·生態重塑”，邀請全球創新領袖一起複盤過去十年產業變革的跌宕起伏，展望下一個十年經濟發展的核心動能。
12月22日，美國國家工程院外籍院士、北京智源人工智能研究院理事張宏江在鈦媒體2022T-EDGE大會上發表了《ChatGPT和AIGC爆火背後，Al 大模型的發展和機遇》的主題演講。
張宏江在演講中表示，ChatGPT和AIGC（生成式人工智能）技術爆火背後，代表着人工智能（AI）大模型進入一個新的技術範式，同時也是第三波 AI 浪潮經過十幾年發展之後一個非常重要的拐點。
據悉，早在1956年夏天，計算機科學家約翰·麥卡錫（John McCarthy）等人在具有傳奇色彩的“達特茅斯會議”上創造“人工智能”這個術語，被認為標志著 AI 的正式誕生。在之後半個世紀當中，計算機技術飛速進步，AI 也影響着全世界的技術變革與發展。
全球共經歷了三次 AI 浪潮。相對於前兩次浪潮由於數據量不夠、算法不強、商業化不如預期等因素，讓所有人期盼的十年“AI 效應”看法泡沫破滅。如今第三次 AI 浪潮，AI 算法、算力、數據“三駕馬車”同步突破，尤其是如今的 AI 大模型帶來的發展機會和機遇。
此次演講中，張宏江圍繞基於GPT-3技術的ChatGPT、AIGC的前沿趨勢、技術應用，從而詳細闡述 AI 大模型的產業發展機會與機遇。
首先，OpenAI 開發的GPT-3技術，基於Transformer預訓練語言模型架構、深度學習網絡架構發展進步，向我們展示了從算法到工程上的一系列突破，是工程化能力的典型代表。
從對話式文本問答平台ChatGPT模型來看，基於WebGPT和InstructGPT的技術研究突破，ChatGPT讓我們對於人機對話有了一個完全性理解，既能作文，又能考試，還能寫程序，而且能夠擁有持續對話的能力。
從 AIGC 技術來看，從OpenAI 2021年1月發布的DALL·E 1.0開始，按照一段文字、個人風格，通過 AI 大模型生成圖像的方法風靡全球，代表了當前文圖生成的最新算法，實現了 AI 技術的新突破。最近幾個月出現的Stable Diffusion是目前最好的技術。
在國內，北京智源人工智能研究院於今年11月開發了AltDiffusion，以及開源文生圖系統FlagStudio等，將生成式模型進行了本地化，以及用文字+圖片形式產生新圖片的創新方案，從而實現技術進步。
“它其實代表着從以前‘大煉模型’（各自研發專用小模型），到‘煉大模型’（研發超大規模通用智能模型）的一個範式轉變。這個轉變有很重要的意義：通過這種比較先進的算法架構，盡量整個可能多的數據，彙集大量算力，集約化的訓練達模式，從而供大量用戶使用。”張宏江表示，大模型的發展很可能會改變信息產業的格局，改變以前作坊式 AI 開發模式，把 AI 應用帶入基於互聯網、雲計算的大規模智能雲階段。
張宏江在總結中稱，儘管過去幾年 AI 技術行業碰到了一些技術瓶頸和商業化難題，但這種狀況會隨着大模型的發展和普及，尤其是通過大模型+微調的新技術開發範式，將能夠使人工智能的能力，更好、更有效的應用到各個場景裏面，從而大大降低開發成本。
張宏江強調，由於ChatGPT、AIGC等AI大模型技術不斷成熟，未來會帶來新的創業機會，包括更好的對話機器人、更好的機器翻譯，更好的創作平台。
“大模型是一個快速發展、快速引爆市場的機會型技術，將會帶來新一波創業熱潮，無論是我們今天已經看到的應用，還是未來會看到的應用，都將會有非常大的潛力。”張宏江在演講的最後這樣表示。
以下為張宏江演講實錄，略經鈦媒體App編輯：
各位嘉賓，各位鈦媒體的朋友，大家早上好。我是智源人工智能研究院理事長 張宏江。
最近，大模型開始從學術界“燒”到了產業界，現在又“燒”到了大眾媒體，尤其是人工智能生成模型（AIGC）的熱度還沒有褪去，然後ChatGPT的熱又一波接着一波。
那麼，最近人工智能到底發生了什麼大的變化？這背後的原因是什麼？這些技術能夠用來做什麼？又將為我們的生活和工作帶來什麼？為中國的產業帶來什麼？我在這裏結合智源人工智能研究院的一些工作，和大家分享一下我的理解和看法，尤其是針對ChatGPT和AIGC帶來 AI 大模型的發展機會和機遇。
過去這兩年，技術大模型已經成為人工智能快速發展的關鍵技術，各大企業和高校、各個研究機構在這個領域上都進行了布局和發力，各個領域的模型層出不窮。所以，大模型的研究和應用也將會逐步成為人工智能發展的一個關鍵方向，從而形成了新一波人工智能浪潮。尤其在應用領域，我相信會形成一個非常持久的浪潮。
自GPT-3於2020年5月份發布開始，智源“悟道”在不到一年後的2021年6月發布，是當時世界上最大的1.7萬億模型。隨後的一年多來，我們看到有更多的大模型研究出來。尤其是DALL·E模型和ChatGPT模型，來宣告“大模型”進入了一個新的高地。
從各個研究機構發布的技術模型數量來看，“大模型”數量在持續增加，而且模型規模也越來越大，這背後其實有它非常深遠的技術和學術背景。
首先，從基礎技術角度看預訓練大模型的發展，回顧一下它的技術積累。
其實在15年前，深度學習逐步快速發展的時候，當時我們實際上處於一個探索的階段，因為構建深度學習的主要方式就是監督學習，這中間需要大量的人工標註的數據。而數據的生產周期長，而且也非常昂貴。那麼，如何能夠通過有限的人工標註，在特定的任務上構建更有效的神經網絡，或是自動產生大量的數據，這其實是我們一直在研究的問題。
隨着深度學習技術發展，在大概七八年前，就出現了遷移學習技術，就是從過去學習的知識上不用再開始訓練，如果用新的數據加上去之後，再將已經捕獲的知識遷移到一個新的目標或新的應用上去。這兩塊是我們今天大模型非常重要的技術基礎——傳統的“監督學習”逐步變成“強化學習”。
另外，我們往往會忽略掉，人們認為，“大模型”的快速發展主要原因是學術發展比較快。但實際上，不止是學術發展，更重要的是“大模型”通過標註好的數據進行學習。這其實是過去幾年非常大的變化。另兩個很大的變化是：算法、算力的要求上。
所以我們說，深度學習主要有三個因素：數據、算法和算力。
算法的進展我就不多講。但數據的進展在過去十幾年裡是非常快速的——從一個最開始的人工標註，到開放的數據集分享，再到數據自動標註和生成式研究。而技術進展到了最近五年，我們開始把數據變成了“雲服務”，從而建立起了數據標註、處理、存儲管理一體的雲數據中心。這對於人工智能的發展具有非常重要的推動作用。
另外一方面，我們從一開始推動 AI 專用芯片，比如英偉達的GPU（圖形處理器），到後來推動大規模分佈式計算環境，再到我們今天已經有的大規模、高性能 AI 算力中心。這兩塊一個是數據，一個是專利，這中間是不可缺少的。而且，今天在整個過程中間，我們意識到另外一點，就是以前認為的基於深度學習的人工智能技術的基礎研究，取得了一些算法的突破。
更重要的是，“大模型”到了現在這個階段，工程化能力是非常重要的，尤其是GPT-3，向我們展示了從算法到工程上的一系列突破。
GPT-3大模型是（工程化能力）典型代表。從算法架構來看，它是建立在神經網絡架構Transformer基礎之上的。它克服了傳統的神經網絡技術用淺層的預訓練網絡來捕捉單詞，並無法解決一詞多義等問題缺陷，而是優化了類人腦的一個學習過程。它在學習過程中間關注於重點而非全部，從而使得它的學習效率非常高。
隨着模型規模的變化，基於Transformer預訓練語言模型架構——這種隱含的豐富語言知識，從而使得它能夠在眾多下游NLP任務中間有驚人的表現。在此之前，谷歌的BERT就是建立在Transformer基礎上的，而OpenAI 的 GPT這一類模型也都是建立在這基礎之上的。所以，Transformer是這裏面（GPT-3）的核心所在，而且是近三年我們看到大模型發展最核心的深度學習架構。
那麼，GPT-3的出現有幾個裡程碑式的意義：一是凸顯了Transformer生成式模型的學習能力；二是1750億模型規模非常大，其模型在小樣本和0樣本中的學習中間表現出了突出性能；三是GPT設計理念像語言學習（Language Learning）這種概念，也就是學習過程關注重點而非全部，有效利用數據進行核心學習，而非此前那種利用標註數據進行的深度學習過程。
事實上，今天GPT-3的學習過程的數據要求非常大，1750億參數量，約有700G大小，一次訓練成本大致花1200萬美金。所以，大模型的發展不光是算法上的進步，在數據、算力上的要求也非常巨大。而大模型中有GPT-3這一類模型的話，核心優勢是利用這種模型進行微調就可以用了，用來做一些新的任務，這是以前模型所不具備的。
接下來，我們看一下 GPT-3在語言能力上的突破。
無論是最早的英文GLUE Benchmark，還是後來的寫作，它都有了非常好的突破。因為這種大模型裏面隱含大量支持，對這些知識支持模型進行一些推理層面的任務，並得到了非常好的效果。比如，中文寫一篇關於個性化搜索未來發展趨勢的論文，或1801年的美國總統是誰等，它從中間學會後記憶，並用在未來場景裏面。
另外，GPT-3在中文的文言文理解能力也讓人驚嘆。這段來自於孟子的文言文是北京市小升初的題目，而GPT-3能夠非常好的理解它。
GPT-3發布之後，OpenAI 發布ChatGPT，簡直就是讓我們對於人機對話有了一個完全性理解。實際上，ChatGPT就是為對話而優化、在GPT-3基礎上優化的一個大語言模型，它在寫故事、寫代碼，甚至參加SAT考試，都比GPT-3有非常大的進步。值得注意的是，它在SAT試題的回答是練習10次之後的水平，最終在數學滿分800分中達到600分，寫作滿分800分中拿到520分，相當了不起。
總是為了廚餘煩惱嗎？
雅高環保提供最適用的廚餘機，滿足多樣需求。
找工作! 想知道堆高機駕駛日薪是多少嗎? 哪裡有職缺?幫你快速媒合
堆高機，又稱叉架起貨機或叉式起重車，香港稱為鏟車，中國大陸稱為叉車，台灣國語稱為堆高機，台語俗稱豬哥（ti-ko），是指工廠、倉儲等地方對成件托盤貨物進行裝卸、堆垛和短距離運輸作業的各種輪式搬運車輛。國際標準化組織ISO/TC110稱為工業車輛。堆高機的發展於1920年代，今天在生產和倉儲運營過程中它已成為不可或缺的設備。
隨時健康喝好水，高品質飲水機，優質安全有把關
飲水機的問題主要有三個方面，一是水沸騰溫度不足，絕大多數的飲水機最高溫度是95度，再沸騰溫度是90度，泡茶殺菌的溫度不夠
品質優益穩定,效率高成本低,並已獲得國內外大廠承認使用，品質合乎EIA國際標準, 此外也針對客戶端的需要代客Tape and Reel封裝服務。
所以，馬斯克驚呼ChatGPT好的嚇人，他甚至預測危險的強 AI 離我們不遠了。實際上，ChatGPT確實在對話方面達到了一個新的高端，完全可以以假亂真，至少是記憶和學習能力超強的“超級鸚鵡”。
那麼，ChatGPT為什麼能夠有這樣的能力？
我們知道，GPT-3已經是針對於語言的大模型。而OpenAI又在其基礎上做了兩個方向的研究：一是WebGPT，搭建基於文字的頁面瀏覽環境，教GPT-3上網查詢，再生成結果的同時生成引用來源，相對GPT-3大幅提升生成內容信息量和事實性；二是InstructGPT，基於用戶反饋的強化學習RLHF，將語言模型的輸出與用戶的意圖非常好的align（對齊/相關）起來。這是InstructGPT的核心所在。
ChatGPT恰恰是建立在InstructGPT基礎之上的。之前深度學習，包括最早出現CNN/RNN到Transformer的框架，然後才出現GPT。回過來看，其實還是Transformer的出現，使我們今天在深度學習網絡架構上有了新的突破。
ChatGPT既能作文，又能考試，還能寫程序。它的核心特點在於其持續對話能力，能夠記住歷史信息和人的反饋，保持對話的一致性，容許用戶提供後續更正。他會意識到而且會挑戰你，做到了“知之為知之，不知為不知，是知也”，它也承認錯誤後進一步改進。而且其核心能力在於持續的迭代，大幅度提高用戶意圖理解和結果準確性，這就是InstructGPT特點與能力。
當然，ChatGPT也有一些局限性，可能產生不正確的信息，也可能產生一些有害指令或是偏見內容，而且它的訓練數據大部分是2021年以前的，所以過去6個月發生的事情它了解很有限，我覺得這些其實很正常。
接着，我們來聊聊AIGC（生成式人工智能）模型——按照一段文字、個人風格來生成圖像。
這一技術早在2021年1月（一年多），OpenAI 發布 DALL·E 1.0開始的，它核心就是不斷學習文字和圖像之間的匹配關係。自從DALL·E出現之後，又有一系列模型出現，最近幾個月出現的Stable Diffusion是目前最好的技術。
智源研究院在這個基礎上做了一些改善，於2022年11月公布中文模型AltDiffusion，效果比Stable的標準要更好。
無論是Stable，還是其他一些文字生成圖像模型，原理都是通過圖片離散編碼，然後將圖像的Token和文字的Token作為Transformer decoder進行輸入，然後將大量圖片與文字對上。而一開始，DALL·E產生的圖像還是相對來說比較簡單，那麼在此基礎上，Stable就把它的能力提高一大截。
需要提及的是，DALL·E是以皮克斯的WALL-E 和西班牙超現實主義畫家薩爾瓦多·達利（Salvador Dalí）的名字命名。
下面，我用智源的多語言生成模型AltDiffusion，來說一下Stable Diffusion以及我們AltDiffusion最近的一些工作。
開源的Stable Diffusion近幾個月出現之後，風靡了整個圈子，實際上代表了當前智能文圖生成的最新算法。它用AItCLIP替換了Stable Diffusion中的文本塔，使得模型可以支持多種語言，並在多語言圖文對數據集上進一步訓練。
實際上，這個不是靠人來做，而是靠機器來做，本身說話是一個很重要的技術。原理上，我們AltDiffusion對它進行了一些改善，所以它對於中文的理解就會更好，比如把中文的畫風也引進來。同時，它還支持除了中文以外的其他九種語言，包括法語、韓語、西班牙語、俄語、意大利語、阿拉伯語等。而且，不只有這些語料，很重要的是它在模型裏面做了一些改善。
當然，它也有一些很有意思的現象，就是對於不同語言、同樣內容的模型輸入，會有很大差異，其實中間也反映出了文化差異。那麼，我們的模型能夠適應於這一點，本身也是一個很好的技術問題。
好，這裏我給大家看一下智源研究院的開源文生圖系統FlagStudio。你注意看界面的話，可以選擇繪畫風格，以及藝術家風格，根據某個藝術家來定義畫風，比如這塊選擇的是虛擬引擎，畫出來虛幻圖片，用文字來描述你想要什麼解答。另外就是用一個文字離開描述，比如一籃子蘋果它給你生成一個蘋果，如果描述改成梨就是能生成對應風格，產生新的圖像。而且，不光是用文字來產生圖片，而且用文字+圖片形式可以產生新的圖片，這是該模型能夠做的、也是現在生成式模型的一個很大進步。
團隊用我的照片來做實驗，然後做了一個開源的系統，通過我不同時期的6幅照片，根據不同風格要求，產生新的圖像，風格也多變，有的就比較年輕帥氣，有的就形象老態等。
我在前面很快介紹了大模型的發展，尤其是ChatGPT和AIGC技術的發展和其具備的能力。那麼，下面我花幾分鐘時間來談一下這些大模型，對於產業的影響在哪裡？
實際上，大模型代表了一個新的技術範式。我們可以做個比喻，它其實代表着從以前“大煉模型”（各自研發專用小模型），到“煉大模型”（研發超大規模通用智能模型）的一個轉變。這個轉變有很重要的意義：通過這種比較先進的算法架構，盡量整個可能多的數據，彙集大量算力，集約化的訓練達模式，從而供大量用戶使用。
所以，大家可以注意到，着從某種意義上來說，它是從小農經濟到大規模生產的一個很重要的變化，就像當初電網的變革一樣，此前自己發電，而今天要用 AI，就不需要再做模型了，而是用已有的大模型，以一種服務方式提供給用戶。這很可能會改變信息產業的格局，改變以前作坊式 AI 開發模式，把 AI 應用帶入基於互聯網、雲計算的大規模智能雲階段。
那麼，它的重要性、優勢在哪兒？我認為是有技術和產業的雙重優勢。很重要的一點在於，通過微調方式把大模型能力，能夠有效轉移到各種不同的應用場景中間，不再需要自己重新從0開始做模型，從而大大降低開發成本，使得它的應用會變得更加迅速、更加有效。
最近，IDC的一篇報告曾指出，超大模型將是快速引爆市場機會型的技術，這點我完全同意。
實際上，大模型是人工智能這一波浪潮，經過十幾年發展之後的一個非常重要的拐點。下面我結合自己的體會，分享一下我對這個產業影響的一些看法。
從應用場景上來看，文本生成或是圖文生成的模型，會很快應用到各種各樣的場景（應用）中間。今天我們已經看到了剛才演示的文生圖幾個場景。其實大家可以想象，那麼它可以用來做一系列應用，更不用說寫GPT-3、ChatGPT的寫作能力、問答能力等。
我相信，由於這些（DALL·E、ChatGPT等）大模型技術本身不斷成熟，會帶來新的創業機會，包括更好的對話機器人、更好的機器翻譯，更好的創作平台。
另外一方面，這些大模型會帶來一些 AI 基礎設施創業的可能性，包括垂直性訓練、大模型運營管理訓練等。在美國有一家公司發展比較快，叫做Hugging Face，專門做大模型的訓練和推廣，尤其是一些開源的推廣。
在應用方面的話，其實中國發展速度也很快。雖然目前發展狀況是國外的頭部企業引領技術和商業應用，國內可能會落後兩年，但是，中國的落地能力非常強。
不過比較悲催的是，實際上，從學術技術研究方面看，OpenAI 公司在過去三年獨領風騷，無論是從GPT-1、GPT-2、GPT-3，尤其是GPT-3和ChatGPT出來之後，從研究角度來說它搭好了框架，佔據了第一位置。雖然其他人這兩年做了很多模型，但從學術角度來看，其實我們都是在給它“補漏”。也就是說，在給它打工。
那麼從學術角度來說，這其實要呼喚中國的學術原創性、學術創新能力。
但是從應用角度來看，文本生成、圖像生成、音頻生成、視頻生成、虛擬人、元宇宙等場景，只要國外有的公司，中國都有比它更多的公司。而且我相信，中國的落地能力、應用場景一定會比他們走的更快。
此外，我們除了講的ChatGPT和 AIGC生成模型之外，其實大模型還有更多質變潛力，尤其是我們今天看到，包括大模型在內的人工智能技術，在生命科學、材料科學、能源科學和環境健康等方面，都可以利用大模型來生成、驅動新的研究發現。尤其在 AI 製藥、材料設計等領域，AI都有非常好的前景，而且已經開始落地。
最後，總結一下，我們認為，大模型實際上是 AI 第三波浪潮的一個拐點。
相比之前第一波和第二波浪潮，如今第三波浪潮，就是以深度學習、神經網絡為代表的大概15年前開始的浪潮。
那麼其實，過去幾年，這一波浪潮已經碰到了一些技術瓶頸和商業化難題，使得我們 AI 企業的商業化非常不順，高估值泡沫逐漸破裂，而且一些上市公司的技術找不到核心應用，或者說在核心應用上無法進行突破，那麼從而使得它的 AI 技術賦能和增值情況都很有限。
但如今，這種狀況會隨着大模型的發展和普及，尤其是通過大模型+微調的新技術開發範式，將能夠使人工智能的能力，更好、更有效的應用到各個場景裏面去，而不需要每家企業/機構都要開發自己的模型，從而大大降低了開發成本。
所以，大模型是一個快速發展、快速引爆市場的機會型技術，將會帶來新一波創業熱潮，無論是我們今天已經看到的應用，還是未來會看到的應用，都將會有非常大的潛力。
好，謝謝大家。今天講到這兒。（本文首發鈦媒體App）
https://www.tmtpost.com/6354511.html
買不起高檔茶葉，精緻包裝茶葉罐，也能撐場面!
紫砂茶葉罐是多孔性材料製成，透氣性非常好，因為罐子多微小氣孔，用來存放茶葉，不僅能保鮮鮮，還能消除茶葉中的異雜味。 但也是因為多孔，所以紫砂茶葉罐容易吸收茶葉的香味。
攻戰消費者第一視覺,包裝設計很重要!
包裝設計是指對包裝的形狀、大小、構造及包裝材料等方面進行創造或選擇並以適當方式吸引消費者的注意力，進而增加購買率，以及對使用者友善之特性。
一般貨櫃標準尺寸?
金誠貨櫃尺寸種類分別為，20呎櫃、20呎高櫃、40呎櫃、40呎高櫃、20呎冷凍櫃、400呎冷凍櫃。
測試專家告訴你如何好好使用示波器
示波器主要由電源系統、同步系統、水平偏向系統、垂直偏向系統、延遲掃描系統、顯示系統和標準訊號源等部封包成。
