AI一進步,人類就激動,不是高喊產業革命、創新奇點,就是驚呼工人失業、人類滅亡。人機關系隨之陡然繃緊,比如現在,就充滿了呼喊的張力。
新近爆紅的chatGPT讓人激動不已。開發者OpenAI公司設計了巨大的語言模型,投入巨大資金,通過巨大的算力來訓練機器寫小作文,將機器的聊天水平提高了那么一點點,人類反應敏捷地大呼小喊起來。
自深度學習算法提出以來,人類致力于讓機器斷文識字,這個過程被稱為NLP,搞了許多年,結果搞出好幾個弱智,這個工作再無進展。
chatGPT能寫小作文,這的確是NLP工作向前邁進的一大步,但只是AI的一小步。
chatGPT本質是一個文字型的聊天機器人,它通過算法改良,改善了人機交互體驗,但AI并沒有因此產生思考能力,也沒有甩掉弱人工智能的標簽。
試問聊天機器人會革誰的命,哪個產業會因此爆發變成支柱產業?
你想多了,chatGPT不像三體人的智子那么可怕,你不會因此失業,人類也不會消亡。
所以,下面我們詳細說說,為啥不必那么緊張,并扯扯有關技術創新、演變、沖擊、競爭、商業化、商業前景、商業難題和國家差距等方面存在爭議的問題。
1.ChatGPT的技術成份有多高?
確切的說,有三四層樓那么高。
ChatGPT 由 GPT-3.5 模型提供支持,與傳統思路不同,它采用了一種半監督式的訓練機器說話。這是它的創新所在,也是它的獨到之處。
GPT,英文全稱是Generative Pre-trained Transformer ,直譯過來是生成型預訓練-變形金剛 。
所謂生成型預訓練,這是GPT的核心思想,即先給機器喂養大量無標簽的文本進行“預”訓練,生成一個初步的語言模型;然后再微調,根據具體的語言處理任務(如文本蘊涵、QA、文本分類等),通過有標簽的數據對模型進行微調fine-tuning,使之不斷完善,最后生成確定的模型,以便來應付同類任務。
名字前面加上chat,即“聊天生成型預訓練-變形金剛”,之所以有這個Transformer,則是表明了其師承門派。
換言之,GPT是OpenAI公司基于谷歌的Transformer語言模型框架而開發出來的技術。
Transformer堪稱巨人,它拯救了奄奄一息的NLP,為停滯不前訓練機器說話工作開辟了新道路。
Transformer門下有許多徒弟,為何GPT鶴立雞群了呢?
這是因為GPT模型迭代到GPT-3時,又引入了 " 利用人類反饋強化學習(RLHF)" 的訓練方式,主要包括“人類提問機器回答、機器提問人類回答”,在此基礎上,不斷迭代,讓模型逐漸具備了對生成答案的評判能力。
RLHF是GPT功力大增的大功臣。它也是讓許多人激動失眠的一個重要因素。
RLHF較好解決了生成模型的一個核心問題---人機對齊(The Alignment Problem)。顧名思義,對齊即向人類看齊,在AI領域,特指讓AI模型的產出,盡量與人類的常識、認知、需求、價值觀保持一致,并遵循人類意圖。
如安遠AI認為,人機對齊問題是大模型通向安全、可靠的通用人工智能(AGI)所面臨的巨大鴻溝,更是大模型的倫理和社會風險至今懸而未決的根源。
很多人測試后發現,引入人類偏好學習機制后,ChatGPT顯得卓爾不群,它給出的回答不再像同類競品那樣生拼硬湊,更加貼近人類,不僅如此,ChatGPT學會了糾正提問中的錯誤,能夠對一些敏感的問題做出回避。
這是chatGPT可以跟前輩聊天機器人說“我們不一樣”的地方,由此形成了獨特的技術優勢。
不過也有許多人測試以后,給它貼上一個標簽:“一本正經地胡說八道”。
算法優化,毫無疑問是技術進步,這算不算革命呢?
2.技術源頭與演變
要說革命,必須要講講Transformer。
在Transformer誕生之前,人類訓練機器聽話的NLP過程主要依賴RNN算法(即循環神經網絡:recurrent neural network),訓練了幾年以后,NLP陷入停滯不前。人們發現,RNN有個巨大的缺陷,太過依賴標注數據,不能并行處理,算法效率低下。很多人不服,想找到RNN之外的道路。
直到2017年,谷歌大腦團隊發布論文《Attention Is All You Needed》,這是一篇起到革命宣言性質的文章,它率先提出了注意力機制(Attention),以此創造了一個全新的NLP模型--這個模型被命名為Transformer,不少專家將之翻譯成變換器,但我覺得不如叫變形金剛更為貼切。
當時的Transformer模型有6500萬個可調參數,經過大量訓練后,該模型的工作能力明顯提升,在翻譯準確度、英語成分句法分析等各項評分上都達到了業內第一,成為當時最先進的大型語言模型(Large Language Model, LLM),于是被用于谷歌輸入法和谷歌機器翻譯。
Transformer模型克服了RNN的不足,很快取代了RNN的統治地位,深刻地影響了NLP的發展軌道路。
要說技術革命,實在是 Transformer革了RNN的命,打響了第一槍。
短短的幾年里,Transformer模型的影響已經遍布人工智能的各個領域——從各種各樣的自然語言模型、到預測蛋白質結構的AlphaFold2模型,都能看到Transformer的影子。
2018年6月,GPT-1問世,這個孩子繼承了Transformer優秀革命基因,刻苦練功,GPT模型基本上是一年迭代一次,所使用的參數量也隨之激增。
GPT-1有參數1.17億個,貌不驚人;
2019年推出的GPT-2有15億個參數,藝不出眾;
2020年推出的GPT-3,參數高達1750億個,重劍無鋒。
2023年,GPT-4已經問世,參數量據說有100萬億個,跟人類的神經元一樣多。據說達到了飛花摘葉均能傷人的獨孤求敗境界。
革命前輩Transformer是誰?啥,你不知道?
這就對了,這次小小的革命影響有限,主要限于NLP領域。
3.ChatGPT會不會取代搜索引擎?
chatGPT問世,搜索引擎緊張是必然的。
chatGPT會對搜索引擎造成沖擊。它會大量分流搜索引擎的流量,降低搜索引擎的江湖地位,進而影響相關平臺的業務。
要取代搜索引擎則較難,這兩者差異較大。
一個明顯的差異是用途不同。有博客做過分析:搜索引擎的核心是內容集合。你在搜索框輸入關鍵字,然后你看到了大量的鏈接,再從中篩選自己需要的信息。
ChatGPT 屬于內容再造(人工智能生產內容),是一種新的內容創作方式。你向它提問,它自己搜索大量資料,并對資料進行一定加工,輸出一個答案,你可以連續提問,它根據上下文連續作答。
再一個差異是搜索范圍不同。搜索引擎基于互聯網,可以不分真假的搜索地圖、天氣、店鋪、文庫、視頻、圖片等等各種公開信息,而chatGPT受語料庫所限,不能直接搜索網絡信息,若庫里沒有內容,則無法給出答案,弱爆了。
so,目前的 ChatGPT 還取代不了搜索引擎。更別提要消滅工作崗位消滅人類了。
4.競爭對手
chatGPT的直接競爭對手不是搜索引擎,對手是它的同類--聊天機器人。
但是,chatGPT站在山頂上,一覽眾山小。哪有什么競爭對手呢?
國內沒有對手。與chatGPT相比,國內一直沒有水平相近的AI模型,也沒有基于類似算法的成功解決方案。
為什么大家都不去做呢?原因在于羅鍋上山--錢緊。
chatGPT太燒錢了。
這個聊天機器人的成功基于巨大語言模型,巨大語言模型依賴巨大算力,巨大算力需要耗費巨大資金,openAI公司自2015年成立以來到2022年底消耗了近40億美元,至今仍然虧損需要融資延續發展。
據相關數據顯示,GPT-3訓練一次的費用是460萬美元,總訓練成本達到了1200萬美元,不僅測試成本非常高,GPT技術對算力的要求也是目前AIGC技術領域最高的。
大模型、大算力和大資金構筑了雄厚的進入壁壘,難以超越,注定了chatGPT只能是巨頭的禁臠,中小企業或創業公司是燒不起的。我國AI企業專注地致力于尋找應用場景賺錢,面對燒錢,明智的選擇了回避。
國外能燒的起公司也屈指可數。
Meta這兩年推銷元宇宙不利,轉頭押寶AI。2022年5月,MetaAI官宣發布了基于1750億參數的超大模型OPT-175B,還對所有社區免費開放。OPT全稱Open Pre-trained Transformer Language Models,即“開放的預訓練Transformer語言模型”。
作為Transformer門下小師弟,據報道說OPT和GPT-3的運行效果幾乎沒有什么區別,參數量也是很巧合的1750億。不僅如此,Meta AI還將OPT技術做了開源,提供給所有需要的企業和個人作為研發的基礎技術。
也許GPT-3對參數和算力的要求還能被一些有錢企業滿足,如果換做是參數量翻了幾百倍的GPT-4,能跑得動巨額參數的企業更加寥寥無幾了。
OPT作為師弟,還沒舉行畢業典禮,還沒有正式走出Transformer師門,chatGPT已經開始攪動江湖。
黑兔年。江湖大亂。
搜索引擎必須反擊,必須推出超越chatGPT的產品,才能鞏固自身江湖地位,增加用戶粘性。否則,一味瞎緊張跟咸魚有什么兩樣?
2023年2月,谷歌CEO發布了谷歌的下一代對話AI系統Bard,百度將其類ChatGPT產品名為ERNIE BOT,預計在3月份完成內部測試后公開發布。
谷歌為啥急吼吼搞聊天機器人?那還不是擔心微軟bing趁機來搶搜索引擎的地盤。話說,微軟最新版bing已經集成了GPT4.0功能,并且可以借助edge瀏覽器全世界推廣。面對此情此景,百度能抽身事外?
越來越多公司宣稱自己正在內測類似chatGPT自家版本。怪事來了,openAI公司花了七年40億美元才生出一個聊天機器人,你們幾位平時也沒見學習GPT,三兩個月就搞出了一個同款?你這個速成品的RLHF機制怎樣?你們建設的語料庫有多大?不會翻車吧?
2月9日一大早傳來消息,谷歌AI聊天機器人Bard首秀會上答錯問題,導致公司股價大跌7.4%,市值蒸發近7000億。速成品,好尷尬。
套殼行不行?
聰明的人已經想到,OpenAI在國外有許多開源項目,我們復制一個吧。
5.OpenAI變性的啟示
答案是不行。OpenAI已經關上了 ChatGPT開源的大門。安卓可以套殼,windows誰聽說過套殼?
OpenAI原本是不以追求利潤為目標的AI研究機構,致力于開源模式推動AI技術進步。但沒想到ChatGPT太燒錢了,構建大算力要燒錢,購買語料庫大數據要錢,訓練大模型要燒錢,OpenAI太缺錢了。
2023年1月10日,彭博社爆出微軟準備向OpenAI追加100億美元投資。據說,微軟與OpenAI已經就此次投資談判了好幾個月。
OpenAI有多想拿到這筆錢?該公司從 2015年創建以來一直燒錢,七年來,OpenAI共收到了40億美元的投資,2022一年燒掉5億美元,算算兜里也所剩無幾了。
人工智能研發需要龐大的資金。一個非營利組織在籌款上是有極限的,而彌補成本最有效的方式,就是改變現有架構。
ChatGPT還會開源嗎?答案是不會。
GPT2.0是開源的,但自從2019年10月接收了微軟第一筆投資后,GPT3.0就不再開源了。公司也隨之改變open性質,變成營利組織!堵槭±砉た萍荚u論》撰文批評曰:背離馬斯克創立初衷,理想主義被盈利壓力碾碎。
你想想,2023年,微軟向ChatGPT追加100億美元投資,雙方簽對賭協議,大家以后還會討論開源問題嗎?不,該討論商業前景問題了。
6.一個聊天機器人會有什么商業前景?
不得不說,openAI正在走模仿微軟的路。
先走的是C端的路。
ChatGPT雖然不開源,但開放了API接口,催生了一批開源項目。ChatGPT占據產業源頭,大量開源開發者處于產業下游,開發應用吸引C端用戶。這套玩法明顯是微軟套路,自己windows壟斷市場,培養企業開發軟件,最終用戶為此買單。
經過不少用戶使用發現 ChatGPT 已經可以實現諸如智能聊天、寫作、編程、批作業、改 Bug、撰寫周報、砍價、作詩等工作。更有甚者,還把它直接當虛擬機使用。如果你想玩,就要花錢。ChatGPT于2023年1月推出了收費版本,付費訂閱,ChatGPT Plus訂閱版每月收取20美元,約合人民幣134元。開源項目亦步亦趨的也推出了收費項目。
C端路能否走通?網上爭議不小。
另一條是B端的路,明顯走不通。
盡管OpenAI用錢燒出了GPT技術的壁壘,但是這一做法也有它的市場局限性。
如果要把GPT推廣給行業用戶,在巨大算力的要求下,沒有幾個企業可以承擔得起GPT-3 的運作。比如我要請一個機器人會計師,那就要針對不同行業甚至不同企業針對性的訓練會計機器人,訓練一次幾十萬美元,還不知道要訓練多少次才能成功,這種成本有幾個企業能負擔的起呢?
以此類推,其它崗位,莫不如此。
一個擅長“一本正經地胡說八道”的聊天機器人有多少商業前景?
正如一些AI程序員所說:ChatGPT的出現也只是AIGC的一次技術迭代升級罷了,它的應用前景還不明朗,現在就談到勞動力替代和技術壟斷,還太早了。
7.商業化面臨的三個難題
一是版權問題。首先是侵權問題。
ChatGPT生成的內容,不是完全的出于自身創造,而更多的來自于“搬運”,有一些版權作品需要授權,否則容易帶來侵權問題;其次歸屬問題,即便解決了搬運侵權問題,依然面臨版權歸屬問題,ChatGPT生成的內容,無論是文本片段、代碼、圖像、視頻……,這些新生成內容的版權所有者究竟是誰?依據這些AI生成內容產生的責任后果,誰來負責?
二是信息安全問題。
互聯網公開信息規模龐大,但內容真假難辨,如果給語料庫增加了不實信息,那么ChatGPT就會輸出虛假的答案。
12 月 4 日,馬斯克透露 ChatGPT 可以訪問 Twitter 數據庫,這意味著 ChatGPT 必然學習了許多缺少事實核查的數據。正因為垃圾答案泛濫,程序員問答網站 Stack Overflow 從 12 月 5 日開始,暫時禁止用戶分享 ChatGPT 生成的內容。
ChatGPT輸出的答案存在真假鑒別問題,也容易引發信息安全問題。一旦你生了病,但AI告訴你去大鐵棍子醫院找捅主任,如之奈何?
話說RLHF不是解決了“看齊”問題嗎?RLHF太貴,高度依賴標注質量,有多少人工才有多少智能,各行各業要看齊的內容太多了,錢不夠,難看齊。
三是社會尚未有接納這個新生事物的準備機制,對監管挑戰很大。
比如,歐盟在考慮,是否可以對數據收集施加相關的法律約束?我們在考慮,是否要求算法適應各國當地文化和價值觀?而物業部門在想,是否需要弄一個部門規定,來保障AI獲取和輸出我認為可靠的數據?
這三個難題如不解決,ChatGPT及其小弟們在國內恐怕不會高歌猛進,很可能會變成谷歌雅虎,而不是微軟。
8.我們距離ChatGPT還有多遠?
ChatGPT崛起讓很多人深深的體驗了心痛的感覺。
ChatGPT一紅,中國AI就發燒。
兩下對比,國內許多AI企業,基本處于產業下游,沒有能力構建自己的語言模型和語料庫,此時也大言炎炎的聲稱自己正在向chatGPT靠攏;還有不少公司,平時穿著AI工作服,做著最低端的應用產品,平時靠套取政策補貼為生,現在出來也蹭一波熱點;更有甚者,連一些市場公關公司,也急忙聲稱自己正研發應用的AI技術,走的也是chatGPT路線,于是乎股價嗖嗖上漲。
實事求是的說,國內缺少長期投入推動研發的科研氛圍。國內AI企業側重于技術應用,急于賺錢,即便在BAT等實力雄厚的巨頭內部,一個AI項目如果2-3年內不能變現就會廢棄,很少有機構能沉下心來,投入大量時間和資金進行核心技術創新。
要推動AI發展,就要解決資金問題,但資本市場又存在嚴重資金配置錯位問題。舉個簡單例子,chatgpt走紅以來,二級市場上概念股雞飛狗跳,一些要死不活面臨淘汰的企業得到了資本市場炒作,甚至變成了妖股,烏煙瘴氣,讓珍貴而有限的資金錯配到了一些不該配置的地方。而一級市場的資本不敢無序配置,這就更令人唏噓了。
9.回想一下
曾幾何時,AI領域,自深度學習算法問世以后,中外企業熱火朝天的做研究發論文,雙方水平在伯仲之間;
很快的,中外出現兩個方向,國外企業側重于上游核心技術突破,而國內企業大量集聚于產業下游忙著收割變現,一些號稱小巨人現身;
再后來,出現了科技禁令,還有瘟疫,許多企業苦苦掙扎……
任誰也沒有想到,短短五六年間,國內外AI差距陡然拉大。國外有了openAI和deepmind雙峰并立,國內則只能匍匐在山腳下仰望。
在山腳下稱雄的巨人,不管怎樣努力,總不及山頂上的一個孩子看得遠。
這是怎么回事?
我想起了電影《功夫》里高手過招前問的問題:
“ChatGPT的藝術成份有多高?”
“很高,有三四層樓那么高。”
“你爬到了第幾層?”
……