“狂飆”兩年，大語言模型已至拐點(diǎn)？

自兩年前聊天生成預(yù)訓(xùn)練轉(zhuǎn)換器（ChatGPT）面世以來，生成式人工智能（AI）技術(shù)的擁躉們就一直堅(jiān)信：隨著科技巨頭不斷用海量數(shù)據(jù)“喂食”AI模型，再加上計(jì)算能力飛速提升，生成式AI改進(jìn)的步伐將呈指數(shù)級(jí)增長(zhǎng)，接近人類智能的通用AI的出現(xiàn)也指日可待。

然而，在AI快速發(fā)展如“烈火烹油”的表面之下，一些專家的隱憂和疑慮也悄然而生。據(jù)美國(guó)技術(shù)雷達(dá)網(wǎng)站12月9日?qǐng)?bào)道，谷歌首席執(zhí)行官桑達(dá)爾·皮查伊預(yù)測(cè)，2025年，AI發(fā)展勢(shì)頭將放緩。物理學(xué)家組織網(wǎng)稍早時(shí)間一篇報(bào)道也認(rèn)為，AI智能的提升速度有所減緩，目前新款大型語言模型的研發(fā)似乎已經(jīng)到了拐點(diǎn)。

一些專家認(rèn)為，AI模型開發(fā)“以大為美”的路線，最終必然會(huì)觸碰到其極限。前期一路“狂飆”的AI發(fā)展勢(shì)頭已經(jīng)放緩，需要一場(chǎng)“深刻變革”。

AI模型日益膨脹

開放人工智能研究中心（OpenAI）的ChatGPT，可以說點(diǎn)燃了科技公司研發(fā)大型語言模型的熱情。谷歌、亞馬遜、元宇宙平臺(tái)公司，以及OpenAI主要投資者微軟公司等，都砸下數(shù)十億美元巨資，紛紛推出各自的生成式AI應(yīng)用工具。這些大型語言模型各有千秋，能夠輕松生成高質(zhì)量文本、圖像和視頻，如今也實(shí)現(xiàn)了語音對(duì)話功能。

生成式AI的“狂飆”也讓OpenAI等公司聲名鵲起，賺得盆滿缽滿。今年10月初，OpenAI公司再次成功融資66億美元，使其估值達(dá)到了驚人的1570億美元。

對(duì)此，AI行業(yè)專家、美國(guó)紐約大學(xué)神經(jīng)科學(xué)教授加里·馬庫斯表示，OpenAI之所以獲得如此高的估值，很大程度上源于很多業(yè)界人士?jī)?nèi)心深處的一種信念：只要不斷給AI模型“喂食”更多數(shù)據(jù)，提升其計(jì)算能力，模型就能變得愈發(fā)強(qiáng)大。按照這樣的發(fā)展趨勢(shì)，可能很快會(huì)出現(xiàn)OpenAI負(fù)責(zé)人薩姆·奧爾特曼所說的智能可與人類匹敵的“通用AI”。

智能水平提速放緩

然而，生成式AI發(fā)展的步伐，真會(huì)按照人們暢想的“劇本”進(jìn)行嗎？

馬庫斯直言，“這只是一個(gè)美好的幻象”。美國(guó)消費(fèi)者新聞與商業(yè)頻道（CNBC）網(wǎng)站也在11月初的報(bào)道中指出，谷歌、Anthropic公司和OpenAI等公司研發(fā)新大型語言模型似乎已經(jīng)碰到天花板。

風(fēng)險(xiǎn)投資企業(yè)安德烈森-霍羅威茨公司是OpenAI股東之一。該公司聯(lián)合創(chuàng)始人本·霍羅威茨最近坦承，盡管他們一直在按照節(jié)奏提升算力，但AI模型的智能水平并未因此得到顯著提升。

OpenAI聯(lián)合創(chuàng)始人伊爾亞·蘇茨克維11月15日接受媒體采訪時(shí)表示，使用大量未標(biāo)記數(shù)據(jù)來訓(xùn)練AI模型，以理解語言模式和結(jié)構(gòu)的階段已經(jīng)趨于穩(wěn)定。

專家們指出，一個(gè)根本挑戰(zhàn)在于，可用于AI訓(xùn)練的數(shù)據(jù)目前幾乎已被AI模型“蠶食殆盡”。

專門針對(duì)法律事務(wù)的生成式AI公司Spellbook也是OpenAI合作商之一。該公司首席執(zhí)行官斯科特·史蒂文森表示，一些實(shí)驗(yàn)室過于注重用更多文本數(shù)據(jù)“喂食”AI模型，但僅依靠文本數(shù)據(jù)對(duì)AI進(jìn)行擴(kuò)展注定會(huì)遇到困難。目前很多企業(yè)已經(jīng)缺乏新東西來“喂養(yǎng)”AI模型。因此，這并非知識(shí)儲(chǔ)量的問題，而是機(jī)器要能夠理解句子或畫面的含義。

初創(chuàng)公司“抱抱臉”研究員兼AI負(fù)責(zé)人莎拉·盧喬尼也強(qiáng)調(diào)，AI模型開發(fā)“以大為美”的路線，最終必然會(huì)觸碰到其極限。

亟需一場(chǎng)深刻變革

薩姆·奧爾特曼11月14日在其社交平臺(tái)X上發(fā)布信息：沒有死胡同！不過，現(xiàn)實(shí)情況是，OpenAI選擇延遲推出GPT-4的接棒模型，因?yàn)镚PT-4性能的改進(jìn)程度未達(dá)預(yù)期。

作為研發(fā)戰(zhàn)略轉(zhuǎn)型的一次嘗試，今年9月，OpenAI推出了o1模型。這款模型專注于回答復(fù)雜問題，尤其是數(shù)學(xué)問題。它旨在通過提升推理能力，而非單純?cè)黾佑?xùn)練數(shù)據(jù)量，來提供更準(zhǔn)確的答案。史蒂文森認(rèn)為，OpenAI引導(dǎo)其模型“花更多時(shí)間思考而非響應(yīng)”，這或?qū)⒁I(lǐng)AI模型研發(fā)領(lǐng)域出現(xiàn)一場(chǎng)“深刻變革”。

AI服務(wù)網(wǎng)站Quantilus.com在11月25日的報(bào)道中指出，OpenAI、“深度思維”等公司正在探索“高效擴(kuò)展”技術(shù)。該技術(shù)旨在讓大型語言模型復(fù)制類似人類的思維方式，而不僅僅是依賴“蠻力”，即大量消耗計(jì)算資源。這些方法的重點(diǎn)在于提高訓(xùn)練數(shù)據(jù)的質(zhì)量，并結(jié)合來自人類反饋的強(qiáng)化學(xué)習(xí)。

史蒂文森將AI技術(shù)的發(fā)展與火的出現(xiàn)作比較。他表示，業(yè)界不應(yīng)該再通過給AI提供更多數(shù)據(jù)、提升算力來促進(jìn)其發(fā)展，而是應(yīng)該打造類似蒸汽機(jī)那樣的、具有變革性的事物。

美國(guó)斯坦福大學(xué)教授沃爾特·德·布勞沃則將先進(jìn)大型語言模型比作從高中過渡到大學(xué)的學(xué)生。他表示，目前的AI就像是能做即興表演的聊天機(jī)器人，很容易出錯(cuò)，具有跳躍思維能力的機(jī)器即將到來。

關(guān)鍵詞：