前不久Meta剛發(fā)布了「類人」的人工智能模型 I-JEPA，而近日，來自MIT和斯坦福的學(xué)者，又提出了世界模型的新架構(gòu)——理性意義構(gòu)建模型（ Rational Meaning Construction），首次將自然語言的神經(jīng)模型與概率模型相結(jié)合。
語言如何影響思維？人類如何從語言中獲取意義？
這兩個(gè)基本問題是我們構(gòu)建類人智能的關(guān)鍵。
長(zhǎng)久以來，理想中的AI，一直是通往人類水平的AI，為此業(yè)界大牛Yann LeCun還曾提出了「世界模型」的構(gòu)想。
(相關(guān)資料圖)
他的愿景是，創(chuàng)造出一個(gè)機(jī)器，讓它能夠?qū)W習(xí)世界如何運(yùn)作的內(nèi)部模型，這樣它就可以更快速地學(xué)習(xí)，為完成復(fù)雜任務(wù)做出計(jì)劃，并且隨時(shí)應(yīng)對(duì)不熟悉的新情況。
而最近麻省理工大學(xué)和斯坦福的學(xué)者提出了一個(gè)理性意義構(gòu)建模型（ Rational Meaning Construction），這是一種用于語言信息思維的計(jì)算框架，可將自然語言的神經(jīng)模型與概率模型相結(jié)合。
論文第一作者是來自麻省理工大學(xué)大腦與認(rèn)知科學(xué)學(xué)院的一名五年級(jí)博士生。
他們將語言意義定義為從自然語言到概率思維語言（PLoT）的上下文相關(guān)映射——概率、生成世界建模的通用符號(hào)基礎(chǔ)。
這種架構(gòu)集成了兩種以前從未結(jié)合在一起的強(qiáng)大計(jì)算工具：他們用概率程序?qū)λ季S進(jìn)行建模，并通過大型語言模型（LLM）對(duì)意義構(gòu)建進(jìn)行建模。
論文鏈接：https://arxiv.org/abs//2306.12672
Github鏈接：https://github.com/gabegrand/world-models
現(xiàn)在以ChatGPT為代表的大語言模型大熱，一會(huì)兒語言模型一會(huì)兒自然語言處理的一下容易搞不清楚，這里的「語言」又和語言學(xué)有什么關(guān)系？
首先從學(xué)科劃分來說，語言學(xué)是語言學(xué)，大語言模型和自然語言處理則屬于人工智能學(xué)，第一個(gè)概念是一個(gè)學(xué)科，第二、三個(gè)概念屬于另一個(gè)學(xué)科。
大語言模型和自然語言處理不是「與」的關(guān)系，也即不是并列關(guān)系。自然語言處理是研究如何用人工智能的方式來處理文本內(nèi)容，方式有很多，其中有一種叫「語言模型」的方式。
從人工智能的角度來看，語言模型與其說是一種模型，不如說是一種用于訓(xùn)練模型的預(yù)測(cè)任務(wù)。
通俗來講，是根據(jù)給定一串文本要求模型預(yù)測(cè)下一個(gè)詞，或者在一串文本中間挖走一個(gè)詞要求模型做完形填空。模型通過不斷迭代提升預(yù)測(cè)性能。
有網(wǎng)友還貼心的歸納了世界模型的迭代規(guī)律。
說了那么多，下面來看看這次提出的模型架構(gòu)。
模型架構(gòu)
語言信息思維的計(jì)算方法依賴于神經(jīng)符號(hào)連續(xù)體：一方面，經(jīng)典符號(hào)模型（Classical symbol models）（右上）產(chǎn)生系統(tǒng)的、結(jié)構(gòu)化的推論，但通常僅限于狹窄的語言領(lǐng)域，并且通常需要手工設(shè)計(jì)。
另一方面，大型語言模型（左上）在開放域自然語言方面取得了非凡的能力，但難以在支持連貫的推論、預(yù)測(cè)和計(jì)劃的一致的世界狀態(tài)中進(jìn)行推理。
而我們的理性意義構(gòu)建框架將語言信息思維分解為兩個(gè)模塊：
意義函數(shù)將自然語言轉(zhuǎn)換為概率編程語言（PPL）語句，這些語句代表符號(hào)世界模型的語言意義。
推理函數(shù)計(jì)算可能世界空間上與語言信息一致并以語言信息為條件的概率。
與傳統(tǒng)的認(rèn)知觀點(diǎn)一樣，思維的核心是構(gòu)建通用表示，用于對(duì)世界上的實(shí)體和事件進(jìn)行建模，足以支持不確定性下的理性、連貫的推論，并規(guī)劃實(shí)現(xiàn)我們目標(biāo)的行動(dòng)。
然后，我們考慮語言如何與該架構(gòu)相關(guān)聯(lián)，以支持基于語言的思維——語言如何建立世界建模和推理，以指導(dǎo)、約束和驅(qū)動(dòng)我們的下游思維，并培養(yǎng)新的思維能力。
接下來是構(gòu)成本文推理核心的四個(gè)領(lǐng)域：
概率推理（Probabilistic reasoning）需要整合稀疏的證據(jù)來預(yù)測(cè)不確定事件的結(jié)果，例如拔河比賽的獲勝者
關(guān)系推理（Relational reasoning）涉及基于關(guān)系信息維護(hù)和更新有關(guān)結(jié)構(gòu)化領(lǐng)域（例如家譜）的連貫信念
感知和物理推理（Perceptual and physical reasoning）將語言與我們對(duì)外部世界物體的感覺和直觀物理知識(shí)聯(lián)系起來，例如桌面上的廚房用品。
社會(huì)推理（Social reasoning）涉及對(duì)其他智能主體的思想進(jìn)行推理，例如他們的目標(biāo)、偏好和環(huán)境如何影響他們?cè)谑澜缰泻叫袝r(shí)的行為
在所有領(lǐng)域，我們提出了一個(gè)統(tǒng)一的框架，將語言轉(zhuǎn)換為概率編程語言的代碼，以促進(jìn)類人推理。
他們從理性、概率的角度對(duì)生物智能和人類語言進(jìn)行了三項(xiàng)觀察：
對(duì)智能思維的理性視角
生物智能包含許多計(jì)算能力。我們?cè)谶@里關(guān)注的基本思想概念集中在理性推理和決策上為自己的目標(biāo)服務(wù)，從這個(gè)角度來看，思想包含了對(duì)世界進(jìn)行建模的系統(tǒng)。
對(duì)語言的理性看法
與思想一樣，語言也包含許多系統(tǒng)和能力，我們對(duì)語言采取廣泛的理性視角——我們認(rèn)為語言是一種以目標(biāo)為導(dǎo)向的行動(dòng)系統(tǒng)，用于將思想外化并與其他智能生物進(jìn)行交流。
對(duì)語言和思想的資源理性視角
最后，我們對(duì)語言和思維的綜合計(jì)算方法建立在人類是資源理性思考者的廣泛證據(jù)之上，在時(shí)間和內(nèi)存有限的約束下，我們合理分配計(jì)算資源，以便做出有用的推論。
為了說明我們的框架，讓我們考慮一個(gè)具體場(chǎng)景，重點(diǎn)關(guān)注在給定預(yù)先指定的世界模型的情況下根據(jù)語言進(jìn)行推理。
假設(shè)一位朋友正在向您講述之前發(fā)生的一場(chǎng)拔河比賽：
(A) 生成模型定義了兩個(gè)潛在特征，即「力量和懶惰」，并指定了它們?nèi)绾蜗嗷プ饔靡源_定團(tuán)隊(duì)強(qiáng)度。通過結(jié)合 (A) 和 (B)，我們可以少量提示LLM進(jìn)行翻譯，將開放式自然語言 (C) 轉(zhuǎn)化為 Church 語句 (D)，捕獲該領(lǐng)域的語言意義。
由此產(chǎn)生的概率推論透明地代表了模型的信念，并且自然地捕捉關(guān)于玩家潛在特征的類似人類的直覺。
面對(duì)世界模型的不確定性，我們輸入問題如，「如果他們?cè)俅伪荣悾瑔淌矔?huì)擊敗加布嗎？」
在我們的框架中，我們將問題轉(zhuǎn)化為Church中的查詢語句，以評(píng)估興趣的數(shù)量。
調(diào)用查詢會(huì)觸發(fā)概率計(jì)算，模擬模型下可能的世界，并受到迄今為止任何觀察的約束。
查詢表達(dá)式在每個(gè)模擬世界中進(jìn)行評(píng)估，產(chǎn)生多個(gè)樣本，這些樣本形成感興趣值的后驗(yàn)分布。
在本工作的整個(gè)示例中，我們自由地交織查詢和條件語句，就像自然對(duì)話中的事實(shí)陳述之間偶爾會(huì)出現(xiàn)問題一樣。
此行為是通過讀取-評(píng)估-打印循環(huán) (REPL) 實(shí)現(xiàn)的，該循環(huán)根據(jù)出現(xiàn)的所有條件語句評(píng)估查詢對(duì)話歷史中的那一點(diǎn)。
在我們的模型中，我們假設(shè)用戶指定每個(gè)話語是否是條件或查詢，但大語言模型可能可以準(zhǔn)確地對(duì)未注釋的話語進(jìn)行分類。
結(jié)論
人類語言的意義理論應(yīng)該解釋語言如何與我們的思想相關(guān)，這一愿景是人類語言和意義理論的核心，但人工智能最廣泛的愿景長(zhǎng)期以來也是計(jì)算機(jī)共享我們的語言，能夠像我們期望被其他人理解的那樣有意義地理解我們。
當(dāng)今的大型語言模型在許多重要方面都在構(gòu)建這一現(xiàn)實(shí)方面取得了驚人的進(jìn)步，我們第一次構(gòu)建了能夠流利地與我們對(duì)話的計(jì)算機(jī)系統(tǒng)。
不過，我們還需要做更多的工作來捕捉我們自己與語言的關(guān)系。我們不像大型語言模型那樣學(xué)習(xí)語言。我們首先思考，然后從少得多的輸入中學(xué)習(xí)語言如何映射到我們的思想中。
我們自己的世界模式和信仰并不是我們從語言中收集到的脆弱的副產(chǎn)品——它們是我們認(rèn)知的基礎(chǔ)和核心，是為了我們的意圖和愿望而有目的地構(gòu)建和維護(hù)的。
通過使用神經(jīng)模型將句子翻譯成概率程序，我們解決了世界模型如何從描述不確定情況、關(guān)系結(jié)構(gòu)、具體情況和目標(biāo)導(dǎo)向推理的語言中提取含義并推理引擎如何推理。
同時(shí)也留下了許多懸而未決的問題，例如如何將該框架擴(kuò)展到更復(fù)雜的語言，以及如何自動(dòng)化為新領(lǐng)域構(gòu)建意義表示的過程。
這些問題共同為解決跨越人工智能和認(rèn)知科學(xué)的許多子領(lǐng)域建模語言、推理及其交互方面的核心挑戰(zhàn)提供了路線圖。
參考資料： https://arxiv.org/pdf/2306.12672.pdf https://twitter.com/arankomatsuzaki/status/1672048278886658049 【END】免責(zé)申明:本站所有內(nèi)容均來自網(wǎng)絡(luò),我們對(duì)文中觀點(diǎn)保持中立,對(duì)所包含內(nèi)容的準(zhǔn)確性,可靠性或者完整性不提供任何明示或暗示的保證,請(qǐng)僅作參考。若有侵權(quán),請(qǐng)聯(lián)系刪除。
文章來源：新智元
