當(dāng)Ilya Sutskever近揭露聲稱(chēng)“純靠Scaling Law的年代已經(jīng)結(jié)束”，并斷言“大模型的未來(lái)不在于單純的規(guī)劃更大，而是要架構(gòu)變得更聰明”時(shí)，整個(gè)AI界都意識(shí)到了一場(chǎng)范式搬運(yùn)正在發(fā)生。

由于曩昔幾年，行業(yè)好像沉迷于用更多數(shù)據(jù)、更大參數(shù)、更強(qiáng)算力堆出更強(qiáng)的模型，但這條路正迫臨收益遞減的臨界點(diǎn)。

Ilya和LeCun等頂尖AI大佬不約而同地指出：真實(shí)的打破，有必要來(lái)自架構(gòu)層面的根本性立異，而非對(duì)現(xiàn)有Transformer流水線的修修補(bǔ)補(bǔ)。

就在如此要害節(jié)點(diǎn)，一個(gè)來(lái)自我國(guó)研討團(tuán)隊(duì)的新物種橫空出世：

全球首個(gè)可大規(guī)劃落地的開(kāi)源原生多模態(tài)架構(gòu)（Native VLM），名曰NEO。

要知道，此前干流的多模態(tài)大模型，例如咱們熟悉的GPT-4V、Claude 3.5等，它們的底層邏輯實(shí)質(zhì)上其實(shí)玩的便是拼接。

什么意思呢？

便是將一個(gè)預(yù)練習(xí)好的視覺(jué)編碼器（比方 ViT）經(jīng)過(guò)一個(gè)小小的投影層，嫁接到一個(gè)強(qiáng)壯的大言語(yǔ)模型上。

這種模塊化的方式雖說(shuō)是完成了多模態(tài)，但視覺(jué)和言語(yǔ)始終是兩條平行線，只是在數(shù)據(jù)層面被粗暴地拉到了一起。

而這項(xiàng)來(lái)自商湯科技與南洋理工大學(xué)等高校的聯(lián)合研討，要做的便是從根上顛覆這一切。

在NEO這兒，大模型不只能看、會(huì)說(shuō)，而且天生就懂視覺(jué)和言語(yǔ)是一體兩面的道理。

更驚人的一組數(shù)據(jù)是，憑借這種原生多模態(tài)架構(gòu)，NEO僅用十分之一的練習(xí)數(shù)據(jù)，就在多項(xiàng)要害評(píng)測(cè)中追平乃至逾越了那些依賴(lài)海量數(shù)據(jù)和雜亂模塊堆砌的旗艦級(jí)對(duì)手！

那么NEO到底是怎樣怎么做到的，咱們繼續(xù)往下看。

為什么非得是原生架構(gòu)？

在深入了解原理之前，咱們還需求了解多模態(tài)當(dāng)時(shí)的現(xiàn)狀。

正如咱們方才提到的，當(dāng)時(shí)干流的模塊化架構(gòu)，實(shí)則存在三大難以跨越的技能距離。

首先是功率距離。

模塊化模型的練習(xí)流程極端雜亂，一般分為三步：先分別預(yù)練習(xí)視覺(jué)編碼器和言語(yǔ)模型，再經(jīng)過(guò)一個(gè)對(duì)齊階段讓二者學(xué)會(huì)溝通，后可能還需求指令微調(diào)。

這個(gè)過(guò)程不只耗時(shí)耗力，本錢(qián)高昂，而且每個(gè)階段都可能引入新的誤差和不一致性；視覺(jué)和言語(yǔ)的常識(shí)被割裂在不同的“房間”里，需求不斷“傳紙條”才干勉強(qiáng)協(xié)作。

其次是才能距離。

視覺(jué)編碼器在規(guī)劃之初就帶有激烈的歸納偏置。比方，它一般要求輸入圖畫(huà)有必要是固定的分辨率（如224x224），或許有必要被強(qiáng)行展平成一維的token序列。

這種處理方式，關(guān)于了解一幅畫(huà)的全體構(gòu)圖或許足夠，但在面臨需求捕捉細(xì)微紋理、雜亂空間聯(lián)系或恣意長(zhǎng)寬比的場(chǎng)景（比方一張長(zhǎng)圖、一張工程圖紙）時(shí)，就顯得力不從心。

由于模型看到的，只是一個(gè)被過(guò)度簡(jiǎn)化和結(jié)構(gòu)化的骨架。

后是交融距離。

那個(gè)銜接視覺(jué)和言語(yǔ)的映射，簡(jiǎn)直都是停留在簡(jiǎn)略的表層，無(wú)法觸及深層次的語(yǔ)義對(duì)齊。這就導(dǎo)致了模型在處理需求細(xì)粒度視覺(jué)了解的任務(wù)時(shí)常常捉襟見(jiàn)肘。

例如，讓它描繪一張雜亂圖表，它可能會(huì)混淆圖例和數(shù)據(jù)；讓它了解一個(gè)帶有空間指示的指令，比方“把左面第二個(gè)紅蘋(píng)果放到右邊籃子里”，它可能會(huì)搞錯(cuò)左右或數(shù)量。

究其根本，是由于在模型內(nèi)部，視覺(jué)信息和言語(yǔ)信息從未被放在同一個(gè)語(yǔ)義空間里進(jìn)行真實(shí)的、深度交融的推理。

也正因如此，NEO背面研討團(tuán)隊(duì)從第一性原理動(dòng)身，直接打造一個(gè)視覺(jué)與言語(yǔ)從誕生之初就血脈相連的一致模型——

這個(gè)模型不再有視覺(jué)模塊和言語(yǔ)模塊的區(qū)分，只要一個(gè)一致的、專(zhuān)為多模態(tài)而生的大腦。

回憶AI發(fā)展史，從RNN到Transformer，每一次真實(shí)的騰躍都源于架構(gòu)層面的根本性立異。

而曩昔幾年，行業(yè)陷入了“唯規(guī)劃論”的路徑依賴(lài)，直到今日，以Ilya為代表的一批頂尖研討者才集體發(fā)出警示：Transformer架構(gòu)的固有局限已日益凸顯，僅靠堆疊算力和數(shù)據(jù)，無(wú)法通往真實(shí)的通用智能。

NEO的誕生，恰逢其時(shí)。它用一個(gè)簡(jiǎn)練而一致的原生架構(gòu)，有力地證明晰：下一代AI的競(jìng)爭(zhēng)力，要害在于架構(gòu)有多聰明。

NEO背面的三大原生技能

NEO 的核心立異，體現(xiàn)在三個(gè)底層技能維度上，它們一起構(gòu)建了模型的原生才能。

第一，原生圖塊嵌入 (Native Patch Embedding)。

傳統(tǒng)模型常預(yù)先采用離散的tokenizer或許銜接vision encoder壓縮圖畫(huà)信息或語(yǔ)義token。

NEO則是直接摒棄了這一步，它規(guī)劃了一個(gè)輕量級(jí)的圖塊嵌入層，經(jīng)過(guò)兩層卷積神經(jīng)網(wǎng)絡(luò)，直接從像素動(dòng)身，自底向上地構(gòu)建一個(gè)接連的、高保真的視覺(jué)表征。

這就像讓AI學(xué)會(huì)了像人類(lèi)一樣，用眼睛直接感受光影和細(xì)節(jié)，而不是先看一張被馬賽克化的抽象圖。

這種規(guī)劃讓模型能更精細(xì)地捕捉圖畫(huà)中的紋理、邊際和部分特征，從根本上打破了干流模型的圖畫(huà)建模瓶頸。

第二，原生三維旋轉(zhuǎn)方位編碼 (Native-RoPE)。

方位信息關(guān)于了解任何序列都至關(guān)重要。文本是一維的，而圖畫(huà)是二維的，視頻更是三維的（時(shí)空）。傳統(tǒng)模型要么給所有模態(tài)用同一個(gè)一維方位編碼，要么簡(jiǎn)略地拼接，這顯然無(wú)法滿(mǎn)意不同模態(tài)的天然結(jié)構(gòu)。

NEO的Native-RoPE立異性地為時(shí)間（T）、高度（H）、寬度（W）三個(gè)維度分配了不同的頻率：視覺(jué)維度（H, W）使用高頻，以精準(zhǔn)描寫(xiě)部分細(xì)節(jié)和空間結(jié)構(gòu)；文本維度（T）兼顧高頻和低頻，同時(shí)處理好部分性和長(zhǎng)距離依賴(lài)。

更奇妙的是，關(guān)于純文本輸入，H和W的索引會(huì)被置零，完全不影響原有言語(yǔ)模型的功能。

這相當(dāng)于給AI裝上了一個(gè)智能的、可自適應(yīng)的時(shí)空坐標(biāo)系，不只能精準(zhǔn)定位圖畫(huà)中的每一個(gè)像素，也為無(wú)縫擴(kuò)展到視頻了解和3D交互等雜亂場(chǎng)景鋪平了道路。

第三，原生多頭留意力 (Native Multi-Head Attention)。

留意力機(jī)制是大模型的考慮方式，在傳統(tǒng)模塊化模型里，言語(yǔ)模型的留意力是因果的（只能看到前面的詞），而視覺(jué)編碼器的留意力是雙向的（能看到所有像素）。

NEO采取的方法，則是在一個(gè)一致的留意力框架下，讓這兩種形式并存。

當(dāng)處理文本token時(shí)，它遵循規(guī)范的自回歸因果留意力；而當(dāng)處理視覺(jué)token時(shí)，它則采用全雙向留意力，讓所有圖畫(huà)塊之間能夠自由地交互和關(guān)聯(lián)。

這種“左右腦協(xié)同工作”的形式，極大地提升了模型對(duì)圖畫(huà)內(nèi)部空間結(jié)構(gòu)的了解才能，從而能更好地支撐雜亂的圖文交織推理，比方了解“貓?jiān)诤凶由戏健焙汀柏堅(jiān)诤凶永铩钡募?xì)微差別。

除了這三大核心，NEO還配套了一套名為Pre-Buffer & Post-LLM的雙階段交融練習(xí)戰(zhàn)略。

在預(yù)練習(xí)初期，模型會(huì)被暫時(shí)劃分為兩部分：一個(gè)擔(dān)任視覺(jué)言語(yǔ)深度交融的Pre-Buffer和一個(gè)繼承了強(qiáng)壯言語(yǔ)才能的Post-LLM。

前者在后者的引導(dǎo)下，從零開(kāi)始高效地學(xué)習(xí)視覺(jué)常識(shí)，建立初步的像素-詞語(yǔ)對(duì)齊；而且跟著練習(xí)的深入，這個(gè)劃分會(huì)逐漸消失，整個(gè)模型融為一個(gè)端到端的、不可分割的全體。

這種戰(zhàn)略便奇妙地處理了原生架構(gòu)練習(xí)中怎么在不危害言語(yǔ)才能的前提下學(xué)習(xí)視覺(jué)的難題。

十分之一的數(shù)據(jù)，追平旗艦

紙上談兵終覺(jué)淺，實(shí)測(cè)數(shù)據(jù)見(jiàn)分曉。接下來(lái)咱們就來(lái)看下NEO在實(shí)測(cè)中的體現(xiàn)。

縱觀成果，直觀的體現(xiàn)便是數(shù)據(jù)功率——

NEO僅使用了3.9億個(gè)圖畫(huà)文本對(duì)進(jìn)行練習(xí)，這個(gè)數(shù)量級(jí)僅僅是同類(lèi)尖端模型所需數(shù)據(jù)的十分之一！

它無(wú)需依賴(lài)巨大的視覺(jué)編碼器或海量的對(duì)齊數(shù)據(jù)，僅憑其簡(jiǎn)練而強(qiáng)壯的原生架構(gòu)，就在多項(xiàng)視覺(jué)了解任務(wù)上追平了 Qwen2-VL、InternVL3等尖端模塊化旗艦?zāi)Ｐ汀?/p>

在權(quán)威的評(píng)測(cè)榜單上，NEO的體現(xiàn)也是較為亮眼。

在MMMU（多學(xué)科歸納了解）、MMBench（歸納多模態(tài)才能）、MMStar（空間與科學(xué)推理）、SEED-I（視覺(jué)感知）以及POPE（衡量模型幻覺(jué)程度）等多個(gè)要害基準(zhǔn)測(cè)驗(yàn)中，NEO均取得了高分，展現(xiàn)出優(yōu)于其他原生VLM的歸納功能，真實(shí)做到了精度無(wú)損。

尤其值得留意的是，當(dāng)時(shí)NEO在2B到8B的中小參數(shù)規(guī)劃區(qū)間內(nèi)，展現(xiàn)出了較高的推理性?xún)r(jià)比。

關(guān)于動(dòng)輒數(shù)十B乃至上百B的大模型來(lái)說(shuō)，這些中小模型好像只是玩具。但正是這些模型，才是未來(lái)在手機(jī)、機(jī)器人、智能轎車(chē)等邊際設(shè)備上落地的要害。

NEO不只在這些規(guī)劃上完成了精度與功率的雙重躍遷，更大幅降低了推理本錢(qián)。

這意味著，強(qiáng)壯的多模態(tài)視覺(jué)感知才能，將不再是云端大模型的專(zhuān)屬，而是能夠真實(shí)遍及到每一個(gè)終端設(shè)備上。

怎么評(píng)價(jià)NEO？

后，咱們還需求討論一個(gè)問(wèn)題：NEO有什么用？

從咱們上述的內(nèi)容不難看出，NEO真實(shí)的價(jià)值，不只在于功能指標(biāo)的打破，更在于它為多模態(tài)AI的演進(jìn)指明晰一條新路徑。

它原生一體化的架構(gòu)規(guī)劃，從底層打通了視覺(jué)與言語(yǔ)的語(yǔ)義距離，天然支持恣意分辨率圖畫(huà)、長(zhǎng)圖文交織推理，并為視頻了解、3D空間感知乃至具身智能等更高階的多模態(tài)交互場(chǎng)景預(yù)留了明晰的擴(kuò)展接口。

這種為交融而生的規(guī)劃哲學(xué)，能夠讓它成為構(gòu)建下一代通用人工智能體系的抱負(fù)底座。

更要害的是，商湯已開(kāi)源基于NEO架構(gòu)的2B與9B兩種標(biāo)準(zhǔn)模型，釋放出激烈的共建信號(hào)。

這一行動(dòng)有望推動(dòng)整個(gè)開(kāi)源社區(qū)從當(dāng)時(shí)干流的模塊拼接范式，向更高效、更一致的原生架構(gòu)搬遷，加快形成新一代多模態(tài)技能的事實(shí)規(guī)范。

與此同時(shí)，NEO在中小參數(shù)規(guī)劃下展現(xiàn)出的性?xún)r(jià)比，正在打破大模型壟斷高功能的固有認(rèn)知。

它大幅降低了多模態(tài)模型的練習(xí)與部署門(mén)檻，使得強(qiáng)壯的視覺(jué)了解才能不再局限于云端，而是能夠真實(shí)下沉到機(jī)器人、智能轎車(chē)、AR/VR 眼鏡、工業(yè)邊際設(shè)備等對(duì)本錢(qián)、功耗和推遲高度敏感的終端場(chǎng)景。

從這個(gè)角度看，NEO不只是一個(gè)技能模型，更是通向下一代普惠化、終端化、具身化AI基礎(chǔ)設(shè)施的要害雛形。

更重要的是，NEO的出現(xiàn)，為當(dāng)時(shí)迷茫的AI界提供了一個(gè)明晰而有力的答案。

在Ilya等人一起指出行業(yè)亟需新范式的當(dāng)下，NEO以其完全的原生規(guī)劃理念，成為了“架構(gòu)立異重于規(guī)劃堆砌”這一新趨勢(shì)的首個(gè)成功典范。

它不只從頭定義了多模態(tài)模型的構(gòu)建方式，更向國(guó)際宣告：AI的下一站，是回歸到對(duì)智能實(shí)質(zhì)的探索，經(jīng)過(guò)根本性的架構(gòu)立異，去構(gòu)建能真實(shí)了解并融通多維信息的通用大腦。

這一步，是我國(guó)團(tuán)隊(duì)對(duì)全球AI演進(jìn)方向的一次要害性貢獻(xiàn)�；蛉珙A(yù)言，這正是通往下一代AI的必經(jīng)之路。