發(fā)布時間:2025-11-28 20:41:21 來源:企業(yè)錄(www.qy6.com)-公司信息發(fā)布,網(wǎng)上買賣交易門戶 作者:焦點
你知道有個全球年度詞匯叫“腦損傷”(Brain Rot)嗎?短視多A度最的論
特指那些因人長期接觸碎片化、低價值網(wǎng)絡(luò)信息而逐漸變得記憶紊亂、頻刷注意力下降的蠢年情況(俗稱短視頻刷多了)。在2024年,令人這個詞一度被選為牛津年度詞匯。不安
然鵝!短視多A度最的論最新研究結(jié)論顯示,頻刷AI也一樣。蠢年大模型灌多了垃圾內(nèi)容也會變蠢降智腦損傷,令人而且后面變不回來了。不安
就在最近,短視多A度最的論幾個AI研究者找來了幾個月的頻刷高流行但低價值的Twitter數(shù)據(jù)(現(xiàn)),統(tǒng)統(tǒng)“喂”給大模型后發(fā)現(xiàn):
模型推理能力下降了23%;
模型長上下文記憶下降了30%;
模型性格測試顯示,蠢年其自戀和精神病態(tài)的令人現(xiàn)象激增。
更可怕的不安是,即使后來又在干凈、高質(zhì)量的數(shù)據(jù)上進行重新訓(xùn)練,這些已經(jīng)造成的損傷,無法完全修復(fù)。
好嘛,本來以為只是簡單的“輸入壞數(shù)據(jù)→輸出壞數(shù)據(jù)”(種瓜得瓜也不難理解),結(jié)果你告訴我一次錯誤就會造成永久性的認知漂移。(os:AI貌似比人類更慘?)
細思極恐,“這可能是2025年最令人不安的AI論文了”。
以及諸多討論之中,“垃圾進垃圾出”這一計算機習(xí)語也再度被頻頻提及(doge),堪稱“計算機第一性原理”了。
所以這個研究怎么進行的?又究竟說了什么?
提出并驗證“LLM腦損傷假說”
概括而言,論文想要探究一個核心問題:
大語言模型(LLM)持續(xù)接觸垃圾數(shù)據(jù)后,是否會像人類一樣出現(xiàn)認知衰退?(即“LLM腦損傷假說”)
要想搞清這個問題,第一步就是要定義:對于LLM來說,什么是“垃圾數(shù)據(jù)”?
之前的研究僅關(guān)注“惡意數(shù)據(jù)”(如后門、有毒的文本等),而這項研究聚焦于生活中更普遍的“非惡意低質(zhì)量數(shù)據(jù)”,也就是短平快的熱門推文、標(biāo)題黨內(nèi)容等,以此來填補“日常化數(shù)據(jù)質(zhì)量如何影響LLM認知”這一空白領(lǐng)域。
具體而言,研究人員從兩個維度(避免單一標(biāo)準(zhǔn)偏差)來定義“垃圾數(shù)據(jù)”,這些數(shù)據(jù)均源自平臺上的公開內(nèi)容,而且通過讓“垃圾組”與“對照組”的token數(shù)量一致來排除數(shù)據(jù)量差異的干擾:
M1(參與度維度):把“短文本+高熱度”的內(nèi)容歸為垃圾數(shù)據(jù),具體是指長度小于30 token+點贊/轉(zhuǎn)發(fā)/回復(fù)大于500,然后把“長文本+低熱度”定義為對照數(shù)據(jù)。
M2(語義質(zhì)量維度):用GPT-4o-mini結(jié)合人工驗證,把含標(biāo)題黨語言(如 “WOW”“TODAY ONLY”)、陰謀論、無論斷依據(jù)的文本歸為垃圾數(shù)據(jù);對照組則是事實準(zhǔn)確、有教育價值或深度分析的內(nèi)容,比如含專業(yè)知識、邏輯推理的推文。
基于上述兩類數(shù)據(jù),然后進行模型訓(xùn)練。
研究人員選了4個不同的大語言模型(Llama3-8B-Instruct、Qwen2.5-7B-Instruct、Qwen2.5-0.5B-Instruct、Qwen3-4B-Instruct),給每個模型分別“喂”這兩類數(shù)據(jù),讓它們持續(xù)預(yù)訓(xùn)練。
等預(yù)訓(xùn)練結(jié)束,接著讓所有模型統(tǒng)一再進行指令微調(diào),以此來確保模型最后輸出的“垃圾內(nèi)容”不是因為格式問題導(dǎo)致的(排除其他因素,只留下“認知損傷”這一種可能)。
然后,研究人員從四個認知維度來測試這些大模型的核心能力:
ARC(檢測推理能力):基于網(wǎng)格的視覺程序歸納謎題,用于測試概念抽象能力。
RULER(檢測記憶與多任務(wù)處理能力):用于評估長上下文理解能力,以及從長上下文中檢索多個查詢結(jié)果。
HH-RLHF&AdvBench (檢測道德規(guī)范):測試大語言模型是否會遵循有害指令,評估其安全性。
TRAIT(檢測AI人格特質(zhì)):經(jīng)過心理測量學(xué)驗證的小型人類問卷,用于評估模型類似人類的人格傾向。
結(jié)果得出了以下發(fā)現(xiàn)——
真·垃圾進垃圾出!且損傷不可逆
首先,大模型確實和人類一樣存在“腦損傷(Brain Rot)”問題。
整體上M1和M2兩種維度上的“垃圾數(shù)據(jù)”均會導(dǎo)致模型認知下降,但需要注意的是——
M1所帶來的負面影響更為顯著,尤其在安全性和人格層面(M1會導(dǎo)致安全性評分下降,同時自戀/精神病特質(zhì)明顯增強)。
而且,這一損害明顯存在“劑量效應(yīng)”,即垃圾數(shù)據(jù)攝入越多,AI認知損傷越嚴重。
至于導(dǎo)致AI認知受損的背后原因,研究人員也做了一番探查。
結(jié)果發(fā)現(xiàn),主要原因竟是“思維跳躍”(俗稱AI懶得一步步思考)。
具體而言,研究人員通過分析ARC題的錯誤答案,發(fā)現(xiàn)失敗多源于模型要么直接給答案不解釋,要么規(guī)劃了推理步驟卻跳過關(guān)鍵環(huán)節(jié)(如解數(shù)學(xué)題漏了公式推導(dǎo))。
尤其是M1組,70%以上的錯誤都是“無思考直接回答”,就好像人類刷多了短視頻后“不愿意再深度思考”。
與此同時,相比人類可以通過其他措施來緩解類似的認知下降問題,AI卻對此“束手無策”。
研究嘗試了兩種修復(fù)方法,結(jié)果都無法讓其恢復(fù)如初:
其一是外部反思。研究人員用GPT-4o-mini給受損模型提錯誤反饋,雖然6輪下來“思維跳躍”這一錯誤誘因減少了,但推理準(zhǔn)確率仍差基線17.3%。如果換成讓模型自我反思糾錯,則模型還會因為“認知不足”而判斷錯誤,導(dǎo)致誤差更高。
其二是大規(guī)模微調(diào)。研究人員把指令微調(diào)數(shù)據(jù)從5k增至50k,雖然修復(fù)效果優(yōu)于“持續(xù)對照數(shù)據(jù)預(yù)訓(xùn)練”,但即使使用4.8倍于垃圾數(shù)據(jù)量的指令數(shù)據(jù),仍無法恢復(fù)基線性能。
這說明,即使事后進行大量指令微調(diào)或使用高質(zhì)量數(shù)據(jù)進行重新訓(xùn)練,也都無法完全恢復(fù)模型的初始性能。
一句話,只能緩解無法根治。
整體而言,這項研究給行業(yè)帶來了以下幾點新的啟發(fā):
1、首次把“持續(xù)預(yù)訓(xùn)練的數(shù)據(jù)篩選”歸為“訓(xùn)練時安全問題”,提醒行業(yè)不能只關(guān)注“訓(xùn)練后對齊”(如安全微調(diào)),更要在源頭把控數(shù)據(jù)質(zhì)量。
2、給大模型加上“認知體檢”非常重要,建議部署大模型時使用ARC、RULER等基準(zhǔn)測試AI認知,避免AI長期接觸低質(zhì)量數(shù)據(jù)導(dǎo)致能力退化。
3、類似“熱度”這樣的指標(biāo)比文本長度更能判斷數(shù)據(jù)質(zhì)量,未來篩選訓(xùn)練數(shù)據(jù)時,可優(yōu)先排除“短+高傳播”的碎片化內(nèi)容,尤其是社交平臺數(shù)據(jù)。
背后團隊:華人含量爆表
最后說一下這項研究的背后團隊——一共8人,其中7人為華人。
兩位共同一作分別為Shuo Xing和Junyuan Hong(兼通訊作者)。
Shuo Xing(邢朔),目前是得克薩斯A&M大學(xué)計算機科學(xué)博士,寧夏大學(xué)本科、南開大學(xué)碩士。
研究方向為多模態(tài)大語言模型、機器學(xué)習(xí)、可信人工智能、具身智能等,剛好目前也在谷歌實習(xí)(方向為多模態(tài)基礎(chǔ)模型)。
Junyuan Hong,個人主頁顯示即將赴任新國立電子與計算機工程系助理教授,之前曾在麻省總醫(yī)院和哈佛醫(yī)學(xué)院工作。
更早之前,他還在IFML機器學(xué)習(xí)基礎(chǔ)研究所從事博士后研究,一直對健康和可信人工智能感興趣。
另一位通訊作者是Zhangyang Wang,他之前是德克薩斯大學(xué)奧斯汀分校錢德拉家族電氣與計算機工程系(簡稱Texas ECE)的終身副教授。
從2024年5月開始,他選擇暫時離開學(xué)界,全職出任全球頂尖量化交易公司XTX Markets的研究總監(jiān),主導(dǎo)算法交易與深度學(xué)習(xí)交叉領(lǐng)域的研究工作。
個人主頁顯示,他還是中國科學(xué)技術(shù)大學(xué)校友,2012年獲得該校電子信息系統(tǒng)學(xué)士學(xué)位。
此外,兩位核心貢獻者分別為Yifan Wang和Runjin Chen。
Yifan Wang,現(xiàn)普渡大學(xué)四年級博士生,論文唯一外國作者Ananth Grama是其指導(dǎo)老師。
本科畢業(yè)于中國科學(xué)技術(shù)大學(xué)電子信息工程系,同時輔修人工智能專業(yè)。
自本科埋下對AI的好奇心后,目前對大模型后訓(xùn)練、如何提升模型訓(xùn)推效率感興趣。
(hhh,頭像一看就是標(biāo)準(zhǔn)的90后或00后)
Runjin Chen,目前是德克薩斯大學(xué)奧斯汀分校二年級博士生,導(dǎo)師為前面提到的Zhangyang Wang教授。
本碩均畢業(yè)于上海交通大學(xué),而且她從今年3月起擔(dān)任Anthropic研究員。
個人研究方向為大語言模型的安全、對齊和推理。
其余三位支持者分別為Zhenyu Zhang、Ananth Grama和Zhengzhong Tu。
Zhenyu Zhang,目前是德克薩斯大學(xué)奧斯汀分校電氣與計算機工程系在讀博士,導(dǎo)師也是前面提到的Zhangyang Wang。
本碩均畢業(yè)于中國科學(xué)技術(shù)大學(xué),研究興趣主要集中在生成式模型的訓(xùn)推方面。
Ananth Grama,這項研究唯一的外國作者。
目前是普渡大學(xué)信息科學(xué)中心副主任,同時也是該校計算機科學(xué)領(lǐng)域的杰出榮譽教授。
他的研究重點為并行和分布式計算,致力于將其應(yīng)用于復(fù)雜物理系統(tǒng)的建模、設(shè)計、先進制造、機器學(xué)習(xí)等領(lǐng)域。
Zhengzhong Tu,目前是得克薩斯A&M大學(xué)計算機科學(xué)與工程系助理教授,也是論文一作邢朔的導(dǎo)師。
同時,他還兼任該校可信、自主、以人為本與具身智能研究組(TACO-Group) 負責(zé)人一職。
個人主頁顯示,他至今已發(fā)表30多篇國際期刊/會議論文,而且曾擔(dān)任超18個國際期刊/會議的技術(shù)審稿人。
整體看下來,這又是一場典型的老師帶學(xué)生、同事帶同事的合作典范。
One More Thing
其實“垃圾進垃圾出”這一習(xí)語,計算機早期時代就有了。
十九世紀(jì),計算機先驅(qū)查爾斯·巴貝奇(曾提出著名差分機與分析機的設(shè)計概念)就意識到了這條編程的基本原則:
我曾兩度被問到:“請問巴貝奇先生,如果給機器輸入錯誤的數(shù)字,它能得出正確的結(jié)果嗎?”我完全想不透,思維何等混亂的人才問得出這種問題。
瞧瞧他的用詞,只有思緒混亂之人才會對這個問題感到疑惑,觀點不可謂不鮮明。
在這之后,在一篇1957年介紹美國陸軍數(shù)學(xué)家所做的計算機工作的報紙文章中,其中一位軍隊專家也曾表示:
計算機自己不能思考,因此輸入粗劣的數(shù)據(jù)將不可避免地產(chǎn)生錯誤的輸出。
后來相關(guān)理論不斷被提出、被熱議,并逐漸誕生了“Garbage in, garbage out”這一習(xí)語。
實際上,在前AI的時代,這句話是計算機原理也是一種“以機為鏡”的哲學(xué)思考,對于計算機和人類,物種不同,但殊途同歸。
但AI開始進入智能涌現(xiàn)階段后,這個命題變得更加值得思考。
現(xiàn)階段的大模型垃圾喂多了“腦損傷”后難以修復(fù)……那有沒有方法和手段改變?
而人類發(fā)展進化歷史里充滿了“浪子回頭”、“痛改前非”的故事,又是否代表著另一種高級的智能機制,幫助人類個體實現(xiàn)自我革新和凈化?
你說呢……
相關(guān)文章
隨便看看