最近，Ai2耶魯NYU聯(lián)合推出了一個科研版「Chatbot Arena」——SciArena。全球23款頂尖大模型火拼真實科研任務(wù)，OpenAI o3領(lǐng)跑全場，DeepSeek緊追Gemini擠入前四！不過從結(jié)果來看，要猜中科研人的偏好，自動評估系統(tǒng)遠(yuǎn)未及格。
如今，用AI大模型輔助寫論文早已成為科研工作者的家常便飯。
ZIPDO 2025教育報告顯示，AI已經(jīng)無縫融入70%的研究實驗室，并在五年內(nèi)推動相關(guān)科研論文數(shù)量增長了150%。
AI在輔助科研的路上一路狂飆，但一個關(guān)鍵問題卻長期懸而未解：
「大模型科研能力究竟怎么樣？」
傳統(tǒng)benchmark靜態(tài)且片面，難以衡量科研任務(wù)所需的上下文理解與推理能力。
為此，Ai2聯(lián)合耶魯大學(xué)和紐約大學(xué)推出了科研界的Chatbot Arena——SciArena，正式開啟科學(xué)智能的「擂臺賽」時代！
論文鏈接：https://arxiv.org/pdf/2507.01001
目前，已有23個最前沿的大語言模型登上SciArena的擂臺，涵蓋OpenAI、Anthropic、DeepSeek、Google等巨頭產(chǎn)品。
其中，OpenAI o3斷崖式領(lǐng)先，坐上了科學(xué)任務(wù)的頭把交椅，在所有科學(xué)領(lǐng)域都穩(wěn)居第一，輸出的論文講解也更有技術(shù)含量。
其他模型在不同領(lǐng)域各有千秋：
例如Claude-4-Opus的醫(yī)療健康知識很強(qiáng)，而DeepSeek-R1-0528在自然科學(xué)表現(xiàn)搶眼。
值得一提的是，SciArena剛發(fā)布沒多久就得到了Nature的特別報道，并被盛贊為「解釋大模型知識結(jié)構(gòu)的新窗口」。
下面我們就來看看，評估基礎(chǔ)模型科研能力，SciArena究竟靠譜在哪里？
SciArena：科研AI新「試金石」
SciArena是首個專為科學(xué)文獻(xiàn)任務(wù)量身定制的大模型「開放式評估平臺」。
在這里，科研人員可以對不同基礎(chǔ)模型處理科學(xué)文獻(xiàn)任務(wù)的表現(xiàn)進(jìn)行比較和投票。
團(tuán)隊引入了Chatbot Arena式的眾包、匿名、雙盲對決機(jī)制，用真實科研問題來驗貨大模型。
SciArena專門針對科學(xué)探究的復(fù)雜性與開放性進(jìn)行了優(yōu)化，解決通用基準(zhǔn)測試在科研場景中「失效」的問題。
該平臺主要由三大核心組件構(gòu)成：
-
SciArena平臺: 科研人員在此提交問題，并「同臺對比」查看不同基礎(chǔ)模型的回復(fù)，選出自己更偏好的輸出。
-
排行榜: 平臺采用Elo評分系統(tǒng)對各大模型進(jìn)行動態(tài)排名，從而提供一份實時更新的性能評估報告。
-
SciArena-Eval: 基于SciArena平臺收集的人類偏好數(shù)據(jù)構(gòu)建的元評估基準(zhǔn)集，其核心目標(biāo)是檢驗用模型來猜測人類偏好的準(zhǔn)確性。
對決背后：評測機(jī)制大揭秘
從提問到投票：SciArena評估全流程
SciArena的工作流程包括檢索論文、調(diào)用模型回復(fù)、用戶評估三個環(huán)節(jié)。
與通用問答相比，科研問答最大的壁壘在于要以嚴(yán)謹(jǐn)?shù)目茖W(xué)文獻(xiàn)為依據(jù)。
為了確保檢索信息的質(zhì)量與相關(guān)性，團(tuán)隊改編了Allen Institute for AI的Scholar QA系統(tǒng)，搭建了一套先進(jìn)的多階段檢索流水線。
該流水線包含查詢分解、段落檢索和結(jié)果重排序等多個步驟。
收到用戶提交的問題后，平臺啟用流水線，檢索相關(guān)的科學(xué)論文作為上下文。
隨后，平臺把上下文和用戶的問題合在一起，同時發(fā)送給兩個隨機(jī)選擇的基礎(chǔ)模型。
兩個模型各自生成內(nèi)容詳實、附帶標(biāo)準(zhǔn)引文的長篇回復(fù)。
平臺會統(tǒng)一處理兩份回復(fù)，變成格式一致的標(biāo)準(zhǔn)化純文本，以免用戶「認(rèn)出」模型的回答風(fēng)格。
最后，用戶對這兩個純文本輸出進(jìn)行評估，并投票選出自己偏好的答案。
值得注意的是，SciArena的注意力主要集中于可橫向評估的「通用基礎(chǔ)模型」。
至于OpenAI Deep Research等定制型智能體或閉源研究系統(tǒng)，則不在平臺的考慮范疇內(nèi)。
102位專家，13000票
要想評測準(zhǔn)，數(shù)據(jù)必須信得過。
SciArena團(tuán)隊對數(shù)據(jù)的把關(guān)嚴(yán)格得令人發(fā)指。
在平臺上線的前四個月里，他們收集了不同科研領(lǐng)域的102位專家的13000多次投票。
這102位專家絕非隨意參與的路人，而是科研一線的在讀研究生，人均手握兩篇以上論文。
而且，所有的標(biāo)注員都接受了一小時的線上培訓(xùn)，確保評價標(biāo)準(zhǔn)一致。
再加上盲評盲選機(jī)制，SciArena的每一條評估結(jié)果都有據(jù)可依。
在SciArena的高標(biāo)準(zhǔn)和嚴(yán)要求下，平臺的標(biāo)注數(shù)據(jù)自我一致性極高（加權(quán)科恩系數(shù)κ=0.91），標(biāo)注者間一致性也達(dá)到了較高水平（κ=0.76）。
這13000多次投票為SciArena平臺打下了值得信賴的評估基礎(chǔ)。
最強(qiáng)AI，猜不透科研人的心
在SciArena平臺上，研究團(tuán)隊基于元評估基本集SciArena-Eval，測試了「模型評模型」的自動評估方法：
給一個評估模型一條科研問題和兩個模型的回答，讓它猜哪個更可能被人類選中。
結(jié)果很扎心。
哪怕是表現(xiàn)最好的o3模型，準(zhǔn)確率也只有65.1%，而像Gemini-2.5-Flash和LLaMA-4系列，幾乎跟「擲硬幣選答案」的準(zhǔn)確率差不多。
對比一下通用領(lǐng)域，像AlpacaEval、WildChat這些基準(zhǔn)的評估模型，準(zhǔn)確率都能跑到70%以上，相比之下，科研任務(wù)顯得難多了。
看來，「讓模型理解科研人的偏好」并非易事。
不過也不是全無亮點。
加入了推理能力的模型，在判斷答案優(yōu)劣上普遍表現(xiàn)更好。
例如，o4-mini比GPT-4.1高出 2.9%，DeepSeek-R1也小勝自家模型DeepSeek-V3。
這說明，會推理的AI更懂科研問題的本質(zhì)。
研究團(tuán)隊表示，SciArena-Eval未來有望成為科研AI評估的「新標(biāo)準(zhǔn)」。
它能幫我們看清AI到底有沒有真正「讀懂」科研人的心思。