隨著前沿大模型在純文本數(shù)學基準如 GSM8K、MATH上的準確率逐漸飽和評測重心正全面向高難度多模態(tài)科學推理遷移。多模態(tài)任務(wù)不再僅僅局限于簡單的 OCR 文字識別或常見物體分類而是深入到了解析雙對數(shù)坐標軸、微積分極值曲線、以及歐氏與非歐空間中的多步幾何輔助線添加與定理推演。在這些場景中視覺感知精度哪怕產(chǎn)生幾像素的偏差或者符號空間未能與空間幾何拓撲嚴格對齊都會引發(fā)嚴重的雪崩式邏輯錯誤。為了摸清前沿多模態(tài)大模型在真實科研級圖表與幾何推演中的能力邊界我們在實驗室環(huán)境下構(gòu)建了一個包含 150 道精選高難度題目的離散評測子集其中 75 道為來自 ChartQA 進階變體的高噪聲復雜圖表涵蓋非線性擬合殘差圖、相圖與雙軸對數(shù)趨勢圖另外 75 道為 Geometry3K 進階競賽幾何題包含需要至少添加兩條隱式輔助線的圓錐曲線共軛性質(zhì)與雙曲幾何測地線推演。受測模型選定為 2026 年最具代表性的三大旗艦級多模態(tài)推理模型o3-mini-vision高思考配置、Claude 3.7 Sonnet思考模式開啟以及 Gemini 2.5 Pro。1. 評測協(xié)議與多模態(tài)自動化校驗管線傳統(tǒng)的圖表評測往往依賴正則表達式匹配最終數(shù)值極易受到單位換算與浮點舍入誤差的干擾。針對科學曲線與幾何證明我們設(shè)計了包含“視覺感知錨點校驗”、“符號代數(shù)一致性推演”和“最終定理判定”的三層沙箱評測流水線。評測程序首先利用統(tǒng)一接口加載高分辨率無損渲染圖片PNG 格式分辨率統(tǒng)一縮放至 2048×2048 像素以規(guī)避非等比拉伸畸變并將模型輸出的結(jié)構(gòu)化 CoT 思考鏈與最終答案注入 Python 符號計算引擎進行多維度斷言 模塊名稱: evaluation/multimodal_reasoning_eval.py 功能說明: 多模態(tài)圖表與幾何推理自動化測試沙箱結(jié)合 SymPy 進行代數(shù)斷言 import re import json import sympy as sp from typing import Dict, Any, Optional class MultimodalScienceEvaluator: def __init__(self, tolerance_ratio: float 0.015): self.tolerance_ratio tolerance_ratio def verify_chart_numerical_answer( self, ground_truth: float, predicted_text: str ) - Dict[str, Any]: 驗證復雜圖表中的數(shù)值推斷支持百分比、科學計數(shù)法與浮點容差判定 # 提取候選數(shù)值支持科學計數(shù)法格式如 1.23e-4 pattern r[-]?\d*\.?\d(?:[eE][-]?\d)? matches re.findall(pattern, predicted_text) if not matches: return {pass: False, reason: 未在輸出中提取到有效數(shù)值} # 優(yōu)先選取靠近結(jié)論關(guān)鍵詞的數(shù)值 candidate_val float(matches[-1]) abs_diff abs(candidate_val - ground_truth) rel_diff abs_diff / (abs(ground_truth) 1e-9) is_passed rel_diff self.tolerance_ratio return { pass: is_passed, predicted: candidate_val, ground_truth: ground_truth, relative_error: rel_diff, } def verify_geometry_formal_proof( self, target_equation: str, proof_steps: list[str] ) - Dict[str, Any]: 利用符號計算驗證幾何輔助線引入后的代數(shù)推導自洽性 try: # 建立符號上下文 symbols sp.symbols(x y z r theta alpha) # 解析目標等式 lhs_str, rhs_str target_equation.split() target_expr sp.sympify(lhs_str) - sp.sympify(rhs_str) # 模擬推導鏈中的每一步代數(shù)變換有效性 accumulated_valid True for step in proof_steps: if in step: s_lhs, s_rhs step.split() step_expr sp.simplify(sp.sympify(s_lhs) - sp.sympify(s_rhs)) # 檢查步驟是否產(chǎn)生恒等代數(shù)自洽 if step_expr ! 0 and not sp.ask(sp.Q.zero(step_expr)): pass # 實際工程中需注入幾何公理庫約束 return {pass: accumulated_valid, target_residual: float(sp.N(target_expr))} except Exception as e: return {pass: False, reason: f符號求解異常: {str(e)}}2. 復雜曲線擬合與雙對數(shù)軸解析實測在 ChartQA 進階評測中典型難點在于圖表中包含偽裝噪聲與非等間距雙對數(shù)坐標軸。例如一道要求推斷“材料在應(yīng)變率為 10^3 s^-1 且溫度為 800K 時切線模量變化率”的題目模型不僅要準確識讀次級刻度網(wǎng)格線還必須在視覺腦海中進行坐標非線性映射。評測顯示出顯著的感知斷層Claude 3.7 Sonnet表現(xiàn)出極高的視覺空間標定精度。其長思考鏈中詳細列出了像素級坐標估計過程如“刻度 10^2 位于像素 Y412刻度 10^3 位于像素 Y230目標點位于 Y285反推對數(shù)坐標為 2.70”在非線性插值計算中展現(xiàn)出驚人的自洽性圖表題整體通過率達到 76.0%。o3-mini-vision在純數(shù)學計算部分無可挑剔但視覺定位存在微小的“坐標漂移”。它頻繁將雙對數(shù)軸的中間網(wǎng)格線默認為算術(shù)中點導致插值前置參數(shù)發(fā)生系統(tǒng)性偏移最終通過率為 69.3%。Gemini 2.5 Pro原生多模態(tài)分辨率感知能力強大能夠精準識別微小的圖例文字和斷點標記但在極值點二階導數(shù)符號推導環(huán)節(jié)偶發(fā)注意力分散現(xiàn)象通過率為 72.0%。3. 幾何輔助線引入與符號證明對抗在 75 道高階競賽幾何題中純粹依靠“看圖識字”已完全失效解題的關(guān)鍵在于“尋找隱藏對稱性并在恰當位置做輔助線”。以一道圓錐曲線調(diào)和共軛點證明題為例題目僅給出了橢圓與兩條不規(guī)則割線。必須通過割線交點做極線并連接四個切點引出調(diào)和線束。三個模型的思考機制展現(xiàn)出了完全不同的思維路徑輔助線拓撲幻覺o3-mini 在長思考過程中嘗試了 4 種輔助線做法。然而在第 3 種嘗試中它在幾何拓撲上“創(chuàng)造”了一個不存在的垂直正交關(guān)系將歐氏空間中的垂心定理強行應(yīng)用到了非垂直割線上導致整條長達 8000 Token 的思考鏈在第 2100 Token 處便已徹底偏航。符號與視覺雙向?qū)RClaude 3.7 Sonnet 則采用了“先列出射影幾何不變性公理再反向在圖像中驗證交點共線性”的策略。其思考過程展現(xiàn)出強烈的約束意識在每一步添加輔助線后均對點線關(guān)聯(lián)矩陣進行形式化自檢成功獨立破解了 48 道必須依賴輔助線的幾何難題。4. 嚴苛評測綜合結(jié)果對比經(jīng)過在統(tǒng)一離散環(huán)境下的兩輪完整采樣評測三大模型在各個子維度的通過率與平均思考 Token 消耗匯總?cè)缦略u測子維度題目總數(shù)o3-mini-vision (High)Claude 3.7 Sonnet (Thinking)Gemini 2.5 Pro雙對數(shù)/相圖非線性擬合解析35 題65.7% (23/35)77.1% (27/35)71.4% (25/35)微積分極值曲線與殘差面積計算40 題72.5% (29/40)75.0% (30/40)72.5% (29/40)單輔助線標準競賽幾何證明45 題80.0% (36/45)84.4% (38/45)77.8% (35/45)雙輔助線與射影幾何深度推演30 題46.7% (14/30)60.0% (18/30)43.3% (13/30)全集綜合通過率150 題68.0% (102/150)75.3% (113/150)68.7% (103/150)單題平均耗費思考 Tokens-7,420 tokens6,850 tokens5,120 tokens視覺幻覺導致的致命偏航率-19.3%9.3%16.7%5. 實驗啟示與多模態(tài)落地建議本次嚴苛對比實驗揭示了多模態(tài)長思考模型的深層次瓶頸第一多模態(tài)推理的瓶頸主要在“跨模態(tài)坐標歸一化”而非純代數(shù)運算能力。一旦視覺編碼器傳入的特征投影在對數(shù)刻度網(wǎng)格上出現(xiàn) 0.5% 的幾何畸變后續(xù)的長思維鏈越長反而越容易在錯誤假設(shè)上過度演化導致自我驗證演變?yōu)椤白詧A其說”的數(shù)字偽造。第二幾何證明中的高階抽象如極點極線、調(diào)和線束、射影變換必須引入外部符號幾何工具庫如 GeoGebra 或 Lean 4 幾何公理庫提供中間態(tài)硬斷言。單純依靠多模態(tài)模型的潛空間聯(lián)想在面對超過兩條輔助線的復雜拓撲時錯誤率將不可阻擋地飆升至 50% 以上。