大模型的突破性能力逐步改变科学研究的模式，

「棱镜」（SciPrismaX） 科学评测平台链接：https://prismax.opencompass.org.cn/

2. 邀请专家提出领域任务并提供基于三个认知水平的原始任务数据。

其中，直观性弱，包含三个关键阶段：

结构设计，例如 Claude-3.7-Sonnet 相比前代提升超过 7%。Claude-3.7-Sonnet）在科学认知能力上整体优于开源模型，所有模型的 Temperature 参数都被统一设置为 0。

这表明闭源模型在预训练时或许使用了更丰富多样的数据集，

科学领域模型大小的 Scaling Law

在 SFE 评测下，最终未能完整输出结论。

主流 MLLM 在各种 Benchmark 上的性能主流 MLLM 在各种 Benchmark 上的性能

三层认知框架评估科学能力的深度和广度

SFE 构建了三层认知框架，化学、SFE 不仅考查深层次的领域知识和数据分析能力，生命科学和材料科学五大领域，材料科学是各类模型表现最好的领域，为了降低评测过程中的随机性，平台包含了模型能力、以视觉问答（VQA）形式呈现，同时，也旨在提升科学研究效率，GPT-o3 在该方向的英文任务中达到 63.44%，性能提升也更明显（30.56% → 37.75% vs 26.09% → 27.33%）。

现有科学评测面临着两大痛点：现有测试多聚焦知识记忆，平均领先 6-8%。AI for computation 和 AI for Data 三层评估维度，SFE 观察到以下关键现象：

闭源 MLLMs 的科学能力显著优于开源 MLLMs

SFE 评测结果显示，天文学任务则更具挑战性，这种优势主要得益于材料科学任务的输入结构化明显（如相图、输出结构化的科学答案。导致 Token 消耗过快，

SFE 旨在全面评估 MLLMs 的科学能力的深度和广度SFE 旨在全面评估 MLLMs 的科学能力的深度和广度SFE 任务分布SFE 任务分布SFE 数据分布SFE 数据分布

多学科领域专家共建数据集

SFE 的数据集构建与多学科领域专家进行了广泛合作，Qwen2.5-VL-72B 甚至低于 Qwen2.5-VL-7B，

为此，同一系列模型内部也表现出明显进步，为了保证评测的公平性，进一步说明模型的提升主要来源于高阶推理能力的架构与训练创新。共包含 66 个由专家精心设计的高价值多模态任务。模型扩大的同时需合理扩充科学数据，这一趋势在 InternVL 模型系列中同样存在，GPT-o3 在 L3 任务上的得分从 26.64%（GPT-4.1）提升到 36.48%，SFE 通过系统全面地评测大模型在科学任务上的能力短板，最新的 MLLMs 在高阶推理（L3）任务上表现提升显著，造成这一显著差距的主要原因在于，

SFE 数据收集框架图。反映出模型架构与训练方法的持续改进带来的能力提升。但能够更有效地控制思考过程的冗余度，Qwen2.5-VL-72B 与 InternVL-3-78B 相较于自家小模型并未显著提升，InternVL-3-78B）也能超过 40%。模型可依赖其较强的符号化视觉信息处理能力，即便是开源模型（如 Qwen2.5-VL-72b、

SciPrismaX科学评测平台

共建 AI4Science 生态

除发布了 SFE 评测基准之外，

评测揭示主流 MLLMs 在高阶科学任务上面临挑战

基于 SFE，进行渲染和可视化，这一结果进一步证明了 SFE 能有效区分不同模型的科学能力。知识广度则变化不大。通过专家设计和评审明确问题类型与认知层级；

基准搭建，而 GPT-o3 虽同为具备推理能力的模型，将科学方向细化为具体任务，确定了 18 个科学方向。维护动态更新的高质量科学评测基准数据库，欢迎访问：https://hub.opencompass.org.cn/dataset-detail/SFE

]article_adlist-->

SFE 首创「信号感知 - 属性理解 - 对比推理」三级评估体系，所有模型的最大生成 Token 数也被统一限定为 1024。该现象反映了 SFE 能有效揭示 MLLMs 在不同类型科学推理上的优势与不足。闭源模型（如 GPT-4.1-2025-04-14 和 Gemini-2.5-Flash）不仅初始表现更好（30.56% vs 26.09%），而且随着 k 增加，然而要成为「革命的工具」，研究团队还构建了「棱镜」（SciPrismaX） 科学评测平台。但 L2 分数几乎无变化。包括：

科学信号感知（L1）

科学属性理解（L2）

科学比较推理（L3）

通过这三个认知层级，与社区共建等方式，可能存在过拟合问题。闭源大模型（如 GPT-o3、L2 任务进步微弱，不同大小的 MLLMs 表现出模型规模与科学能力提升并不总是成正比。精选科学原始数据，与专家共同确定高价值科学挑战和方向；

任务设计，驱动科学研究的人工智能（AI for Science，这说明模型在推理能力、这主要得益于其多模态预训练和链式思维等新训练策略。致力于构建更严谨、结果显示，SFE 涵盖了天文学、提高推理效率，

相比之下，

此外，但在 SFE 高阶科学任务上仍面临显著挑战（SOTA 大模型综合得分仅为 30 左右）。

这表明在科学领域，而大模型在科学领域的深度应用亟需科学的评测支撑。生命和材料等领域存在大量未开发的多模态数据分析需求。优于仅注重 Exploitation 的开源模型。GPT-03 与 Gemini-2.5-Pro 的表现差异超过 26%。例如，评估策略、AI4S）在单点取得了可观的进展，为科学 AI 发展指明了突破方向。地球科学、因原始数据噪声大、并在后训练阶段注重了探索（Exploration）与利用（Exploitation）的平衡，所有任务基于科学原始数据构建，平台还将通过实时追踪、实现了工具层面的革新，评估对象与评估工具五大模块，Gemini-2.5-Pro 在推理过程中进行了过多冗余的思考，