Thoth团队 投稿量子位 | 公众号 QbitAI人类研究员做实验从来不是把几句步骤随手拼起来。一份真正可复现的实验protocol需要明确每一步做什么、对什么对象操作、用什么参数以及步骤之间的先后依赖。一旦顺序错了、剂量错了、对象错了表面上看起来流畅的文本也可能在实验台上直接失效。然而当前大模型虽然已经能回答大量生物医学问题在真正生成实验方案时仍然容易出现问题步骤缺失、顺序混乱、操作冗余、参数幻觉甚至把不能直接执行的建议包装成一段“看起来很专业”的说明。更关键的是传统文本指标如BLEU、ROUGE、BERTScore主要看词面相似度难以判断一个protocol是否真的逻辑正确、语义忠实、可在实验中执行。LLM-as-a-Judge虽然更接近人类偏好但用于强化学习训练时代价过高也不够稳定。针对这一问题上海人工智能实验室、复旦大学、上海交通大学团队提出了Thoth一个面向生物实验protocol生成的科学推理模型。相关论文《Unleashing Scientific Reasoning for Bio-Experimental Protocol Generation via Structured Component-Based Reward Mechanism》已在ICLR2026正式发表。一句话概括Thoth不是让模型“写得像protocol”而是让模型按照实验逻辑生成可解析、可评估、可执行的protocol。现有LLM会写但不一定能做在生命科学研究中protocol并不是普通说明文而是实验执行蓝图。它需要同时满足三类要求粒度合适步骤不能过粗导致关键信息丢失也不能过细造成冗余顺序正确前置处理、加入试剂、孵育、离心、检测等操作必须符合实验依赖语义准确每个动作都要绑定正确的对象和参数。举个简单例子如果原protocol要求将5mL凝胶预混液与25µL 10% APS、2.5µL TEMED混合那么缩放到1mL时APS应为5µLTEMED应为0.5µL。在论文展示的案例中Thoth能给出简洁且顺序正确的结构化步骤而对比模型虽然语言流畅却把TEMED剂量写成了5µL出现了执行层面的事实错误。△剂量缩放任务中的定性案例这类错误很难被普通文本相似度指标惩罚因为模型可能“说得很像”但实验上并不可靠。因此团队认为要让AI真正辅助实验复现需要把protocol生成从自由文本生成推进到结构化科学推理。从12K真实protocol构建SciRecipe为了解决数据基础不足的问题团队首先构建了SciRecipe。该数据集来源于Nature Protocols、Bio-protocol、Protocols.io等标准化实验流程平台。团队从超过23K份原始protocol中进行清洗、去重、结构化处理和质量控制最终保留约12K条高质量数据覆盖神经科学、分子生物学、癌症生物学等27个生物学子领域。SciRecipe不仅包含传统的protocol理解任务还进一步覆盖真实实验工作流中的问题解决场景包括overview总结整体实验流程specific分析局部实验步骤retrieval检索所需实验信息planning规划实验方案troubleshooting处理实验异常constraint满足约束条件scaling进行剂量缩放safety识别安全注意事项。也就是说SciRecipe不是只让模型“读懂protocol”而是让模型在理解、规划、纠错、缩放、安全等环节形成完整的“理解—应用”闭环。△SciRecipe数据构建流程核心方法先打草稿再填成可读步骤Thoth的第一个关键设计是Sketch-and-Fill推理范式。这个范式把protocol生成拆成三个阶段首先是think模型先分析任务目标、实验依赖和步骤必要性然后是key模型把实验方案抽象成机器可读的原子步骤每一步都包含action、objects、parameters三个核心字段最后是orc模型再把这些结构化步骤改写成自然语言protocol保证人类研究员能够直接阅读和执行。可以把它理解为先让模型写“实验骨架”再把骨架填充成完整操作说明。这一设计的好处是实验步骤不再是一整段难以检查的自由文本而被拆解为可解析的结构单元。每一步做什么、作用于什么对象、在什么条件下完成都可以被自动检查。更重要的是key和orc之间要求一一对应。结构化步骤里出现的动作、对象和参数必须在最终自然语言protocol中体现出来。这避免了模型只给出一个“空心框架”却漏掉关键实验细节。SCORE不用LLM当裁判也能判断protocol能不能执行Thoth的第二个关键设计是Structured COmponent-based REward简称SCORE。传统评估指标往往只看生成文本和参考答案像不像。SCORE则直接从实验可执行性的角度出发评估三个维度第一是Step Scale判断步骤数量和粒度是否合理。步骤太少可能漏掉关键操作步骤太多则可能引入冗余和噪声。第二是Action Order判断动作顺序是否符合实验逻辑。对于实验来说有些步骤即使都出现了只要顺序错了protocol仍然不可执行。第三是Semantic Fidelity判断动作、对象和参数是否匹配。例如“add”是否加到了正确试剂上温度、浓度、时间等参数是否绑定到了正确对象。△Sketch-and-Fill推理范式与SCORE奖励机制示意图SCORE还加入了两个门控机制格式门控检查模型是否按照think、key、orc、note顺序输出一致性门控检查key中的动作、对象、参数是否被orc充分覆盖。只有通过这些基础检查的protocol才会进入后续奖励计算。这样一来模型优化目标就从“写得像参考答案”变成了“生成结构合理、顺序正确、语义忠实、实验上更可执行的protocol”。三阶段训练从知识到行动在训练层面Thoth采用Knowledge-to-Action学习策略让模型逐步从“掌握实验知识”过渡到“生成可执行实验方案”。第一阶段是预训练模型从大规模protocol文本中学习实验语言、材料、设备和流程逻辑。第二阶段是监督微调模型在Sketch-and-Fill格式数据上学习如何按照结构化范式组织输出并完成参数填充、步骤排序、错误修正等任务。第三阶段是强化学习团队使用GRPO算法并以SCORE作为奖励信号引导模型在实验可执行性上继续优化。这种训练路径与人类研究员的学习过程相似先积累知识再学习规范操作最后通过反馈不断改进决策。实验结果小模型也超过一批大模型实验中团队在SciRecipe-Eval上评估了Thoth并与闭源模型、开源模型、推理模型和科学大模型进行对比。结果显示Thoth在所有主要指标上取得SOTA表现。相比基座模型Qwen3-8BThoth平均性能提升17.78%Thoth-mini平均性能提升22.01%。即使面对更大规模的闭源模型Thoth仍然表现突出平均分超过ChatGPT-4o 3.69%。在与最强开源模型DeepSeek-V3的对比中Thoth在Semantic-Alignment、Order-S和Step-MATCH上分别提升4.88%、4.06%和11.29%说明其优势主要体现在实验步骤对齐、逻辑顺序和动作保真上。△SciRecipe-Eval主结果不仅如此在HLE、LAB-Bench、PubMedQA等更广泛的科学基准上Thoth同样能泛化到protocol生成之外的生物医学推理任务相比同基座模型取得明显提升。△更广泛科学基准上的泛化结果消融实验进一步证明Sketch-and-Fill、SCORE和Knowledge-to-Action三阶段训练都不是“锦上添花”。△三阶段Knowledge-to-Action训练策略消融其中去掉步骤粒度奖励后模型的顺序严格匹配和步骤匹配大幅下降去掉动作顺序约束后模型更容易生成顺序混乱的方案如果用普通语义相似度奖励替代SCORE虽然部分词面指标可能变好但protocol可执行性明显下降。这说明对于科学实验生成来说真正重要的不是“文本像不像”而是“能不能照着做”。让AI从“会答题”走向“会做实验”这项工作将生物实验protocol生成从普通文本生成推进到面向实验执行的结构化科学推理。通过SciRecipe团队构建了覆盖27个生物学子领域、包含理解与问题解决任务的大规模数据基础通过Sketch-and-Fill模型学会先组织实验骨架再生成自然语言步骤。通过SCORE训练和评估都直接对齐步骤粒度、动作顺序和语义保真。通过Knowledge-to-Action训练Thoth进一步从实验知识走向可执行方案生成。从更长远看Thoth代表了一类新的科学AI助手方向它不只是回答“实验怎么做”而是尝试把科学知识转化成可检查、可复现、可执行的实验行动。对于生命科学研究来说这意味着AI有机会从文献问答工具进一步走向实验复现助手、protocol规划助手乃至未来自动化实验系统中的核心推理模块。论文链接https://arxiv.org/abs/2510.15600代码链接https://github.com/InternScience/ThothThoth模型APIhttps://scphub.intern-ai.org.cn/detail/19