谷歌推出基于Gemini 2.0的科研助手AI co-scientist:独自提出可验证科学假设,已有多项科研成果
发布时间:2025-02-21ScienceAI 2 月 20 日消息,谷歌推出一款名为 AI co-scientist 的 AI 科研助手,这是一个基于 Gemini 2.0 构建的多智能体 AI 系统,旨在模拟科学方法背后的推理过程。
AI co-scientist 加速科学发现
AI co-scientist 旨在根据科学家以自然语言描述的研究目标生成新颖的研究假设、详细的研究概述和实验方案。为此,它使用了一组受科学方法启发的专门智能体,分别用于生成、反思、排序、进化、邻近性(Proximity)和元评审。这些智能体通过自动化反馈迭代生成、评估和完善假设,从而形成一个自我改进的循环,产生越来越高质量和新颖的输出。
AI co-scientist 专为协作而设计,科学家可以通过多种方式与系统互动,包括直接提供他们自己的初始想法以供探索,或以自然语言对生成的输出提供反馈。AI co-scientist 还利用网络搜索和专门的 AI 模型等工具,以增强生成假设的基础性和质量。
AI co-scientist 多智能体系统中不同组件的图示以及系统与科学家之间的交互范式。
AI co-scientist 将指定目标解析为研究计划配置,并由一个监督者智能体(Supervisor agent)进行管理。监督者智能体将专门的任务分配给工作队列中的各个智能体,并分配资源。这种设计使得系统能够灵活地扩展计算能力,并针对指定研究目标迭代改进其科学推理能力。
扩展测试时计算(test-time compute),以提升科学推理能力
AI co-scientist 利用测试时计算扩展,来迭代推理、演化和改进输出。关键的推理步骤包括基于自我对弈科学辩论生成新假设、通过排名竞赛进行假设比较、通过「进化」过程提升输出质量。系统的自主性支持递归自我批判,包括使用工具获取反馈以优化假设和提案。
系统的自我改进依赖于 Elo 自动评估指标。鉴于其核心作用,研究团队评估了更高的 Elo 评分是否与更高的输出质量相关,具体来说是分析了 Elo 自动评分与 GPQA 基准测试中 Diamond 难题集准确率的一致性,发现 Elo 评分与正确答案概率呈正相关。
AI co-scientist(蓝线)与 Gemini 2.0(红线)在 GPQA Diamond 问题上回答的平均准确率,按 Elo 评分分组。该 Elo 评分为自我评估,并非基于独立的真实基准。
七位领域专家在其专业领域内整理了 15 个开放研究目标及其最佳猜测解决方案。通过使用自动化的 Elo 评分指标,研究团队观察到 AI co-scientist 在这些复杂问题上的表现优于其他 SOTA 智能体和推理模型。随着系统花费更多时间进行推理和改进,AI co-scientist 甚至超越了未受协助的人类专家。
随着系统在计算上花费更多时间,AI co-scientist 的表现会有所提升。
在一个包含 11 个研究目标的子集中,专家们评估了 AI co-scientist 生成结果的新颖性和影响力,并将其与其他相关基线进行了比较,并提供了总体偏好。虽然样本量较小,但专家们认为 AI co-scientist 在新颖性和影响力方面具有更高潜力,并且相比于其他模型更倾向于选择 AI co-scientist 的输出。此外,这些人类专家的偏好似乎也与 Elo 自动评估指标相一致。
人类专家评估认为:AI co-scientist 在新颖性和影响力方面具有更高潜力,并且相比于其他模型更倾向于选择 AI co-scientist 的输出。
通过现实实验验证 AI co-scientist 的新颖假设
为了评估 AI co-scientist 在新颖预测上的实际效用,研究团队在三个关键生物医学应用领域进行了端到端实验室实验,包括药物再利用、提出新的治疗靶点、阐明抗菌素耐药性的机制。这些实验均涉及专家指导,并涵盖一系列复杂性:
实验概况
以药物再利用为例,AI co-scientist 成功提出了急性髓性白血病(AML)的新型再利用候选药物。并且随后的实验验证了其提议,证实所建议药物在临床相关浓度下抑制了肿瘤活力。
三种 AI co-scientist 预测的 AML 再利用药物之一的剂量 - 反应曲线
值得一提的是,在阐明抗菌素耐药性机制测试中,专家研究人员指示 AI co-scientist 探索一个已在其团队中取得新发现但尚未公开的课题,即解释形成衣壳的噬菌体诱导染色体岛(cf-PICIs)如何在多种细菌物种中存在。AI co-scientist 独立提出,cf-PICIs 通过与多种噬菌体尾部相互作用来扩展其宿主范围。这展示了 AI co-scientist 的科研辅助价值。
AI co-scientist 重新发现新型基因转移机制的时间线。
相关报道:https://research.google/blog/accelerating-scientific-breakthroughs-with-an-ai-co-scientist/
参考链接:https://mp.weixin.qq.com/s/06I6hp17ra10oMpQMgP9qw
来源:ScienceAI