OpenAI 发布 LifeVal:衡量 AI 完成日常任务能力的 benchmark
OpenAI 推出 LifeVal benchmark,用于衡量 AI 在帮助人们完成日常任务方面的表现,涵盖寻找托育服务、管理财务和处理政府文书等场景。该基准旨在评估 AI 助手在实际生活中的实用性。
OpenAI 推出 LifeVal benchmark,用于衡量 AI 在帮助人们完成日常任务方面的表现,涵盖寻找托育服务、管理财务和处理政府文书等场景。该基准旨在评估 AI 助手在实际生活中的实用性。
研究团队将50个GPT-6.1 Sol智能体放入Minecraft生存世界进行Civ50实验,约90秒内伐尽出生点附近树木,交换约5900条消息,字母序第一的Ada未经理投票成为领导。
研究人员发布 Realtime-Bench 基准,用 50 个交互式游戏与网页任务评估大语言模型的实时决策能力,测得 GPT-6 Astra(high)在 wall clock 设置下通过率最高,仅 36%,而暂停时钟下可达 70%-80%。期刊还提及美国国防情报局《Challenges to Security in Space》报告,指出中美俄太空攻防技术竞争加剧,并预告 Genie 4。
OpenAI 宣布其 AI 在数学、计算机科学和物理学领域产出重大证明结果,并请外部专家担任 shepherd 核查,数学与计算机科学证明已翻译为 Lean。
推荐理由:原文梳理了三个领域证明的核心内容和不同验证机制,读者可借此了解 AI 数学成果如何被外部专家独立核查。
OpenAI 在上次批量发布数百份数学手稿不到一个月后,宣布数学、计算机科学和物理三项新的重大发现。
NYU 与 UT Austin 研究者分析 14 个语言模型生成的 120 段对话、45 个编程会话和 980 篇文章,对比人类文本后总结出六种 AI 过度使用的语言模式,如罕见词组合、名词堆叠和名词动用。
OpenAI 发布 Signals 数据,展示近 100 个国家中 165 项工作活动的 ChatGPT 使用情况,以及使用方式随时间的变化。
本期 Import AI 汇总四条进展。AI 安全初创公司 Resolution 用 Agent 编排自动形式化奇点消解,一周内花约 13.5 万美元 token 产出约 60 万行 Lean 代码,为损失曲面几何与泛化关系的自动化研究铺路。
南京大学、商汤等机构发布 OpenMobile-2,基于 Qwen3.5-9B 与 Qwen3.6-27B 两个智能体模型,并公开完整训练环境、数据与复现说明。
Convovo 由康奈尔大学教授 Tapan Parikh 领导的研究发现,在近 500 场中期选举竞选中被强制二选一时,Grok 4.7 在 92% 的回答中推荐共和党候选人,GPT-6.1 Sol 在 97% 的回答中推荐民主党,两者一致率不到 10%。
微软的 AI 诊断系统 MAI-DxO 在《Science》发表的一项模拟研究中,对复杂病例的诊断准确率为 83%,而单独工作的全科医生和普通内科医生为 36%。
OpenAI 与 PerturbAI、Scripps Research 合作,部署数千个基于 GPT-Rosalind 的 AI 智能体分析数百万个小鼠细胞的生物数据,完成全脑 CRISPR 图谱分析仅用 32 分钟,团队估计人工完成同样分析需数月至一年。
推荐理由:读者可看到多智能体并行分析科学数据的实际分工方式,以及人类专家对分布式报告的盲评偏好。
OpenAI、PerturbAI 与 Scripps Research 用分布式 AI 智能体,从数百万个脑细胞数据中挖掘出有前景的研究线索。该合作展示了大规模智能体协同在生物数据分析中的实际应用。