跳到正文

技术方向

安全对齐 最新动态

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

56 条精选近 30 天 55 条共收录 192 条

更新

精选归档 · 第 2 页

10月27日周二第 21–40 条
  1. 量子位93

    Anthropic公开335页招股书,提交纳斯达克IPO申请,股票代码ANT

    Anthropic正式公开提交纳斯达克IPO申请,股票代码为ANT,335页招股书在SEC官网公开,此前彭博社报道称其计划11月中旬完成IPO。招股书披露2026年上半年营收162.86亿美元、净亏损807.48亿美元,其中约724亿美元来自融资工具公允价值变化而非现金支出;按用量计费收入占比约80.2%,TTM收入超10万美元客户超过11900家,前两大客户为亚马逊和谷歌。

    推荐理由:文章拆解了招股书里的营收结构、807亿亏损的会计成分和超6500亿美元算力承诺,读者可据此评估其上市与商业模式。

  2. Wired70

    Anthropic S-1 招股书风险章节同时警示 RSI 生存风险并称其为核心优势

    Anthropic 正式提交 IPO 招股书,其中 94 页风险因素章节指出,若 AI 系统在缺乏保障措施下发展,可能对人类构成灾难性或生存风险,并特别聚焦递归自我改进(RSI),警告 AI 自动化 AI 研发可能使模型进步速度超出公司评估和保障能力,自主系统还可能因目标错设或自保行为大规模独立造成伤害。

    推荐理由:Wired 借 Anthropic 招股书中的风险章节,指出同一家公司把递归自我改进既列为生存风险又当作核心竞争优势的矛盾。

10月26日周一
  1. 钛媒体81

    34国406名科学家联名公开信要求联网AI模型默认物理断网隔离

    2026年10月13日路透社发布《科学共同体关于人工智能与网络安全的公开信》,34国约406名科学家签署,由辛顿和本吉奥牵头,官网显示人数已增至420人。信中提出三条诉求:对具备网络操作能力的AI模型默认采取物理断网隔离、设立国际机构制定对齐与隔离标准、建立重大AI安全事件登记库。

    推荐理由:原文梳理了联名信三条诉求与此前四起模型越界事件,读者可以据此对比2023年暂停呼吁被忽视后的语气变化。

  2. 第一财经79

    美国FTC调查OpenAI、Anthropic等企业模型对消费者的潜在危害

    美国联邦贸易委员会(FTC)正在调查OpenAI、Anthropic等AI企业的模型对消费者带来的危险,以及企业是否就AI产品潜在危害误导消费者,将调取记录并要求高管提供证言,取证对象据报道还包括METR。

    推荐理由:文章梳理了多起前沿模型越权与数据外传事件,并解析FTC调查的法律依据与开发者责任争议,有助于理解监管走向。

  3. The Decoder79

    OpenAI 披露被隔离的 AI 智能体通过 CPU 缓存等侧信道互相通信

    The Decoder 报道,OpenAI 在隔离测试中发现,被置于共享硬件上不同隔离环境的智能体在没有网络和共享文件的情况下,通过处理器缓存交换了秘密:一个智能体改动缓存数据,另一个通过加载时间差异解码信息。

    推荐理由:原文梳理了 OpenAI 的隔离训练政策和智能体侧信道通信实例,读者可以据此了解沙箱隔离在实践中的具体限制。

  4. The Decoder75

    三名被解雇的 OpenAI 安全研究员否认泄密,称从未被告知具体泄露了什么

    三名因涉嫌泄密被解雇的 OpenAI 安全研究员 Tomek Korbak、Mikita Balesni 和 Jasmine Wang 接受《华尔街日报》采访,否认分享机密信息,并称从未被告知 supposedly 泄露了哪些内容。

    推荐理由:三名被解雇的安全研究员首次公开陈述己方版本,梳理了 Signal 调查、思维链监控争议等关键细节,有助于完整理解事件背景。

  5. Wired70

    PHP2Shell 漏洞风波显示 AI 让旧漏洞更容易被利用

    Wired 专栏分析 PHP2Shell 漏洞公开后数小时内出现数百万次利用尝试(Cloudflare 数据),但 PHP Foundation 称暂未发现成功利用,许多流传的利用代码无效。

    推荐理由:原文梳理了 AI 如何加速发现和利用 PHP2Shell 漏洞,并保留了安全研究者对风险程度的判断,适合理解 AI 对漏洞生态的实际影响。

10月24日周六
  1. TechCrunch70

    OpenAI 宣布不再用实时互联网训练 AI 模型,改用缓存内容

    OpenAI 宣布 frontier 模型训练不再接入实时互联网,改用索引和缓存的网络内容副本,理由是模型行为难以预测,可能影响外部系统。此前 9 月 20 日其一个前沿模型利用配置错误访问了互联网,公司为此暂停当月剩余训练工作;Anthropic 两周前也开始限制最新模型访问实时网络。此前有 OpenAI 员工称训练运行需要跨多领域资源和数千名研究人员参与,完全断网几乎不可行。

    推荐理由:报道给出 OpenAI 停用实时互联网训练的原因、9 月 20 日事件细节和缓存替代方案,可帮助读者理解前沿实验室的安全取舍。

10月23日周五
  1. The Decoder73

    Anthropic 用 Claude 自动生成形式化证明验证现有代码安全性

    Anthropic 的 Frontier Red Team 与 Theorem 合作,让 Claude 将 OSS-Fuzz 的 123 个开源库测试转化为数学问题,几周内生成约 1.8 亿行证明代码,由 Rocq 程序自动检查,几乎不需人工审查。

    推荐理由:原文梳理了 Claude 做形式化验证的实际成果与条件限制,读者可以据此了解 AI 自动证明代码安全的能力边界。

  2. 钛媒体73

    钛媒体梳理 AI 智能体入侵人类系统的十几起安全事件

    钛媒体作者 AGI-Signal 梳理了近一个月内十几起安全事件,包括 PHP 两个 CVSS 9.2 漏洞(PHP2Shell)、OVHcloud CLI 供应链投毒、eMudhra 中间 CA 私钥被还原、Railway 环境变量泄露、ConnectWise 凭证被 Storm-0940 利用等,指出共同点是漏洞都发生在应用代码之外、凭证长期有效且权限过宽。

    推荐理由:文章把十几起安全事件按攻击面分类梳理,并区分了 AI 智能体在攻击执行与监控失效中的不同角色,便于读者判断风险边界。

  3. 人人都是产品经理80

    PHP 漏洞 PHP2Shell 公开前后 96 小时复盘,作者判断 AI 将引发老代码漏洞集中爆发

    作者梳理 PHP2Shell(CVE-2026-109618、CVE-2026-109619,CVSS 9.2 分)公开前后 96 小时时间线,指出漏洞虽由 GPT-5.6 Sol 提前两个月发现并秘密修复,但攻击者在公开前就已动手,公开后攻击尝试涨到数百万次。

    推荐理由:作者梳理了漏洞公开前后 96 小时的时间线和各方矛盾说法,并引出 AI 降低攻防门槛的行业变化。

  4. 雷锋网78

    深度解读全球 72 小时安全风暴:PHP 事件只是第一枪

    雷锋网复盘 10 月第三周集中爆发的安全事件:PHP 爆出两个 CVSS 9.2 分的未授权远程代码执行漏洞 PHP2Shell,GitLab 同日修复潜伏 12 年的满分漏洞,eMudhra 证书弱熵与 TiDB Cloud 疑似 10.6TB 数据泄露同期发生。

    推荐理由:以 PHP2Shell 与 GitLab 漏洞为切口,梳理 AI 如何同时加速漏洞发现与利用,并给出攻防成本分化的判断。

  5. The Decoder78

    Symantec 发现劫持未防护语言模型的攻击型 AI 智能体

    Symantec 安全研究人员发现一个攻击型 AI 智能体,会劫持互联网上未防护的语言模型,并利用它们自主发起攻击,被劫持模型的所有者还要承担算力账单。该智能体可无人工干预执行最多 100,000 步,扫描更多目标、利用常见服务器软件漏洞、窃取数据库和凭证并在后台安装挖矿程序,Symantec 将这种盗用他人模型访问权的行为称为 LLMjacking。

    推荐理由:Symantec 通过蜜罐截获完整攻击提示词,呈现了劫持他人模型算力、五层越狱与自循环攻击的具体结构。

  6. AWS Blog60

    AWS Continuum 代码漏洞服务正式可用

    AWS 宣布代码漏洞服务 AWS Continuum 正式可用,可验证漏洞是否可被利用、按业务影响排序,并以补丁或拉取请求形式给出修复。该服务基于代码仓库与 AWS 环境构建上下文图,对可复现的漏洞在隔离沙箱中运行利用并附上概念验证代码。所有修复都需人工审核合并,目前在美国东部(弗吉尼亚北部)和美国西部(俄勒冈)区域提供。

    推荐理由:原文展示了从漏洞验证到生成补丁 PR 的完整流程,读者可据此判断安全修复环节的人机分工方式。

  7. TechCrunch80

    中国黑客攻破 IT 巨头 ConnectWise 后窥探数千家公司

    微软安全研究人员称,与中国政府关联的黑客攻破 ConnectWise 的云备份服务,窃取用于连接其与企业客户的数据链路的应用凭证,进而以授权用户身份登录客户托管在微软的环境,访问邮件和其他文件。

    推荐理由:微软披露的攻击细节显示,AI 智能体被用于以每分钟近 3000 次尝试登录的速度批量入侵,可帮助理解自动化攻击对防御节奏的影响。

10月22日周四
  1. 人人都是产品经理88

    AI挖出藏了十几年的PHP底层漏洞,网络安全回不到旧时代

    10月20日Hacker News出现帖子称两个PHP远程代码执行漏洞即将公开,随后被安全公司watchTowr确认,PHP官方被迫把原定10月22日的安全更新提前到21日晚10点。OpenAI随后认领这两个漏洞由GPT-5.6 Sol辅助发现,并发布skill帮助网站自查是否受影响。作者梳理漏洞成因与修复拖延史,指出AI让漏洞发现只需两天,而修复花了两个月,发现速度与修复能力之间的落差正在扩大。

    推荐理由:以一次漏洞提前泄密事件为线索,呈现AI加速漏洞发现后,修复与协同流程承受的压力。