跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

34 条精选近 30 天 33 条共收录 282 条

更新

部署工程的精选

11月2日周一第 1–20 条
  1. 人人都是产品经理70

    Kimi 半年三次道歉:K3.1 Pro 长程 Agent 暴露订阅计费困境

    月之暗面 K3.1 Pro 上线两天后致歉,199 元档会员一条指令拉起 5 个子 Agent,十几分钟耗尽 5 小时额度,平台重置会员 25% 月度额度,这是半年内第三次因限流和额度问题道歉。

    推荐理由:作者梳理 Kimi 三次道歉背后的计费矛盾,提出 Agent 任务成本公式和四项产品侧公开指标,方法可直接迁移到自己的 Agent 项目。

11月1日周日
10月31日周六
  1. 量子位75

    面壁智能ForgeKernel直播22.5小时写算子,超越DeepSeek-V4.1 FlashMLA 9.8%并开源

    面壁智能的算子生成系统ForgeKernel在22.5小时直播中,仅凭算子数学定义和硬件约束,在B200上把DeepSeek-V4.1的FlashMLA Prefill算子从518微秒优化到472微秒,快9.8%,全程42轮迭代、人类0行代码,直播后联合OpenBMB社区宣布开源。

    推荐理由:原文给出直播过程的迭代细节与多榜单成绩,读者可据此评估AI生成算子对芯片适配成本的实际影响。

  2. Google Blog58

    Google Project Suncatcher 原型卫星完成首次在轨 TPU 推理

    Google 的 Project Suncatcher 原型卫星在轨运行数据中心级 TPU,并首次成功执行 AI 推理。10 月 1 日发射后,团队完成上电与早期机器学习测试,本周通过地面站向星上 Gemma 4 开放模型上传提示词,在卫星飞经挪威斯瓦尔巴时下传了生成的俳句。接下来将测试 TPU 在热应力和辐射下的表现,为 2027 年双星互联目标铺路。

    推荐理由:Google 公布 Project Suncatcher 原型卫星在轨运行 TPU 并完成首次模型推理,读者可了解太空算力研究进展。

  3. 品玩72

    MaaS 成了:从 Anthropic 季度盈利到中国百亿模型服务市场

    品玩文章认为 MaaS(模型即服务)已经跑通商业模式。Anthropic 招股书显示今年第二季度收入 115.55 亿美元、经营利润 9.74 亿美元,上半年约 80% 收入来自按量计费;IDC 数据显示 2026 年上半年中国公有云 MaaS 市场收入 106.3 亿元,同比增长 889.4%,火山引擎以 45.1% 份额居首,智谱以 5.0% 进入前三。

    推荐理由:文章用 Anthropic 季度盈利、IDC 中国 MaaS 市场数据和火山引擎份额,串起模型按量计费跑通商业闭环这条线索。

10月30日周五
  1. 钛媒体78

    谷歌暴跌、亚马逊失血、微软发债:AI 基建竞赛进入分水岭

    微软、谷歌、亚马逊三大云厂商最新财报季同时出现云业务加速与自由现金流转负,AI 基建竞赛进入新阶段。AWS 三季度收入 459.8 亿美元、同比增长 39.3%,积压订单达 5780 亿美元;Azure 单季收入 331.65 亿美元、同比增长 48%;谷歌云收入 307.1 亿美元、同比翻倍以上。

    推荐理由:从三家云巨头同季负自由现金流切入,梳理AI基建竞赛中订单、资本开支与股价分化的关系。

10月29日周四
  1. 人人都是产品经理70

    MemT-1.0 开源记忆原生模型实测:36B Nano 单卡 A100 部署与记忆快照对照实验

    MemOS 团队 10 月 20 日发布并开源首个记忆原生架构大模型 MemT 1.0,含 36B Nano(基于 Qwen3.6-35B-A3B)与 288B Flash(基于 DeepSeek-V4-Flash)两款。

    推荐理由:作者用单卡 A100 做了零上下文对照实验,读者可以看到记忆快照在真实业务规范落地时的准确与偏差。

  2. NVIDIA Blog58

    NVIDIA RTX Spark 笔记本新增多厂商机型,并发布 Nemotron 3.5 Transcribe 语音模型等更新

    NVIDIA 宣布 RTX Spark 笔记本现已由 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI 出货,起价 $2,599,搭载 Blackwell RTX GPU 与 Grace CPU 合封超芯,最高 128GB 统一内存和 1 petaflop FP4 AI 性能。

    推荐理由:官方汇总了 RTX Spark 笔记本新品与端侧 AI 更新,开发者可据此了解语音转录、Agent 资源调度等本地部署选项。

10月28日周三
  1. 钛媒体75

    字节、阿里、腾讯意向采购超300万张英伟达RTX PRO 5500,潜在规模超350亿美元

    文章梳理Agent带来的推理算力需求增长:月之暗面为Kimi K3.1 Pro额度消耗过快致歉并补偿25%月度额度,Claude用户也抱怨子Agent后台调用烧额度快。

    推荐理由:原文把用户额度消耗、Anthropic IPO 与大厂抢卡串成推理算力供需链条,并给出判断订单价值的经营指标。

10月27日周二
  1. TechCrunch80

    SpaceX 与 Apollo 达成约 400 亿美元 GPU 融资协议

    SpaceX 在监管文件中披露与 Apollo Global Management 旗下实体达成约 400 亿美元 GPU 及数据中心设备融资的约束性承诺,由 Apollo 购买芯片后租赁给 SpaceX,租期约 5 至 5.25 年,预计 2026 年底前完成交割、2027 年上半年起租。

    推荐理由:文章梳理了这笔 GPU 租赁融资的结构、Q3 AI 收入占比和资本开支变化,可帮助读者理解 SpaceX 的算力扩张路径。

10月26日周一
  1. The Decoder72

    Anthropic 称单个 Agent 常优于多个子 Agent,并发布迁移工具包

    Anthropic 基于多个企业部署经验指出,单个主 Agent 按需加载上下文,在质量、成本和延迟上常优于多 Agent 架构,一次对比中单 Agent 架构速度约为多 Agent 方案的两倍。

    推荐理由:Anthropic基于企业部署经验提出单智能体常优于多智能体架构,并给出迁移工具、适用边界和具体取舍建议,可帮助团队审视现有设计。

10月23日周五
  1. The Decoder72

    Google 推出 Agent Compute Engine,为每个 Gemini 智能体分配硬件隔离 microVM

    Google 宣布 Agent Compute Engine,为每个 AI 智能体分配独立的隔离虚拟机,该服务已支撑 Gemini,并将在未来几个月开放预览。每个智能体运行在由 Google Titanium 芯片保护的 microVM 中,空闲时虚拟机自动暂停以释放机器资源,虚拟机之间的共享内存降低了单个实例的运行成本。

    推荐理由:Google 用 microVM 隔离和自动暂停机制压低智能体运行成本,读者可据此了解智能体基础设施的工程思路。

  2. AWS Blog60

    AWS Continuum 代码漏洞服务正式可用

    AWS 宣布代码漏洞服务 AWS Continuum 正式可用,可验证漏洞是否可被利用、按业务影响排序,并以补丁或拉取请求形式给出修复。该服务基于代码仓库与 AWS 环境构建上下文图,对可复现的漏洞在隔离沙箱中运行利用并附上概念验证代码。所有修复都需人工审核合并,目前在美国东部(弗吉尼亚北部)和美国西部(俄勒冈)区域提供。

    推荐理由:原文展示了从漏洞验证到生成补丁 PR 的完整流程,读者可据此判断安全修复环节的人机分工方式。

  3. NVIDIA Blog58

    NVIDIA 发布 Minerva,为 AI 工厂提供端到端可观测性

    NVIDIA 发布 AIOps 平台 Minerva,汇集 GPU、网络、存储、调度器与工作负载的遥测数据,用专用 AI 模型把数据转成可执行的洞察。平台构建动态知识图谱,每小时分析数十亿数据点,可把大量告警聚合成单一事件并给出可能根因,还内置 AI 助手、可对接外部智能体工具。

    推荐理由:原文说明了 Minerva 如何把基础设施与负载遥测汇总成动态知识图谱,读者可据此了解 AI 工厂运维的排障路径。

10月22日周四
  1. OpenAI News62

    OpenAI 模型将上线 Google Cloud

    OpenAI 与 Google Cloud 合作,将 OpenAI 的前沿模型和 Codex 工作流接入 Gemini 的 Model Garden,并通过 Google Cloud Marketplace 提供。原文未披露具体模型版本、上线时间和定价。

    推荐理由:OpenAI 前沿模型与 Codex 工作流进入 Google Cloud 的 Gemini Model Garden,读者可据此了解两家云与模型方的渠道打通。

  2. NVIDIA Blog62

    GTC Berlin 2026:黄仁勋发布 DSX POD、OpenShell 与 Nemotron 等开源模型

    在 GTC Berlin 2026 主题演讲中,NVIDIA CEO 黄仁勋宣布 Vera Rubin 已全面投产,并推出 DSX POD 参考设计,使 AI 工厂现场部署时间从六个月缩短至 14 天。

    推荐理由:黄仁勋在 GTC Berlin 集中发布 DSX POD、OpenShell 安全运行时与多款开源模型,可据此了解 NVIDIA 面向智能体的全栈布局。