跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

34 条精选近 30 天 33 条共收录 282 条

更新

精选归档 · 第 2 页

10月22日周四第 21–34 条
  1. NVIDIA Blog58

    NVIDIA 扩展机密计算,推出 Confidential Bare Metal 部署选项

    NVIDIA 扩展机密计算能力,新增 Confidential Bare Metal 部署选项,让前沿模型构建方在第三方裸金属基础设施上运行敏感负载时仍能掌控模型与数据。

    推荐理由:原文给出三种机密计算部署选项和 Cohere、Google Cloud 的接入计划,读者可据此判断前沿模型在第三方算力上运行时的数据保护路径。

  2. NVIDIA Blog58

    NVIDIA 云伙伴在欧洲扩容,推出 OpenShell 智能体安全参考架构

    NVIDIA 宣布其欧洲、北欧、非洲和中亚的云伙伴扩大区域算力,用于模型训练与推理,并在 GTC Berlin 发布 NVIDIA OpenShell 参考架构,为 AI 智能体设定可访问范围的边界。

    推荐理由:原文列出欧洲多家云伙伴的扩容与推理部署细节,并给出智能体安全参考架构的组成与支持方。

10月18日周日
10月16日周五
  1. NVIDIA Blog62

    NVIDIA 发布 RTX Spark,面向创作者、玩家与 AI 智能体的 Windows PC

    NVIDIA 发布 RTX Spark,定位为一台面向创作者、玩家和 AI 智能体的 Windows PC,并将于 10 月 16 日在旧金山、柏林、台北、北京、伊斯坦布尔、首尔等地举办发布活动。

    推荐理由:NVIDIA 官方公布 RTX Spark 全球发布活动安排,并汇总多家媒体对本地 AI 与游戏表现的早期评价。

  2. Microsoft Research60

    微软研究院推出 Magnetar:基于标准哈希函数的零知识证明虚拟机

    微软研究院发布零知识证明虚拟机 Magnetar,可直接证明用 Rust、Go 或 C 编写的程序执行过程,安全性仅依赖 SHA-256、SHA-3 等标准哈希函数。

    推荐理由:微软研究院梳理十余年零知识证明研究脉络,说明 Magnetar 如何在速度、通用性和密码学假设上同时推进。

10月14日周三
  1. 每日经济新闻77

    谷歌芬兰130亿欧元数据中心项目因环评未完成被叫停,已砍伐530公顷森林

    芬兰许可与监管局(LVV)于10月6日要求谷歌旗下Tuike Finland Oy暂停穆霍斯和卡亚尼两座数据中心项目,因其第二阶段环境影响评估尚未完成,且收到与水体影响有关的投诉。

    推荐理由:报道梳理了谷歌芬兰数据中心被叫停的监管细节,并给出芬兰电价、低碳电力等吸引算力投资的具体背景。

10月13日周二
10月12日周一
  1. Microsoft Azure AI57

    微软详解 Azure Maia 300 架构:96 加速器机架与 12288 加速器 superpod

    微软发布 Azure Maia 300 架构详解,这是 Maia 第三代加速器,面向云规模智能体推理,相比 Maia 200 提供最高 7 倍的机架级 token 吞吐和超过 2.5 倍的每瓦性能。

    推荐理由:微软官方拆解 Maia 300 的芯片、机架与网络设计,可看清云厂商如何为智能体推理压低每瓦成本。

10月8日周四
  1. Microsoft Research75

    微软研究院开源 Agent Lightning v1.0:约 3500 行的轻量 Agentic RL 框架

    微软研究院开源 Agent Lightning v1.0,这是一个约 3500 行代码的轻量 Agentic RL 框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与强化学习,无需在训练框架内重写 agent。

    推荐理由:微软研究院开源 Agent Lightning v1.0,用约 3500 行代码实现让部署中的 agent harness 直接参与强化学习,并给出完整编码 agent 训练流程与实测增益。

9月24日周四
  1. Microsoft Research67

    微软研究:把物理 AI 推理卸载到边缘或云端可提升机器人性能与续航

    微软研究院对移动操作机器人工作负载做了系统性测量,发现把物理 AI 推理从机载 GPU 卸载到边缘或云端 GPU 可提升任务成功率、支持更大模型并延长续航。

    推荐理由:微软对机器人端侧推理的系统性测量显示,把推理卸载到边缘或云端可提升任务成功率与续航,并给出可复用的 Kubernetes 工具链。