Block 旗下 Dessa 语音模型解析:从声音学习、全双工,让模型更会聊天
作者分析了 Block 旗下语音模型 Dessa 如何把聊天细节当正题,从零只用人类对话音频训练、不用文本和预训练模型,支持全双工,能笑、能停顿、能改口。该模型源自 2020 年被 Square(现 Block)收购的多伦多创业公司 Dessa,目前仍为研究预览,未开放下载或 API,本地运行需 MacBook Pro M4 Max 或更高配置。
作者分析了 Block 旗下语音模型 Dessa 如何把聊天细节当正题,从零只用人类对话音频训练、不用文本和预训练模型,支持全双工,能笑、能停顿、能改口。该模型源自 2020 年被 Square(现 Block)收购的多伦多创业公司 Dessa,目前仍为研究预览,未开放下载或 API,本地运行需 MacBook Pro M4 Max 或更高配置。
Pika 发布 MiniMax H3 衍生模型 Pika H3 Flex,开放适配器权重与推理代码,通过六步去噪联合生成画面和同步立体声音频,支持文本、首尾帧和多模态参考输入,可生成约 5 至 15 秒、原生 480P/768P 视频。
Nvidia 于周三发布免费开放权重模型 Nemotron 3.5 Transcribe,可转录最多 40 种语言的音频,并同步发布开源语音数据集 Granary 2。
Nvidia 发布开源语音识别模型 Nemotron 3.5 Transcribe,可转录 40 种语言、在 31 种语言与英语间互译、识别 13 种语言的说话人,支持最长 1 小时、最多 8 名说话人的录音。
Square 和 Cash App 母公司 Block 推出 AI 语音模型 Dessa,称其为首个完全用人类语音、不含任何文本数据从零训练的模型。Dessa 直接以音频处理语音,可实时识别情绪、讽刺、笑声和停顿,支持全双工同时听说,并可在 MacBook Pro M4 Max 上本地运行。该模型尚未公开提供,团队先招募 AI 安全研究人员测试风险。
Jack Dorsey 旗下 Block 的研究实验室发布全双工语音模型 Dessa,完全基于人类语音和单个 NVIDIA GPU 机架训练,可同时说话和倾听,带笑声、停顿、哭腔等情绪表达。模型可在 MacBook M4 Max 等消费级电脑上本地运行,目前未公开访问,Block 正召集安全研究人员测试。Square 已用语音 AI 处理点单,自研模型可望以更低成本支撑更多业务场景。