多模态 AI 公司 Cartesia 宣布完成由 Index Ventures 领投的 2700 万美元种子轮融资，Lightspeed、Factory、Conviction、General Catalyst、A*、SV Angel 以及 90 位天使投资人也参与其中。

该公司的使命是构建具有长时记忆的实时智能系统，无论用户身处何地都能运行。为每个人提供多模态大脑！

该公司表示，Transformer 模型存在显著局限性：它们一次只能处理和生成少量信息（几分钟的音频、几秒钟的视频），无法在交互间高效保持状态，且在大多数硬件上实时运行成本过高。下一代人工智能需要在智能基础架构上进行创新。

新的架构，如 S4 和 Mamba，具备几个重要特性——它们的计算成本随序列长度呈线性增长而非二次方增长，它们学会将长数据序列压缩成固定大小的状态，并且推理速度快且高效。

Cartesia 正在规划一条通向未来的道路，届时模型能够持续吸收关于世界的海量信息，将其压缩至工作记忆中，并在终端设备上实时生成跨多种模态的内容。

Cartesia 已经发布了 Sonic，快速的超逼真语音生成模型，并将其部署到设备上。Sonic 已投入生产，服务于从个人创作者、初创公司到大型企业的数千名客户，推动下一代语音智能体、数字媒体和助手的开发。

Cartesia 称，构建适用于音频和视频等丰富多模态信号的长上下文生成模型仍然充满挑战——这些模型通常难以控制且容易偏离预期轨迹。在过去的几个月中，Cartesia 开发了一种全新的 SSM 架构，专为多流模型设计，能够在不同模态的数据流上并行持续推理和生成。这使得 Cartesia 能够训练出端到端的模型，不仅实现了高度高效的流式推理，还在各模态之间提供了前所未有的控制能力。

基于这一多流架构，Cartesia 训练了一个端到端语音生成模型，能够对文本进行细粒度控制，从而有效防止幻觉生成，同时保持端到端生成的高度真实感。这一架构相较于以往的端到端音频生成方法实现了根本性的改进，以往方法往往难以应对复杂、冗长或重复的转录文本。这一进步对所有用户都意义重大，尤其是对于构建语音智能体的用户而言，准确性至关重要。

#AI创造营#