Magenta RealTime 2：Google 把 AI 音乐做成了能跟弹的乐器

作者

Google Magenta 团队 6 月 4 日丢出来的新东西 Magenta RealTime 2（下面简称 MRT2），在 AI 音乐这一波里算是个很不一样的东西——它不是给你”生成一首歌听”，而是给你一个能跟你在琴键上对弹的虚拟乐手。你按 MIDI，它跟；你换风格，它跟着变；你想让它停鼓，它就停。

而且这次是真正能在本机跑的开源模型，不是只能调 API。

Magenta RealTime 2 主视觉

是什么

MRT2 是 Google 之前 Magenta RealTime 的第二代，第一代是去年 NeurIPS Creative AI 上那篇 “Live Music Models” 论文里提的，2 秒一帧、控制延迟 3 秒——能听，但”实时”是有点勉强的。新版本核心就改这一件事：

项目 MRT v1 MRT2
帧大小 2 秒 40 ms
控制延迟 ~3 秒 ~200 ms
控制输入 文本、音频 文本、音频、MIDI
架构 双向 T5 + 因果解码器 Decoder-only + 滑动窗口注意力
跑在哪 TPU/GPU Apple Silicon Mac（MLX）

模型本身分两个版本：

  • base：2.4B 参数
  • small：230M 参数

音频编码用的是 SpectroStream codec，把 48 kHz 立体声压到 16 kbps（base）/ 3 kbps（small）的一组 RVQ token。MIDI 控制是这版最大亮点——128 个 MIDI 音高可以帧级操控，真人乐手能做到的实时感觉，这里终于也能输出了。

MRT2 模型、推理引擎、应用三层架构

怎么装

目前官方只支持 Apple Silicon Mac（M1/M2/M3/M4 系列），跑在 MLX 上。base 版本需要 MacBook M3 Pro 或 M2 Max 以上才能实时流式生成，small 版本 M1 就够。

装 Python 库

pip install magenta-rt

独立应用 / DAW 插件

去 magenta.withgoogle.com/mrt2 下预编译的包。macOS 装好后可以独立跑，也可以装进 Logic Pro、Ableton 这类 DAW 当乐器轨道。

装源码

git clone https://github.com/magenta/magenta-realtime.git
cd magenta-realtime
pip install -e .

怎么用

最有意思的是 MIDI 控制这部分。每帧模型会收到一个 128 维 multihot 向量——MIDI 标准的 128 个音高，每个值代表这一帧这个音的状态：0=关，1=延音，2=起音，3=模型自己决定。

有两种模式：

  • Auto-Strum 模式：你只管按住和弦，模型自己决定啥时候拨弦、怎么分解
  • Auto-Strum 关：你想精控到毫秒级攻击时序也行

风格引导用文本或者音频样例都行，丢个 “lo-fi hip hop” 或 “heavy metal” 的提示词进去就跟着走。

Decoder-only 架构 + 滑动窗口注意力示意

Python 调用示意

import magenta_rt as mrt

model = mrt.MagentaRT2(base_or_small="base")
state = model.init_state()

# 加载一段 MIDI 提示
midi_prompt = mrt.MidiPrompt(...)
state = model.encode_midi(midi_prompt, state)

# 设置风格
style = mrt.Style(audio="path/to/sample.wav", text="warm jazz piano")
state = model.encode_style(style, state)

# 流式生成
for chunk in model.stream(..., state):
    audio = chunk.audio  # 拿到这一段生成的音频

官方也有 C++ 引擎，经过 MLX 编译成 .mlxfn 文件，在 Apple Silicon GPU 上直接跑，不绕 Python 层。

几个值得注意的点

延迟 200ms 什么概念？ 人感知延迟一般 100ms 以内是无感，200ms 是”有点感觉但能接受”的边界。对于即兴演奏场景，这个数字是够用的。如果你在外接 MIDI 键盘上弹，你可能注意得到，但合奏或背景生成完全无感。

各组件延迟分解图

为什么只支持 Apple Silicon？ 因为 MLX 是 Apple 自己的机器学习框架，在 M 系列芯片上能拿到 GPU 的真正近端内存，适合这种低延迟流式推理。别的平台（Windows/NVIDIA）这次就没放出来，C++ 推理引擎理论上可以移植，但官方没给。

跟 Suno/ACE-Step 有什么不同？ Suno 和 ACE-Step 是”一次性生成完整曲子”的范式，你给提示词，它吐一个文件出来。MRT2 是”生成过程持续运行、你可以随时插手”的交互式范式，更像一件乐器而不是一个生成器。两者互补，不是替代关系。

License 是 Apache 2.0 + CC-BY 4.0，模型权重也是开源的，商用没问题，只要标注来源。

总结

MRT2 是第一个做到”真正可用延迟”的开源实时音乐模型，而且开源程度很足——模型权重、推理引擎、应用代码全套开源。对于本地 AI 路线来说，这是 Apple Silicon 在国内用户里又多了一个不能拒绝的理由（M 系列跑这个比任何 N 卡方案都顺）。

如果你：

  • 有 M 系列 Mac，想玩 AI 音乐
  • 想把 AI 生成嵌进 DAW 工作流
  • 对延迟要求比”先生成再听”高

可以试试。源码在 github.com/magenta/magenta-realtime，模型在 huggingface.co/google/magenta-realtime-2。

发表评论