最近这条本地音乐生成线挺热闹。Suno、Udio 这些云端产品把”写歌”的门槛压到了一句话,但代价也很清楚:歌词和旋律得传到别人服务器上,想批量、想固定随机种子、想接进自己的流水线,基本没门。ACE-Step 1.5 是这条路上目前能打到商业级、又能完全在本机跑的开源方案之一——MIT 协议、12.5k star,由 ACE Studio 和 StepFun 联合推进。这篇不吹不黑,把它的定位、怎么跑、以及踩过的坑记下来。

它到底是什么
ACE-Step 是一个开源音乐基础模型,1.5 这代主打”消费级硬件上的商业级质量”。官方给出的数字很夸张:A100 上整首歌不到 2 秒,RTX 3090 上不到 10 秒,本地跑最低 4GB 显存就能动。质量上它自己宣称介于 Suno v4.5 和 v5 之间,支持 10 秒到 10 分钟长度的生成,50+ 语言歌词。
架构上它走的是混合路线:一个语言模型(LM)当”总策划”,把你的简短描述展开成完整的歌曲蓝图——结构、歌词、风格标签都由它用链式思考推理生成;然后交给一个扩散变换器(DiT)去生成原始音频。LM 这边有 0.6B / 1.7B / 4B 三档,基于 Qwen3;DiT 这边有 2B 和 XL 4B 两档。这种拆法让”规划”和”发声”各自优化,也是它能做到又快又可控的原因。

为什么值得在本地折腾
三个实在的理由。一是成本,没有订阅、生成次数不限,自己的显卡一次买断;二是隐私,歌词、旋律、商业企划全留在机器里,对没发布的作品尤其重要;三是控制力,固定随机种子、批量生成、LoRA 微调、接进自动化脚本——这些是云端产品给不了的。
它支持 Mac(MPS)、AMD(ROCm)、Intel XPU 和 CUDA,覆盖面比很多本地模型宽。对只有一张消费级卡的人,这是目前最容易上手的起点之一。
怎么跑起来
环境要求 Python 3.11–3.12,官方推荐用 uv 管理。clone 下来同步依赖后,两条命令就能起:
uv run acestep 起 Gradio 界面,默认 http://localhost:7860;uv run acestep-api 起 REST 服务,默认 :8001。首次运行会自动下载模型权重。
显存怎么选有讲究,官方给了分档建议:
– ≤6GB:2B turbo(DiT only,INT8 + CPU 卸载)
– 6–8GB:2B turbo + 0.6B LM
– 8–16GB:2B turbo/sft + 0.6B 或 1.7B LM
– 16–20GB:2B sft 或 XL turbo + 1.7B LM
– 20–24GB:XL turbo/sft + 1.7B LM
– ≥24GB:XL sft + 4B LM
简单说,想体验直接上 2B turbo,几乎什么卡都能动;想要更接近商业质量的成品,得往 12GB 以上走,XL 模型官方的建议是 ≥12GB(带卸载)或 ≥20GB(不带卸载)。

除了写歌,它还能干嘛
这是 1.5 比一代更像”工具”的地方,内置了一整套编辑能力:
– 参考音频引导:丢一段参考,让生成贴近那个风格
– 翻唱生成(Cover):基于已有音频做 cover
– 重绘与局部编辑(Repaint):只改某一段、重新生成
– 音轨分离:把人声和伴奏拆开
– 多轨生成:像 Suno Studio 的”加层”那样叠加
– Vocal2BGM:给干声自动配伴奏
– 元数据控制:时长、BPM、调式、拍号都能指定
– LRC 生成:给生成的歌自动打歌词时间戳
加上音频理解(提取 BPM/调式/标注)和质量评分,基本把”从灵感到成品”的链路收进了一个模型里。
想让它更像自己?LoRA 微调
官方说用几首歌就能训一个 LoRA 捕捉个人风格,Gradio 里有一键标注和训练标签页。文档给的参考是 8 首歌、3090(12GB)上约 1 小时。还有更进阶的 Side-Step 命令行工具包,带修正的时间步采样、LoKR 适配器、显存优化。对想做固定厂牌音色的人,这比每次靠提示词调要稳得多。

几个不能忽略的坑
– 质量仍差商业模型半档。它自己标的是”介于 Suno v4.5 和 v5 之间”,但人声长时间段偶尔发干、带金属感,别指望一次出母带。
– 量化会掉质。≤6GB 那档靠 INT8 + CPU 卸载才跑得动,代价是细节损失,当玩具可以,出活儿别指望。
– 提示词和歌词很吃写法。结构标签、风格词给得越细,贴合度越高;中文歌词支持,但英文提示在工程圈更成熟。
– macOS 能用 MPS,但大模型权重走统一内存。16GB 的机器跑 XL 会非常吃力,2B 档更现实。
– REST API 适合接流水线,但首跑要拉权重,磁盘和内存得留够;社区模型审查度低,下载来源认准官方组织 ACE-Step。
小结
ACE-Step 1.5 不是”最强音乐 AI”的终点,但它是目前本地这一侧最完整、协议也最友好(MIT,允许商用)的选择:规划+生成分离的混合架构、Mac/AMD/Intel/CUDA 通吃、从写歌到编辑到微调一条龙。显存小的先用 2B turbo 尝鲜,有 24GB 卡的再上 XL 冲质量。把它当创作助手而不是替代乐手,体验会踏实很多。