
这两天,娱乐资本论身边不少音乐行业从业者,都在讨论 Suno 的新功能 Visuals。
11 月 17 日,美国 AI 音乐平台 Suno 上线视觉创作工具 Visuals,将图像和视频生成带进音乐创作流程。
有趣的是,这个功能的模型底座来自中国 AI 大模型公司 MiniMax:Suno 基于 MiniMax 开源的视频模型 H3,打造了面向音乐场景的 H3 Move,并结合自身数据进行后训练和适配。
Visuals 一出,海内外创作者的反应相当兴奋。
YouTube 上有大量的音乐博主发布测评视频,评论区里的讨论热烈。有用户提到此前用过 MiniMax 的视频生成模型,所以对生成效果很期待 " 之后一定会尝试 ",也有用户体验后写下 " 口型同步很棒 "" 很好地利用了角色参考图。"

从这个角度看,Suno 推出 Visuals,本质是回应了音乐行业对视觉内容的需求。
过去几年,Suno 为更多人打开了音乐创作入口,而 MiniMax H3 的加入,似乎提供了 AI 音乐向大众传播的一个新出口。但事实上,H3 带给文娱行业的出口远不止一个。

过去一年,AI 歌曲想要在各平台上走红,往往需要一段 10w+ 点赞的短视频帮它打开局面。
例如,最近短视频上走红的各种 " 宠物合唱团 "。画面里是 AI 生成的小猫小狗对着口型,唱起主人和它们之间的故事。原本发生在主人与宠物之间的生活片段,变成了一支可以传播的音乐 MV。

前两天,小娱刷到一位 YouTuber 发布的叫《Just NPCs ( feat. Crissy ) 》的赛博朋克音乐 MV,就是其用 MiniMax H3 制作的,热评第一条就是观众在玩笑 " 视频该收费 "。足以见得,一支完整的 AI 音乐 MV,已经能够让观众产生接近专业音乐视频的观看体验。

对视觉的需求也已经进入音乐综艺的制作环节。
音综导演诗文告诉娱乐资本论,从当下来说,AI 音乐可以说是听觉和可视化一体的产物。
她提到,目前国内接触过的 AI 音综提案,大多数都要考虑到一首歌的视觉呈现," 我们之前做过一个提案,就是用音乐作品 + 创作 mv 的形式让选手竞赛。"
AI 音乐短视频和音综之外,AI 虚拟歌手赛道,也挤满了创作者。在这个赛道,视觉形象甚至直接关系到一个账号能不能持续做下去。
河豚君此前采访过的小旭音乐就是从一家传统音乐公司转型做了 AI 歌手矩阵,尝试给不同风格的 AI 音乐匹配不同的歌手形象。举个例子,他们旗下的走民俗、荒诞曲风的 AI 歌手,就会在视觉上带着浓厚的中式怪诞感。歌曲的情绪和画面里的诡异氛围结合起来,相关内容单条播放量达到千万级。
显然,AI 音乐行业的竞争,必然延伸到视觉内容的生产能力。AI 音乐想真正走到台前,就需要和可视化内容结合。
这就是 Suno 推出 Visuals 的时机所在。

Visuals 可以让用户选择平台提供的原创角色,也可以上传参考图片,让生成视频沿用指定的人物形象;视频能够呼应歌曲结构和歌词,并支持演唱口型同步。
对用户来说,参考图片有助于维持歌曲视觉 IP 形象的一致性,口型同步则让视频具有真实的 MV 质感,对于想要打造 AI 艺人的团队来说十分适配。
用户还可以结合音乐和文字提示生成最长 15 秒的视频片段,再通过时间轴延长、编排和编辑。歌词视频、专辑封面等功能,也让一首歌能够继续延伸出适合不同平台发布的内容。
可以预见,Visuals 的出现让 AI 歌曲的生命周期,被视觉内容拉长。从此,音乐生成只是起点,角色、MV 和持续更新的内容,才是 AI 音乐走向更大受众的关键环节。
而在梳理清楚用户需求与产品功能之间的对应后,小娱更好奇的是:Suno 作为 AI 音乐平台,如何与多模态模型协同,将模型能力转化为一个真正服务于音乐创作的新工具?在这个过程中,MiniMax H3 又为什么会成为 Suno 的选择?

要解答这个问题,得先从产品需求出发做一个判断。
在小娱看来,Suno 需要的视频工具,至少要满足两个条件:懂音乐,也懂 Suno 自己的创作生态。
先说懂音乐。
音乐生成器里的视频功能,对模型的要求和普通文生视频有明显区别。
用户已经有了一首完整的歌,模型需要围绕这首歌组织画面:理解歌曲的节奏和结构,识别歌词表达的内容,匹配相应的画面情绪,还要处理人物形象与演唱状态之间的关系。
尤其是人物演唱场景,口型能否跟上音频,直接影响最终视频的观感。
这要求模型具备比较完整的多模态理解和生成能力。文本、图像、视频、音频需要在同一套生成流程里协同工作,模型既要理解用户提供的素材,也要理解不同素材之间的关系。
Visuals 功能演示视频,来自官网
MiniMax H3 的技术路线,正好围绕这一点展开。
今年 7 月 31 日,MiniMax 发布 H3,将其定位为通用多模态生成模型;8 月,MiniMax 进一步开放模型权重,供开发者和企业基于模型进行部署与开发。
和此前将文生视频、图生视频、视频编辑等任务分开处理的方式相比,H3 用统一的模型架构处理文本、图像、视频和音频构成的多模态上下文。
放到音乐创作场景里,我们可以想象这样一个过程:
一位 Suno 用户刚刚生成了一首歌,想给自己的虚拟歌手制作一支 MV。他上传歌手的形象参考图,输入一段画面描述,再提供歌曲音频,甚至加入一段动作参考视频。
模型理解了这些素材分别表达了什么,并将人物形象、动作、歌曲情绪和声音组织进同一段视频里。
创作者给出的素材可能来自不同媒介,最终希望得到的却是一段完整的视听内容。H3 能够在统一的多模态框架下处理这些输入,减少创作者在图像、视频和音频工具之间反复切换的环节。
它还有一个与音乐视频需求直接相关的特点。支持视频和声音同步生成。根据 MiniMax 公布的技术规格,H3 支持原生立体声音频视频生成,完整工作流最高支持 2K 分辨率。模型支持多模态参考输入,最多可以接入 9 张图片、3 段视频和 3 段音频。

原生音视频生成能力,也让声音与画面能够在同一生成流程中得到处理。创作者可以围绕一首歌反复生成不同片段,再挑选、编排成完整作品。
对于 Visuals 而言,这套能力提供了比较合适的技术基础:用户上传角色参考图,模型围绕歌曲生成画面,再通过口型同步等功能,让角色真正进入音乐视频。
当然,通用模型的能力只是起点。Suno 真正需要的,是一套能够 " 无缝衔接 " 音乐产品和用户习惯的视频生成工具。
拆开来讲,就是 Suno 长期积累了音乐生成场景,对用户如何创作歌曲、如何使用歌曲,以及希望围绕歌曲生成什么样的视觉内容,都有自己的理解。一个通用视频模型即使具备多模态生成能力,需要进一步适配具体产品场景,才能把这些能力转化成用户真正用得上的功能。
与之相对的,H3 对于 Suno 来说更大的价值,就在于它选择了开源。
MiniMax 开放 H3 模型权重,给了 Suno 进一步定制的空间。与直接调用一个封闭的视频生成服务相比,开放权重让合作方能够围绕自己的产品需求进行部署、调整和后训练,将模型能力接入自身的技术流程。
Suno 首席产品官 Jack Brody 也曾表示,团队使用自己的数据对这一开源模型进行了优化,使其更适合音乐视频制作。
根据 Suno 官方 FAQ,Visuals 使用的模型名为 H3 Move,基于 MiniMax H3 开发,Suno 针对自身社区进行了优化,并加入了额外的安全保护机制。
好的技术合作,往往始于彼此需要,也在彼此成就中打开新的空间。
从这个角度来看,Suno 对 MiniMax 的选择属于 " 一个有能力,一个有场景 " 的双向奔赴。MiniMax 把模型能力和开发空间交给 Suno,Suno 则用自己的音乐场景和用户需求,让 H3 有了更明确的落地路径。
技术找到了用武之地,产品也获得了继续进化的空间,用户被满足了 " 渴望已久 " 的需求,怎么不是一次三方共赢呢?

一个开源模型的想象空间,取决于全球开发者能用它做出什么。
Suno 只是 H3 进入海外文娱产业的一个入口。过去三个月,围绕这款模型展开的开发和合作,已经延伸到专业影视制作、视频生成平台,以及更底层的技术开发环节。
AI 影视公司 Utopai Studios 基于 H3 进行后训练,开发了自己的视频生成模型 Utopai X,并将其用于专业影视制作探索。据企业披露,目前已有 20 多个在制项目,覆盖剧集和院线长片。
对于 Utopai 这样的公司来说,视频生成模型需要面对的,是电影、剧集制作中更具体的专业要求。基于 H3 继续开发专业模型,也意味着它可以把自身的影视制作经验带入模型训练,让通用视频生成能力进一步贴近专业制作需求。
这样的二次开发也发生在视频生成平台。
Pika 基于 H3 推出 Pika H3 Flex,围绕专业创作需求继续优化生成控制能力;fal 则推出 H3 Max,将重点放在生成速度和推理效率上。
FastVideo 等技术团队围绕 H3 进行推理加速和硬件适配,RunningHub 等创作平台也将它接入模型工作流。模型由此进入更多开发者熟悉的工具和创作环境。
从这些合作可以看到,模型进入文娱产业后,面对的并不是一套统一的需求。影视制作公司关心模型能否适应专业内容生产,视频工具平台需要考虑生成效果、操作体验和产品差异化,音乐平台则希望围绕歌曲建立更完整的视听创作流程。
这就是开源最大的优势所在,同一套模型,进入不同公司的业务体系,就可以长出不同的产品形态。模型能力会变成企业产品的核心能力之一。这样,合作方尽可以把研发投入用在自己最擅长的环节。公开数据显示,H3 开源 100 天,下载量已经超过了超 1.48 亿次,衍生模型共 1472 个。
换个角度看,现阶段,开源也给 H3 提供了一个更大的试验场。 海外企业正在用具体业务需求检验开源模型的能力,也让它有机会进入更多细分的内容生产场景。
毕竟,开源模型的价值和野心,不只是被世界看见,更是被世界拿去创造。

话题互动:
你怎么看 Suno 新上线的视频生成功能?
推荐阅读


现偶剧错在哪?
↓↓
如需商务合作后台回复【商务】
如有转载需求后台回复【转载】
更多文娱产业背后的经济逻辑,来关注↓↓↓