文章来源:财联社
《科创板日报》10 月 25 日讯 (编辑 朱凌)继聊天机器人 ChatGPT、AI 视频模型 Sora 后,OpenAI 又要放大招了。
据报道,OpenAI 正积极开发 AI 音乐模型。OpenAI 的工程师正在与茱莉亚音乐学院的一些学生合作,为音乐乐谱进行标注,以此作为音乐模型的训练数据。
在内部讨论中,OpenAI 曾探讨利用文本和音频提示词来生成音乐的具体应用场景。例如,用户可以输入一段描述,要求 AI 为现有的声乐曲目添加吉他伴奏。
这种功能可以帮助用户为短视频添加配乐,使视频完全由 AI 生成。想象一下,用户用 Sora 生成一段 TikTok 风格的舞蹈视频,然后就通过音乐 AI 即时配上动感的背景音乐,再分享到 ChatGPT 正在开发的 AI 社交平台,这将大大降低内容创作的门槛。
目前,OpenAI 已拥有超过 8 亿活跃用户,音乐模型将帮助 OpenAI 构建更全面的 AI 生态系统,将进一步提升用户黏性。
不过,音乐模型是否将与 ChatGPT 或 Sora 无缝结合,亦或是成为独立的应用还是个未知数,OpenAI 的发言人拒绝对此置评。
音乐模型不仅适用于个人娱乐,还能与商业化场景结合,助力 OpenAI 向广告领域拓展。据悉,广告公司将可以用 OpenAI 的音乐模型来为广告创作歌词和旋律。
事实上,OpenAI 在音乐领域的尝试早已有迹可循。2019 年,OpenAI 便推出了音乐生成模型 MuseNet,它可以结合最多 10 种不同乐器的音色,生成古典、摇滚、乡村等多种不同风格、长达 4 分钟的乐曲,但不能进行歌唱。随后,OpenAI 又在 2020 年发布了会 「唱歌」 的 Jukebox 模型。
但 MuseNet 和 Jukebox 均未被整合进 ChatGPT 和 Sora 中。由于技术和计算成本的限制,它们生成的音乐与人类创作的仍有较大差距。
全球 AI 音乐竞速
如今,随着算力和模型架构的进步,音乐生成技术终于迎来了实用化的可能,或将成为继文本与视频之后的新一轮 AI 技术竞赛焦点。
今年 5 月,谷歌推出了第二代音乐制作模型 Lyria。谷歌特别强调,Lyria 可为广告制作配乐,这与 OpenAI 音乐模型的潜在商业化方向高度重合。
而初创公司 Suno 和 Udio 的 AI 音乐生成产品已成功实现商业化。Suno 作为成立仅三年的企业,其年经常性收入已达 1.5 亿美元,比一年前增长近四倍。
《科创板日报》 注意到,中国的 AI 音乐模型也在迅速崛起。
去年,字节跳动豆包大模型团队推出了具备灵活控制能力的音乐生成模型家族 Seed-Music。
今年初,阿里通义实验室开源了音乐生成模型 InspireMusic,旨在打造一款集音乐生成、歌曲生成、音频生成能力为一体的开源 AIGC 工具包。
3 月 26 日,昆仑万维发布全球首款音乐推理大模型 Mureka O1,多项性能超越 Suno V4、登顶 SOTA。
6 月 16 日,腾讯 AI Lab 开源 SongGeneration 音乐生成大模型,专注解决音乐 AIGC 中音质、音乐性与生成速度这三大共性难题。
9 月 12 日,MiniMax 上线音乐生成模型 Music1.5,实现了强控制力、人声自然饱满、编曲层次丰富、歌曲结构清晰四大新突破。