中国高校举办世界音乐人工智能大会 “音乐与AI融合大有可为”

“未来音乐会”上，作品《方圆》由演奏家演奏中阮，结合机器狗运动，融合AI和计算机音乐等技术。（摄影：本报记者 林子涵）

　　运用深度学习等方式分析人对音乐的情感反馈，通过人工智能（AI）实现作曲、编曲、歌唱……近日，第二届世界音乐人工智能大会暨“未来音乐会”在北京举行。活动由中央音乐学院和中国人工智能学会联合主办，来自音乐人工智能、音乐与脑科学、音乐治疗等领域的专家及音乐产业相关企业代表共同参与，展示音乐与人工智能结合的前沿成果，探索艺术和科学交汇的未来趋势。

　　奏响“未来音乐会”

　　“欢迎大家来到‘未来音乐会’，我是本次大会的机器人指挥Yu Feng。”聚光灯下，仿真机器人挥手致意，向观众做开场白。

　　本届世界音乐人工智能大会以“未来音乐会”启幕，邀请中国音乐家和人工智能团队共同创作，在多部现代音乐作品中运用表情情感识别、3D声场、机器听觉、AI生成视觉等技术。

　　音乐会上，作品《连续体》借用物理学“时空连续体”的概念，将声音参数通过洛伦兹方程进行计算和转换，通过3D声场进行呈现；《厄之二——司岗》使用佤族民间乐器“得”“口弦”“铃”进行现场演奏，并用手势控制器、轨迹跟踪控制器等对声音进行变形和重塑；《繁星散落的夜晚》运用基于AI的虚拟乐器，通过深度神经网络模型，检测获取古筝演奏家的手势信息，实时控制音乐的不同声部。

　　“艺术与科学的交融令人惊叹。”马里兰大学电子与计算机工程系和系统研究所教授谢哈布·沙玛对本报表示，音乐会与世界顶尖音乐会的演出效果不相上下，充分证明了中国学界在音乐人工智能方面取得的进展。

　　中国工程院院士、中国人工智能学会理事长戴琼海表示，音乐与科技结合是音乐领域的创新趋势，进行音乐与人工智能、脑科学的交叉研究有重要意义，将对音乐产业革新带来深远影响。

　　“人工智能高速发展，将为音乐提供全新发展空间。目前，人工智能已对传统音乐二级学科产生影响，有望为作曲与作曲技术理论、音乐表演、音乐学、音乐教育、音乐科技、音乐管理等学科带来革新。”中央音乐学院音乐人工智能与音乐信息科技系主任李小兵说。

　　“艺术与科学的结合”

　　一场音乐会背后，有学界的多年努力。在主旨报告环节，中外专家分享了音乐与人工智能及脑科学的研究进展。

　　“AI近年来开始在艺术创作领域崭露头角。透过深度学习和生成对抗网络等技术，AI能学习和模仿艺术作品并生成全新创作。通用大模型技术更为机器创造力提供更多可能性。”香港科技大学首席副校长、英国皇家工程院院士郭毅可介绍，自2021年起，香港科技大学和香港浸会大学合作开发“人机共生艺术创造平台”。目前，团队在人声合成、面部表情模拟、自动编舞、基于文字描述生成图像视频等方面已取得多项突破。

　　“大脑通过听觉系统感知自然界多姿多彩的声学环境和优美动听的音乐。音乐信号有特殊的时域和频域特征，听觉系统通过一系列复杂处理提取音乐中的信息及特征。大脑基于这些特征形成对音乐的感知，包括音乐情感和审美等高级认知，并进一步产生音乐的记忆。”清华大学脑与智能实验室主任、教授王小勤说，过去20多年，全球关于大脑如何处理音乐的脑科学研究有较快发展。目前，他和团队正围绕大脑处理音乐的神经机理进行研究。

　　论坛期间，围绕艺术与科学的关系，专家进行多番探讨。

　　“音乐蕴含人的感知与体验，也会激发人的情感反馈。在探索音乐与人工智能结合的过程中，一个重要方向是使人工智能创作的乐曲能够真正触动人心，防止人工智能音乐‘有口无心’。”中央音乐学院院长俞峰对本报表示，2018年，中央音乐学院提出音乐和人工智能融合，创建音乐人工智能与音乐信息科技系，并于2019年成立音乐人工智能与音乐信息科技学科，与国内外顶尖人工智能专家合作，共同探索面向未来的当代音乐艺术。

　　北京通用人工智能研究院院长、北京大学智能学院院长朱松纯提出，科学与艺术融合是理性与感性的碰撞，探讨智能学科与人文艺术交融有望“为机器立心”。目前，他与团队正在开发一种新的音乐结构化建模理论，使人工智能算法和模型生成的音乐，与人类创作者的音乐审美与认知实现对齐，推动人工智能音乐更好应用于音乐创作、视频配乐等领域。

　　“音乐治疗将发挥更大作用”

　　专家表示，音乐与科学的结合，发展前景广阔。

　　欧洲科学院外籍院士、清华大学人工智能研究院常务副院长孙茂松表示，音乐人工智能近年来在音乐生成、歌词创作、声源分离、技法识别、音乐分析等领域已实现应用。此外，人工智能在修复古琴谱、保护民族音乐数据等方面也取得创新应用。随着学界不断在音乐、图像、视频、文本数据间的跨模态对齐等方面取得突破，音乐人工智能有望创造更多可能。

　　华为中央媒体技术院总裁李江表示，人工智能在旋律、节奏、和声、曲式、复调、配器等方面已有较强能力，而在充分展现音乐风格和表现力等方面还面临挑战。未来，做好数据处理和算力配合等工作，音乐人工智能技术发展有望突飞猛进。通过AI大模型搭建音乐“骨架”、更好提升音乐创作效率，辅以AI小模型进行精细化定制化调整、实现音乐的表现力，AI可以更好地担当音乐人的助手。

　　俞峰表示，研究音乐的治疗功能，是音乐与人工智能交叉研究的突破点之一。音乐已被证实对人的情绪、睡眠存在影响，但作用机制、作用强度，目前仍是黑箱。下一步，通过脑科学和音乐人工智能的研究，音乐治疗将发挥更大作用。

　　以色列耶路撒冷希伯来大学神经生物学教授、埃德蒙和莉莉萨弗拉脑科学中心主任伊斯立·尼尔肯对本报表示，人类大脑支持音乐处理的神经机制，可能在声音处理方面有广泛用途，预计这种机制也存在于动物界。“音乐与脑科学的学科交叉领域尚有许多悬而未决的问题，我们期待与中国高校研究者合作，破解更多有关声音的奥秘，创造更多有价值的研究成果。”尼尔肯说。