对于做音乐开发、编曲或者音乐学习的人来说扒谱一直都是一件费时又费耳朵的事情。过去更多依赖人工听辨一首四五分钟的曲子可能需要几个小时而近两年随着AI音频识别模型的发展越来越多工具已经能够完成音轨分离、和弦识别、MIDI生成甚至五线谱输出。最近因为项目需要对几款主流AI扒谱工具进行了实际测试分别体验了爱扒谱、反谱、Moises。本文主要从技术角度分析它们的实现思路以及适用场景。为什么AI已经能够实现自动扒谱传统扒谱流程主要包括音频 ↓ 降噪 ↓ 频谱分析(STFT) ↓ 音高检测(Pitch Detection) ↓ 节奏检测(Onset Detection) ↓ 音符识别 ↓ MIDI生成 ↓ 乐谱排版而现在很多AI工具已经把中间的大部分步骤交给深度学习模型完成。目前主流方案一般都会结合STFT频谱分析Constant-Q TransformCQTCNN特征提取Transformer时序建模Source Separation音轨分离Pitch Tracking音高跟踪相比传统DSP算法对于复杂音乐、多乐器混合、人声干扰等情况识别率已经提升很多。AI扒谱最大的难点是什么很多人认为难点在识别音高。实际上真正困难的是① 多乐器混合例如钢琴吉他贝斯鼓人声全部混在一起。模型首先需要做Source Separation。这一点近年来Demucs、Spleeter等模型的发展起到了非常大的推动作用。② 泛音干扰吉他、小提琴等乐器会产生大量泛音。很多传统Pitch Detection算法容易实际 A3 识别 A4或者C4 ↓ C4G4AI模型相比传统FFT算法准确率更高。③ 节奏定位不仅要知道是什么音。还要知道什么时候开始持续多久是否存在连音是否存在切分。这一部分很多模型都会结合Transformer进行时间序列学习。三款工具简单体验由于测试目的主要关注AI识别能力因此使用了同一首流行音乐进行测试。1、MoisesMoises更多偏向人声分离乐器分离BPM检测和弦识别优势分轨质量不错国外模型成熟人声保留效果较好。不足生成完整乐谱能力不是核心功能。更适合做伴奏制作。2、爱扒谱爱扒谱更偏向国内用户。体验过程中发现支持MIDI输出五线谱生成简谱转换音轨分离人声提取对于钢琴、吉他等旋律识别比较方便。如果目标是直接获得乐谱流程会比自己导入MuseScore再处理更简单。3、反谱反谱整体思路与AI自动扒谱比较一致。除了自动识别外对于多轨音频乐器识别乐谱导出也提供了比较完整的流程。相比传统软件需要人工修正的地方明显减少。尤其对于练琴、扒Cover来说效率提升比较明显。实际测试结果同一段约90秒音频。测试内容主旋律和弦节奏整体体验如下项目爱扒谱反谱Moises人声分离★★★★★★★★★☆★★★★★乐器分离★★★★☆★★★★★★★★★★自动扒谱★★★★★★★★★★★★★☆☆MIDI导出★★★★★★★★★★★★★☆☆乐谱生成★★★★★★★★★★★★☆☆☆这里只是针对个人测试结果不同音乐类型可能会有所差异。例如古典音乐电音爵士金属模型表现都会不同。AI扒谱仍然存在的问题虽然准确率已经很高。但目前仍有几个典型问题鼓点识别鼓属于非固定音高。很多工具只能识别节奏。无法很好转换鼓谱。多声部钢琴左右手同时演奏时。复杂和弦仍然容易出现遗漏重复错位。爵士即兴大量滑音倚音装饰音临时转调目前AI仍然很难百分之百还原。通常需要人工微调。总结随着深度学习模型的发展扒谱已经从过去高度依赖人工听辨逐渐演变为AI辅助完成的大部分自动化流程。对于日常练琴、编曲参考、音乐学习等场景AI工具已经能够显著提升效率。从这次体验来看Moises在音轨分离和伴奏处理方面表现成熟爱扒谱和反谱则更偏向完整的自动扒谱、MIDI导出和乐谱生成流程。如果只是想快速得到可编辑的乐谱两者都能减少大量重复劳动需要说明的是目前任何AI扒谱工具都无法完全替代专业音乐人的人工校对。对于复杂编配、多声部演奏或爵士即兴等场景最终仍建议结合人工修订以获得更准确的乐谱结果。关键词扒谱、AI扒谱、自动扒谱、音频转乐谱、MIDI生成、音轨分离、爱扒谱、反谱、Moises
