让机器像人一样听音乐,Facebook开源Demucs项目

作者: 张路 2020-03-09 10:00:35

 

本文转自雷锋网,如需转载请至雷锋网官网申请授权。

音乐源分离,是利用技术将一首歌曲分解成它的组成成分,如人声、低音和鼓。这和人类大脑的工作很类似,大脑可以将一个单独的对话,从周围的噪音和一屋子的人聊天中分离出来。

如果你拥有原始的录音室多轨录音,这很容易实现,你只需调整混音来分离一个音轨。但是,如果你从一个普通MP3音频文件开始,所有的乐器和声音都被混合到一个立体声录音中,即使是最复杂的软件程序也很难精确地挑出一个部分。

Facebook AI 的研究人员已经开发了一个系统,可以做到这一点——精确度高得惊人。

创建者名叫亚历山大·笛福兹(Alexandre Defossez),是Facebook人工智能巴黎实验室的科学家。笛福兹的系统被称为Demucs,这个名字来源于“音乐资源深度提取器”,其工作原理是检测声波中的复杂模式,对每种乐器或声音的波形模式建立一个高层次的理解,然后利用人工智能将它们巧妙地分离开来。

笛福兹说,像Demucs这样的技术,不仅能帮助音乐家学习复杂的吉他即兴重复段落;总有一天,它还能让人工智能助手在嘈杂的房间里更容易听到语音指令。

笛福兹说他的目标是让人工智能系统擅长识别音频源的组成部分,就像它们现在可以在一张照片中准确地区分不同的物体一样。“我们在音频方面还没有达到同样的水平,”他说。

分解声波的更好方法

声源分离长期以来一直吸引着科学家。1953年,英国认知科学家科林·切里(Colin Cherry)创造了“鸡尾酒会效应”这个词语,用来描述人类在拥挤嘈杂的房间里专注于一次谈话的能力。

工程师们首先试图通过调整立体声录音中的左右声道,或调整均衡器设置来提高或降低某些频率,从而隔离歌曲的人声或吉他声。

基于声谱图的人工智能系统,在分离出以单一频率响起或共振的乐器的音符方面相对有效,例如钢琴或小提琴旋律。

这些旋律在声谱图上显示为清晰、连续的水平线。但是隔离那些产生残余噪音的撞击声,比如鼓,低音拍击,是一项非常艰巨的任务。鼓点感觉像一个单一的、实时的整体事件,但它实际上包含了不同的部分。对于鼓来说,它包括覆盖较高频率范围的初始撞击,随后是在较低频率范围内的无音高衰减。笛福兹说,一般的小鼓“就频率而言,到处都是”。

声谱图只能将声波表现为时间和频率的组合,无法捕捉到这样的细微差别。因此,他们将鼓点或拍子低音处理成几条不连续的垂直线,而不是一个整齐、无缝的声音。这就是为什么通过声谱图分离出来的鼓和低音轨道,听起来常常是模糊不清的。

足够聪明的系统来重建缺失

基于人工智能的波形模型避免了这些问题,因为它们不试图将一首歌放到时间和频率的僵化结构中。笛福兹解释说,波形模型的工作方式与计算机视觉相似,计算机视觉是人工智能的研究领域,旨在让计算机学会从数字图像中识别模式,从而获得对视觉世界的高级理解。

计算机视觉使用神经网络来检测基本模式——类似于在图像中发现角落和边缘——然后推断更高级或更复杂的模式。“波形模型的工作方式非常相似,”笛福兹说。他解释了波形模型如何需要几秒钟来适应歌曲中的突出频率——人声、低音、鼓或吉他——并为每一个元素生成单独的波形。然后,它开始推断更高比例的结构,以增加细微差别,并精细雕刻每个波形。

笛福兹说,他的系统也可以比作探测和记录地震的地震仪。地震时,地动仪的底座会移动,但悬挂在上面的重物不会移动,这使得附着在重物上的笔可以画出记录地面运动的波形。人工智能模型可以探测到同时发生的几个不同的地震,然后推断出每个地震的震级和强度的细节。同样,笛福兹的系统分析并分离出一首歌曲的本来面目,而不是根据预先设定的声谱图结构来分割它。

笛福兹解释说,构建这个系统需要克服一系列复杂的技术挑战。

他首先使用了Wave-U-Net(https://github.com/f90/Wave-U-Net)的底层架构,这是一个为音乐源分离开发的早期人工智能波形模型。但是他有很多工作要做,因为声谱图模型的表现优于Wave-U-Net。他通过添加线性单元来微调波形网络中分析模式的算法参数。笛福兹还增加了长短期记忆,这种结构允许网络处理整个数据序列,如一段音乐或一段视频,而不仅仅是一个数据点,如图像。笛福兹还提高了Wave-U-Net的速度和内存使用率。

这些修改帮助Demucs在一些重要方面胜过Wave-U-Net,比如它如何处理一种声音压倒另一种声音的问题。“你可以想象一架飞机起飞,引擎噪音会淹没一个人的声音,”笛福兹说。

以前的波形模型,通过简单地移除原始音频源文件的一部分来处理这个问题,但是它们不能重建丢失材料的重要部分。笛福兹增强了Demucs解码器的能力,“Demucs可以重新创建它认为存在但却迷失在混音中的音频。” 这意味着他的模型可以重新合成可能被响亮的铙钹声丢失的柔和的钢琴音符,因为它理解应该呈现什么样的声音。

这种重构和分离的能力使Demucs比其他波形模型有优势。笛福兹说,Demucs已经与最好的波形技术相匹配,并且“远远超出”最先进的声谱技术。

在盲听测试中,38名参与者从50首测试曲目中随机抽取8秒钟进行听音,这50首曲目由三个模型分开:Demucs、领先波形、频谱图技术。听众认为Demucs在质量和无伪影(如背景噪音或失真)方面表现最佳。

Demucs已经引起了人工智能爱好者的兴趣,精通技术的读者可以从GitHub下载Demucs的代码(https://github.com/facebookresearch/demucs)。代码用MusDB数据集来分离音乐源。

笛福兹解释说,随着Demucs的发展,它将为人们在家中创作音乐的数字音频工作站带来声音的真实性。这些工作站提供了能够唤起特定时代或风格的合成仪器,通常需要对原始硬件进行大量的数字化改造。

想象一下,如果音乐源分离技术能够完美地捕捉20世纪50年代摇滚歌曲中用电子管放大器演奏的老式空心体电吉他的声音。Demucs让音乐爱好者和音乐家离这一能力更近了一步。

via:https://tech.fb.com/one-track-minds-using-ai-for-music-source-separation/

人工智能 机器学习 技术
上一篇:你可能会错过的3个重要AI趋势 下一篇:客户参与的5个主要人工智能趋势
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

专家级机器学习工具推荐,快来get专家同款!

如今,大量的机器学习工具、平台和软件不断涌现,面对纷繁复杂的工具,难免会挑花了眼。本文将介绍专家们最常用的15个机器学习工具,不如来get专家同款工具吧!

读芯术 ·  23h前
AI将重新定义应用程序及支持应用程序/基础结构的管理模式

智能运维平台运用AI及ML技术,从监测数据中获取洞见,通过强化人工决策推进自动化解决方案。

读芯术 ·  2天前
新AI算法能监测全球海洋塑料垃圾

英国《科学报告》杂志23日发表的一项环境学研究,英国人工智能团队报告了一种能检测海洋环境中大塑料(大于5毫米)漂浮垃圾带的新方法。研究人员利用欧洲空间局“哨兵2”号卫星数据,训练机器学习算法将塑料从其他材料中区分出来,平均准确率达86%,局部区域最高达到了100%。

张梦然 ·  2天前
如何加快疫苗生产?答案在技术领域而非医学领域

深度学习推动了语音识别、图像检测、面部识别甚至药物研发等创新技术的发展。在加快COVID-19有效疫苗的研发进程方面,深度学习依然扮演者重要角色。

读芯术 ·  2天前
疫情肆虐,AI如何抗击二战以来最严重的的全球危机?

新冠疫情可能是二战以来最严重的全球危机了,它已经给全世界造成了极大的破坏。而不同历史上的抗疫,这一次,科技手段成为对抗疫情的中坚力量,其中也包括AI,人工智能技术在此次疫情中展现出了全新的价值。

读芯术 ·  2天前
Science子刊:人脑存在加速学习机制,算力赛过最新AI算法

机器学习虽然受人脑启发,但实验神经科学和ML两个学科已经70年没有沟通。以色列交叉学科团队发现,人脑存在加速学习适应机制,新机制人工神经网络计算能力远超最新AI算法。

佚名 ·  2天前
一美分硬币能装30000个?康奈尔大学研发「草履虫」传感器可植入人体

康奈尔大学纳米电子学的研究人员最近开发出了一种微型传感器,非常微小,可以在一美分硬币的一面安装3万个。团队论文,「使用光学无线集成电路的微型传感器」,4月17日发表在美国国家科学院院刊上。

佚名 ·  2天前
西雅图港是如何使用机器学习技术简化航空货运业务流程的

在西雅图塔科马国际机场的政府机构航空货运团队正在利用人工智能和计算机视觉技术进行对象检测和分类,以提高运营效率。

Thor Olavsrud ·  2天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载