计算机试听

计算机试听（CA）或机器听觉是研究机器理解音频的算法和系统的一般领域。由于机器听觉的概念非常广泛，而且有些模糊，所以计算机试听试图把最初处理具体问题或有具体应用想法的几个学科结合起来。工程师ParisSmaragdis在《技术评论》中接受采访时谈到了这些系统--软件利用声音来定位在房间里移动的人，监测机器是否即将发生故障，或者激活交通摄像头来记录事故。受人类听觉模型的启发，CA处理了表示、转导、分组、使用音乐知识和一般声音语义学的问题，目的是由计算机对音频和音乐信号进行智能操作。在技术上，这需要结合信号处理、听觉建模、音乐感知和认知、模式识别和机器学习等领域的方法，以及更传统的人工智能方法来表示音乐知识。

就像计算机视觉与图像处理一样，计算机试听与音频工程处理的是对音频的理解而不是处理。它也不同于机器的语音理解问题，因为它处理的是一般的音频信号，如自然声和音乐录音。计算机试听的应用范围很广，包括搜索声音、流派识别、声学监测、音乐转录、乐谱跟踪、音频纹理、音乐即兴创作、音频中的情感等等。

计算机试听与以下学科重叠。音乐信息检索：搜索和分析音乐信号之间的相似性的方法。听觉场景分析：理解和描述音频源和事件。计算音乐学和数学音乐理论：采用音乐知识分析音乐数据的算法。计算机音乐：在创造性的音乐应用中使用计算机。机器音乐学：试听驱动的互动音乐系统。研究领域由于音频信号是由人类的耳朵-大脑系统解释的，所以这种复杂的感知机制应该以某种方式在软件中模拟机器聆听。换句话说，为了与人类相提并论，计算机应该像人类那样听到和理解音频内容。准确分析音频涉及多个领域：电气工程（频谱分析、过滤和音频变换）；人工智能（机器学习和声音分类）；心理声学（声音感知）；认知科学（神经科学和人工智能）；声学（声音产生的物理学）；以及音乐（和谐、节奏和音色）。此外，音频转换，如音调移动、时间拉伸和声音对象过滤，应该在感知和音乐上有意义。为了达到最佳效果，这些转换需要对频谱模型、高级特征提取和声音分析/合成的感知理解。最后，对音频文件的内容（声音和元数据）进行结构化和编码，可以从高效的压缩方案中获益，这些压缩方案会舍弃声音中不可闻的信息。音乐和声音感知和认知的计算模型可以导致更有意义的表现，更直观的数字操作和音乐人机界面中的声音和音乐的生成。对CA的研究可以粗略地分为以下几个子问题。表征：信号和符号。这方面涉及时频表示，包括音符和频谱模型，包括模式回放和音频纹理。

特征提取：声音描述符、分割、起音、音高和包络检测、色度和听觉表示。音乐知识结构：音调、节奏和和声的分析。声音相似性：声音之间的比较方法、声音识别、新颖性检测、分割和聚类。序列建模：信号和音符序列之间的匹配和对齐。音源分离：对同时发生的声音进行分组的方法，如多个音高检测和时间频率聚类方法。听觉认知：对情绪、预期和熟悉程度、听觉惊喜的建模，以及对音乐结构的分析。多模式分析：寻找文本、视觉和音频信号之间的对应关系。表示问题计算机听觉处理的音频信号可以用各种方式表示，从直接编码两个或多个通道的数字音频到用符号表示合成指令。音频信号通常以模拟或数字录音的方式表示。