合肥工业大学课程设计报告

计算机与信息学院 电子信息工程系综合课程设计报告 专 业 班 级 电子信息工程 学生姓名及学号 唐苏雅 2012211810 指导老师 杨学志 课题名称 基于时频分析的乐谱识别系统软件设计 2015年7月17日 一、 课题的基本描述 1．项目背景 在音乐识别方面，十年来，电子音乐已经取得了许多好用性的成果，电子乐器、音乐信号的数字编码、数字压缩、数字存储等技术快速发展，促进了网络会话、数字电视、多媒体等的普及应用。但是，电脑音乐作为一个新学科，其根本目标是要用计算机来模拟人对音乐的认知和创作智能，涉及音乐理论、认知科学、人工智能、信息处理、模式识别、智能限制与自动化等学科，具有很大的难度。应当说，时至今日，在音乐识别方面的探讨还只是刚刚起先，主要应用在音乐检索、旋律哼唱、乐谱识别方面。首先，利用音乐的旋律识别来实现音乐检索得到音乐信息，在KTV以及音乐服务系统中已经得到广泛应用。其次，音乐识别和图像处理的结合也正在蓬勃的发展，美国已经在研制利用图像处理技术识别乐谱图像的内容，生成音乐MIDI文件，此外，各种音乐服务系统、音乐喷泉限制系统、音乐辅导教学系统也取得了很大的进步。 我国语音识别探讨工作起步于五十年头，但近年来发展很快，探讨水平也从试验室逐步走向好用。从1983年起先执行国家863安排后，国家863智能计算机专家组为语音识别技术探讨特地立项，每两年滚动一次。我国语音识别技术的探讨水平己经基本上与国外同步，在汉语语音识别技术上还有自己的特点与优势，并达到国际先进水平。其中具有代表性的探讨单位为清华高校电子工程系与中科院自动化探讨所模式识别国家重点试验室。 在算法设计方面，AsifGhias等人于1995年提出基于内容的音乐检索算法，此项探讨既可在KTV中实现轻松曲目选择，又便于实现网络海量音频数据的高效提取。此后，Lielu等用音高轮廓与音高差、音符长度构成三元组为单位表示旋律进行匹配，通过对音乐特征更详尽的描述以达到更精确的效果。Jyh．Shing RogerJang等采纳分级过滤算法进行分层匹配。Naoko Kosugi等也提出了同时考虑音高和节奏特征的方法。上海交大李扬等提出线性对齐匹配算法。以上算法针对性强且尚需完善。 2．项目目的 录入或打开一段简洁钢琴音乐，本系统可以自动对其进行识别处理并显示出该段音乐的简谱。 3．项目意义 （1）乐谱作为音乐的书面语言，从远古走到现在，使浩如烟海的珍贵古乐曲代代相传，为中华民族承载了珍贵的精神财宝。乐谱对于音乐的学习具有至关重要的作用，有利于从事音乐相关领域的人更好地对音乐作品做到赏析与鉴别，有利于增加大众审美方式。 （2）音乐识别目前仍没有成熟的可好用的算法。特殊是如何解决算法的快速性和精确性的冲突，本次探讨通过时频分析，结合已有的信号处理方法，提出了一些关于音乐识别的新算法，并努力使其在快速性和精确性上有所提高。可以对以后关于音乐识别乃至语音识别方面的探讨供应参考。 二、 课题的基本要求 本次课程设计在创新项目的基础上接着优化，并且增加一些功能。由于创新项目只能对电脑上现有的音乐进行分析，不能实现实时性，因此本次课程设计新加入录音功能，并进行降噪，使之能实时地分析音乐，提高软件的适用性。同时，解决创新项目中存在的软件报错，美化GUI界面。 三、 技术方案及关键问题 1．方法与步骤 通过matlab编写好程序，在GUI中添加须要的组件，全部功能都整合在GUI界面中，通过对按钮的限制来调用函数，实现各个功能。 以下为详细运用步骤 步骤一打开已有WAV文件或进行现场录音自动保存为WAV文件； 步骤二对文件进行傅里叶变换得到频域的数据； 步骤三假如文件中噪声过大，则先进行滤波降噪，再进行傅里叶变换； 步骤四对变换后的声音数据进行分析，得到乐谱； 2．算法选取 考虑到音乐的频谱是不稳定的，其频率是随着时间的变更而变更的，不能仅仅通过频谱分析来进行探讨，故准备通过时频分析来对音乐信号进行识别。目前考虑到的算法有以下几种 （1）短时傅里叶变换（STFT） 为了局部时频分析的须要， Gabor提出了短时傅立叶变换Short Time Fourier Trans，STFT的概念。 给定一信号，其STFT定义为 公式（1） 窗函数应取对称函数。STFT的含义可说明如下 在时域用窗函数去截取信号，对局部信号作傅立叶变换，得在t时刻的傅立叶变换。不断移动窗函数的位置，即可得到不同时刻的傅立叶变换。这些傅立叶变换的集合，即是，因此短时傅立叶变换也称窗口傅立叶变换。 （2）离散时间傅里叶变换（DTFT，时间轴离散，频率轴连续 DTFT定义如下 公式（） 由定义可知，DTFT的频谱是连续的，它能够给出输入信号在随意频率点E的取值。这一点特别重要。虽然DTFT不存在快速算法，但它能够供应输入信号在随意指定频率点上的精确取值，刚此，对于音乐信号分析而言，它比一般的FFT更为有效。 （3）小波变换 定义给定一个基本函数，令 式中a,b均为常数，且a0。明显，是基本函数先作移位再作伸缩以后得到的。给定平方可积的信号xt，即，则的小波变换waveletTrans，WT定义为 式中n，b和t均是连续变量，。确定变换的尺度，b确定变换的位置，即频谱分析中心，因此该式又称为连续小波变换cwT。 特点 由于小波变换的恒Q性质，因此在不同尺度下，时频分析窗的面积保持不变。众所周知，信号中的高频成份往往对应时域中的快变成份，对这一类信号分析时则要求时域辨别率要好，r。此相反，低频信号往往是信号中的慢变成份，对这类信号分析时一般希望频率的辨别率要好，明显，小波变换的特点可以自动满足实际的须要。 综上所述，由于小波变换具有恒Q性质及自动调整对信号分析的时宽或带宽等一系列突出优点，因此被人们称为信号分析的“数学显微镜”。小波变换在音乐识别中被试验证明是一种有效的信号变换方法，特别适合音乐信号的特点。 （4）小波变换与离散时间傅里叶变换的结合 称小波变换取的一小段时间内的频谱为“时间频率”窗，则小波变换具有这样的特点检测高频信号时，“时间频率”窗变窄；检测低频信号时，“时间频率”窗变宽。这与检测高频信号时要求较好的时域辨别率，检测低频信号时要求较好的频域辨别率这一需求相吻合。由此可见，小波分析可以提高我们分析信号的精确度。我们可以考虑用小波变换处理之后再用离散时间傅里叶变换（DTFT）分析。 3．音符分析的详细实现 音符分析要完成的工作主要分为两方面音符识