基于FPGA语音识别系统设计与实现

【实例简介】
基于FPGA语音识别系统设计与实现 基于FPGA语音识别系统设计与实现
广西师范大学硕士学位论文 Design and Implementation of speech Recognition System Based on FPGA Candidate Wang Ming-jian Advisor: Hu Wei-ping professor Speciality Circuit and System Research direction speech signal processing Grade 2006 Abstract In the recent years, research for speech recognition mostly focuses on algori thm design and improvement. With the rapid development of semiconductor technology scale with integrated circuit continuously enlarging, and level of all kinds of deve lopment technique continuously improving, new hardware platform protruding there are a lot of selections on speech recognition platform. Combination with DSP, FPGA, AsIC devices which are embedded systems, speech recognition research gradually looks toward to practical development and miniaturization Based on the research of all kinds of existing speech feature parameters and isolated words speech recognition models, the topic mainly explores the application of dtW model based on dynamic programming in the field of isolated words speech recognition, and combining with SOPC system based on FPGA, realizes a good speech recognition system with accuracy and speed The system adopts sopc technology based on NiOS Il, whole design is based on DE2 devclopment platform. The advantages of using this solution is the implementation of on chip system and reduction of physical volume as well as the total power consumpt ion; meanwhile the systen control core realizes within the FPga device, it could be renewal and updated conveniently, so it increases the generality and maintainability vary much. moreover, because the system needs plenty of highspeed calculation, through the design, the author makes full use of abundant hardware multiplier in Cyclone ii chips, and realizes endpoint detection module of speech signal, FFt rapid fourier transform module, dct discrete cosine transform module and so on. In order to improve whole performance of the system, the author makes full use of highspeed parallel processing advantage of FPGa and II 广西师范大学硕士学位论文 custom-defined hardware components which hangs on the Avalon bus In supportin 18 development environment, enable the system to process digital signal efficiently meanwhile its performance is better than traditional microcontroller and common DSP chips This paper mainly includes the following aspects: (1) In combination with the characteristics of ALTERA CYCLONE II chips, author determined the overall design of speech recognition system Based on FPGA, and carried out systematic software and hardware selection and design on this basis (2) Author independent designed driving circuit design in the pure hardware description language, accomplishing the highspeed speech acquisition, meanwhile extracting the speech data from SRAM and introcucing into MatlaB platform for test and measurement. The way of program testing played an important role to systematic module test (3) Author completd the design of highspeed fixed-point 256 points FFt module, which is the key of success or failure throughout the system, realizing highspeed real-time operation. (4)Author designed man-machine interface with SOPC characteristics, such as suggesting feedback imformation on LCD, designed and finished custom-defined system which can be offered by aLtera' s drivie interfaces (5) Author made the whole systematic measurement, the system can quite stablely realize real-time processing, and has certain market potential value Key wordI FPGA, SOPC, speech recognition, speech acquisition, FFT IP core 论文独创性声明 本人郑重声明:所提交的学位论文是本人在导师的指导下进行的 研究工作及取得的成果。除文屮已经注明引用的内容外,本论文不含 其他个人或其他机构已经发表或撰写过的研究成果。对木文的研究作 出重要贞献的个人和集体,均已在文中以明确方式标明。本人承担本 声明的法律责任 研究生签名: 日期: 论文使用授权声明 本人完全了解广西师范大学有关保留、使用学位论文的规定。广 西师范大学、中国科学技术信息研究所、清华大学论文合作部,有权 保留本人所送交学位论文的复印件和电子文档,可以采用影印、缩印 或其他复制手段保存论文。本人电了文档的内睿和纸质论文的内容相 一致。除在保密期内的保密论文外,允许论文被查阅和借阅,可以公 布(包括刊登)论文的全部或部分内容。论文的公布(包括刊登)投 权广西师范大学学位办办理。 研究生签名: 日期: 导师签名: 口期: 第一章绪论 第1章绪论 第1节课题来源 随着语音识别理论的不断发展,些相关的算法都达到了实用化的阶段,语音识别集 成电路以其价格低,性能好,操作便捷,易于嵌入便携式宀品等诸多优势获得了邝訚的发展 空间。语音识别芯片的发展主要经历了四个阶段:第一阶毀是由多带通滤波器及线性匹配 电路构成的,其早在二十世纪的八十年代初,有一组带通滤波器组成特征提取电路,线性 匹配电路进行模式匹配。第二阶段,由单片机微控制器(ⅦCU)组成的语音识別芯片, 般是八位或十六的微控制器,外围接口电路和存储芯片构成。由于CPU的运算效率不高, 同时加上识別算法比较复杂,精度要求较高,因此此方案实现的指标不会太高。典型的芯 片式1996年美国 Sensory公司生产的RSC-146。第三阶段,由数字信号处理器组成语音识别 系统,其釆用定点16位DSP,外加模数接口以及存储芯片。由于运算都是采用DSP,因此运 算能力强,精度高。常用的DSP芯片有T公司的TMS320C51XX系列,AD公司的ADSP218X系列, DSG公司开发的0AK系列等等。用DSP实现的语音识别系统可以实现孤立词特定人和非特定 人语音识别,其识别词条可以达到中等词汇量。除此之外,用DSP还可以实现说话人识别 以及高质量髙压缩率的语音编解码功能,能实现高品质的语音合成和语音回放系统,这些 都是当前语音识别专用芯片的主流。第四个阶段是将MCU或DSP结合外围接口电路,存储 片集成在一个芯片上的SoPC系统级芯片,只要提供电源就可以实现完成的语音识别,语音 采集回放等功能。这类是最近两年出现的最先进的语音识别芯片,其性价比高,功耗低 最有代表的是 Sensory公司的RSC-364及 Infineon公司的 Uni speechsda8OD51,国内的产品 有华录润声公司TSH-8和TSH-16芯片。 日前市场上面流行的几款语音识别芯片都是属于第四代语音识别芯片,通过内嵌的 DSP来语音特征提取,语音识别算法,同时添加外围器件如AD,存储器,滤波器等,最终 完成完整的语音识别系统13 第2节课题研究的背景与意义 鉴于实际应用,从可接受性,生产成本,实时性能方面,本课题采用了FPGA核心芯片 作为核心运算处理单元,结合 CYCLONE∏芯片的特色,致力于高速的运算处理,把核心算 法用TP核处理,建立全新的SOPC理念的语音识别芯片。 众所周知,语音是人类与外界交流中最方便,最有效的工具,语音识别充分根据说话 人语音波形中反映的基本生理和行为特征的语音参数来确定说话人身份。 语音识别以语音为研究对象,它是语音信号处理的一个重要研究方向,是模式识别的 个分支,涉及到生理学、心理学、语言学、计算札科学以及信号处理等诸多领域,甚不 还涉及到人的体态语言,其最终目标是实现人与机器进行自然语言通信 语音识别的研究工作大约开始于50年代,当时A& T Bell实验室实现了第个可识别 第一章绪论 十个英文数字的语音识别系统—— Audry系统。60年代,计算机的应用推动∫语音识别的 发展。这时期的重要成果是提出了动态规划(DP)和线性预测分析技术(LP),其中后者 较好地解决了语音信号产生模型的问题,对语音识别的发展产生了深远影响。70年代,语 音识别领域取得了突破。在理论上,LP技术得到进一步发展,动态时间归止技术(DTW 基本成熟,特别是提出了矢量量化(VQ)和隐马尔可夫模型(HM理论。在实践上,实 现了基于线性预测倒谱和Dw技术的特定人孤立语音识别系统。80年代,语音识别研究进 步走向深入,其显著特征是HM模型和人工神经元网络(AN)在语音识别中的成功应用。 IN模型的广泛应用应归功于AT&TBel1实验室 Rabiner等科学家的努力,他们把原木艰 涩的HM纯数学模型工程化,从而为更多研究者了解和认识。AN和HM模型建立的语音识 別系统,性能相当。进入90年代,随着多媒体时代的来临,迫切要求语音识別系统从实验 室走向实用。许多发达国家如美国、日本、韩国以及IBM、 Apple、AT&T、NT等著名公司 都为语音识别系统的实用化开发研究投以巨资。 我国语音识别硏究工作一直紧跟国际水平,国家也很重视,并把大词汇量语音识别的 研究列入“863”计划,由中科院声学所、自动化所及北京大学等单位研究开发。鉴于中 国未来庞大的市场,国外也非常重视汉语语音识别的研究。美国、新加坡等地聚集了一批 来白大陆、台湾、香港笭地的学者,研究成果口达到相当高水平。因此,国内除了要加强 理论研究外,更要加快从实验室演示系统到商品的转化 近年来,语音识别研究主要集中在算法设计与改进方面,而随着各种科学、技术的发 展,新的硬件器件的推岀,语音识别实现平台有了更多选择。随着半导休技术的高速发展, 集成电路规模的不断增大与各种开发技术水平的不断提高,语音识别技术在与DSP、FFGA、 ASIC等器件为平台的嵌入式系统结合后,逐渐向小型化、实用化方向发展,应用领域也越 来越大。 语音识别作为一项具有广泛社会效益和经济效益的现代信息技术,虽然已取得一定成 就,但在面临实用化时还存在一系列问题,技术成熟、性能可靠的语音识别系统在国内外 还有很大的研究空间和市场潜力,在识别的精度、速度、鲁棒性与系统的小型化等方面还 有很大改进的空间。为了实现性能优良的语音识别系统,一方面需要对语音识别的理论、 算法进行研究,解决并完善识别过程存在的各种问题,另一方面还应考虑简化系统的复杂 度,从小型化与可实现化等方面设计合适的语音识别系统6 本课题的研究目的是针对语音识别实用化面临的·系列问题,通过对现有各种语音特 征参数与孤立词语音识别模型进行研究的基础上,重点探索基于动态时间规整算法的DTW 模型在语音识别领域的应用,并结合基于FPGA的SOPC系统,在嵌入式平台上实现具有铰好 精度与速度的孤立词语音识別系统。 第一章绪论 第3节论文的内容安排 主要工作 本系统整体设计基于DE2开发平台,采用基于 Nios Ill的SOPC技术。 Nios li软核集成 在FPGA内部,采用这种解决方案的优氐是实现了片上系统,减少了系统的物理体积和总体 功耗;同时系统控制核心都在FGA内部实现,可以极为方便地更新和升级系统,大大地提 高了系统的通用性和可维护性。此外,由手本系统需要大量的高速数据运算,在设计中作 者充分利用了 clone II芯片的丰富的硬件乘法器,实现了语音信号的端点检测模块, FT快速傅立叶变换模块,DCT离散佘弦变换模玦等硬件设计模块。为了提髙系统的整伓性 能,作者充分利用了理A的高速并行的优势,以及配套开发环境中的 Avalon总线自定义硬 件外设,使系统处理数字信号的能力大大提高,其性能优于传统的微控制器和普通DSP芯 片, 二内容安排 本论文主要分为7章: 第1章绪论。主要介绍了语音识別研究的背景、现状、及文章主要内容等。 第2章介绍基于SOP的语音识别系统相关理论基础。主要研究了语音特征参数提取算 法原理,识别方法。 第3章介绍与SOPC的孤立词识别系统相关的硬件平台DE2开发板与软件开发平台 Quartus II7.0的soPC系统开发流程。重点介绍了系统用到的音频采集部分,存储部分, 人机交互液晶显示部分 第4章介绍了基于SOC的孤立词识别系统功能分析与系统整体框架构建。本章主要从 系统角度分析孤立词识别系统的功能与具体任务。 第5章介绍了孤立诃识别系统设计方法实现。主要研究孤立词识别的各功能模块设计 与仿直结果论证。 第6章介绍了系统实现与性能指标分析。本章详细分析了系统的实现性能及系统设计 资源使用情况。 第7章作出工作总结与展望。本章辶要介绍了研究本系统的一些收获与体会,分析设 计过程的个足并提出进一步的改进途径 第二章基于SOPC的语音识别系统相关理论基础 第2章基于SOPC的语音识别系统相关理论基础 第1节语音识别原理和识别系统的组成 语音识别包括两个基本的步骤,一个是系统“学习”或“训练”。这一阶段的任务是 建立声学模型以及进行文法分析的语言模型。另一个是“识別”或“测试”。根据识別系 统的类型选择合适的一种识別方法,采用语音分析方法提取出这种识別方法所需要的语音 特征参数,按照一定的准则和测度与系统模型比对,经过判决后得岀识别结果。一个典型 语音识别系统的实现过程如图1所示 语音输入 特征提取 模式匹配 识别结果 模型库 图1典型语音识别系统 音识别系练,除了包含核心的别程序,语渔入手段、参激外析、标准唑一 型、坷典、文法语言模型等等也是不可或缺的。根据识别结果在实际环境下实现一定的应 用,还必须考虑耐环境技术,用户接口输入和输岀技术等诸多因素。因而,语音识别技术 加上各种外围技术的组合,才能构成个完备的实际应用系统。图2是·般语音识别系统 的组成框图。识别预处理的过程主要是对通过话筒或电话线路输入的语音信号进采样、在 语音检测部分检出有效的语音区间、经过语音参数分析得到特征矢量:在语音识别部分根 据单词字典和文法的约束进行语音特征向量时间序列和语音声学模型的匹配,输出识别结 果;然后把识别出的单词或句子输出给应用部分,或者把识别结果转成控制命令,控制应 用部分的动作。 第二章基于SOPC的语音识别系统相关理论基础 语音信号输入 话筒电话 AD转换 端点检测 参数分析 话者适应(用户设定) 昔音模型↓—模型具」 音识别 了典和 语法 编辑上其 动作 动作定义 应用 图2一般语音识别系统框图 第2节语音信号的数字化和预处理 语音信号的数字化一般包括放大及增益控制、反混叠滤波、采样、Δ/变换及编码( 般就是PCM码);预处理一般包括预加重、加窗和分帧等。当然,在分析处理之前必须检 出有效语音段,即端点检测。 预滤波、采样、AD变换 预滤波的目的一是抑制输入信号含有频率超过∫/2的频率分量(为釆样频率), 以防父生混叠现象,另一个就是抑制50Iz的工频下扰。这样,预滤波器必须是一个带通滤 波器,设其上、下截止频率分别为f和,而通常/=340、f=60-100、采样频 率为=M;当使用要求较高的场合,指标要求相对更加高信号经过预滤波和采 样后,由A/D变化器变成二进制P数字码 AD变换屮要对信号进行量化,量化不可避免地会产生误差。量化后的信号值与实际 值之间的差值称为量化误差。若信号波形的变化足够大或量化间隔△足够小时,可以证明 量化噪声符合下列特征的统计模型:①平稳白噪声过程。②量化噪声与输入信号不相关。 ③量化噪声在量化间隔内均匀分布 若用表示输入语音信号序列的方差,2Xm表示信号的峰值,B表示量化字长, 表示噪声序列的方差,则量化信噪比SNR为 【实例截图】
【核心代码】