实例介绍
【实例简介】
Kaldi单音素GMM学习笔记。从原理、脚本、程序和类四个方面介绍单音素GMM和Kaldi代码。Kaldi单音素GMM学习笔记。从原理、脚本、程序和类四个方面介绍单音素GMM和Kaldi代码。Kaldi单音素GMM学习笔记。从原理、脚本、程序和类四个方面介绍单音素GMM和Kaldi代码。
图1 目目目目 equence 720587 HMM- stave sequence) (为,… 列一,更d=对仰 5MA:时AMA和E数D么 (0)当而考也92(=,)一1)=(,6) 步依函型多( P=y)) p(|B)-)=1.2…,Mk=2…k k 2k0(|)-P( M“计第算一的何型多 水= 2方 k=),2…,K 乙 2D(》 k=12,…K 2 J k ak k=1,2,…,k k为分个多,N力观测个 脚本 kaldi的 github分支kad-5.0里,egs/wsj/s5/ steps路径下的 train mono.sh Usage: steps/train mono. sh [options] <data-dir> <lang-dir> e.g.: steps/train mono. sh data/train. lk data/lang exp/mono <exp-dir> 初始化单音素模型。调川gmm-init-mono,生成0.md1、tree。 编译训练时的图。调用 compile- train- graph生成中每句抄本对应的 ,存放在fsts.JCB.qz中 第一次对齐数据。调用a1ign- equal- stats-a1i生成对齐状态序列,通过 管道传递给qmm-acc- stats-a1i,得到更新参数时用到的统计量 第一次更新模型参数。调川gmm-est更新模型参数 进入训练模型的主循环:在指定的对齐轮数,使用grm- align- compiled 对齐特征数据,得到新的对齐状态序列:每轮都调用gmm-ace- stats- ali计算更新模型参数所用到的统计量,然后调用gmm-est更新模型参 数,并且在每一轮中增加的分量个数。 程序 gmm-init-mono 作用:初始化单音素 Usage: gmm-init-mono <topology-in> <dim> <model -out> <tree ○ut> e. g: gmm-init-mono topo 39 mono mdl mono tree 计算所有特征数据每一维特征的全局均值、方差 读取文件,创建共享音素列表(根据 ,根据共 享音素列表创建 (相当于 每一组共享音素的一个状态对应一个。对每一个状态,创建只有一个分 量的 该 的均值初始化为全局均值、方差初始化为全局方差。 (实际上,此时表示 的类是 ,该对象根据多维高斯分布的 公式和对角协方差矩阵的特殊性,为∫方便计算,直接保存的参数并不是均 值、方差,而是方差的逆(实际就是方差矩阵每个元素求倒数)、均值方差 的逆,还提前计算并保存了公式中的常数部分(文件部分的 <GCONSTS>) 根据 和创建转移模型。将转移模型 声学模型写到 0.d1 将 写到tree compile-train-graphs Usage: compile-train-graphs [options] <tree-in> <model-in> Klexicon-fst-in><transcriptions-rspecifier> < graphs-wspe cifier> e. g: compile-train-graphs tree 1. mdl lex fst ark: train. tr a ark: graphs. fsts 该程序的输出是ark格式的 graphs.fsts(存为exp/mono/fst.JOB.gz),包含 train.tra中的每个 utt-id的FST,FST由无转移概率的HCLG组成。 暂时不用扣WFST相关的细节,只要明白这一步对于整个训练过程用什么用 就可以了,后面专攻WFST部分代码的时候可以把每个阶段与WFST相关的部分 串起来。 生成与音频特征对齐的HMM状态序列时要用到每句话的FST。 align-equal-compiled Usage: align-equal-compiled <graphs-rspecifier> features- specifier> <alignments-wspccifier> e.g.: align-equal-compiled 1 fsts scp: train scp ark: equal 对每一句话,根据这句话的特征和这句话的,生成对应的对齐状态序列 gmm-acc-stats-ali 作用 Usage: gmm-acc-stats-ali [options] <model-in><feature-rsp ecifier> <alignments-rspecifier> <stats-out> e.g.: gmm-acc-stats-ali 1 mdi scp:train scp ark:l.ali lac 对于每一帧的特征和其对齐 对于转移模型(),累积出现的次数; 对于,由得到,也就是找到对应该 的 对象, 更新与该 对象相关的 的参数,也就是计算得到 三个 参数更新公式的分了部分(包括每一混合分量的后验 ( occupancy中保存=1k)、每分量的后验乘以当前帧的特征 mean accumulator中保存=1ky,维、每一分量的后验乘以当 前帧的特征每一维的平方 variance accumulator中保存∑}y=1ky2, 维) 处理完所有数据后,将和的累积量写到一个文件中:×.JOB.acc中 gmm-sum-aCCs ginun-acc-stats-ali 生成的累计量分散在个文件中,该程序将分散的对 同 的累计量合并在一起 gmm-est 作用 Usage: gmm-est [options <model-in> <stats-in> <model-ou gmm-est 1 mdi l acc 2. mdl 主要分两部分,一部分更新 ,一部分更新 更新转移模型:根据qmm-acc- stats-a1i统计的出现的次数,做一个除法 就可以更新转移概率矩阵。 更新9mm-acc- stats-a1i已经得到了三个参数更新公式的分子 部分,方差累积量只需要减去更新后的均值的平方即可得到正确的方差更新公 式。分母部分也已几乎得到,做一个简单的除法就可以更新 的分量概 率、均值、方差。调用 更新 的参数,然后在 该函数里调用 更新每 的参数,然后在后一个 数里更新每一个分量的参数。 类 Diaggmm 保存一个⑤MM的参数,包括分量权值 weights_、均值、方差、每一分量高斯分 布里的常量部分取og后的数值 gconsts_。注意均值和方差为了方便计算,保存 的并不是原原本本的均值、方差,而是方差每一元素求倒数后的 inv vars、均值 乘以 Inv vars后的 means invvars Diaggmm Normal 对应于 Diaggmm的标准形式的GMM,保存一个GMM原原本本的参数:分量权 重 weights_,均值 means_,方差vars_。 AmDiag Gmm 保存所有的GMM。 AccumDiag Gmm 对应于 Diaggmm,保存参数更新时所需的累积量 Num comp:混合分量个数M n_:特征维数 Occupancy:M个元素,每个元素是∑y=1k Mean accumulator:MXD维,每一行是∑/=1ky Variance accumulator:MXD维,每一行是∑=1y2 AccumAmDiag Gmm 对应于 Am Gmm,保存所有的 Accum Diag Gmm。 Transition Model 保存HMM拓扑,log转移概率, transition-id、 transition- state、 triplets( phone,hmm state, forward-pdf)等之间的映射。 作者:许开拓 日期:写于2017-03-16~03-17 联系方式:540262601@qq.com 【实例截图】
【核心代码】
Kaldi单音素GMM学习笔记。从原理、脚本、程序和类四个方面介绍单音素GMM和Kaldi代码。Kaldi单音素GMM学习笔记。从原理、脚本、程序和类四个方面介绍单音素GMM和Kaldi代码。Kaldi单音素GMM学习笔记。从原理、脚本、程序和类四个方面介绍单音素GMM和Kaldi代码。
图1 目目目目 equence 720587 HMM- stave sequence) (为,… 列一,更d=对仰 5MA:时AMA和E数D么 (0)当而考也92(=,)一1)=(,6) 步依函型多( P=y)) p(|B)-)=1.2…,Mk=2…k k 2k0(|)-P( M“计第算一的何型多 水= 2方 k=),2…,K 乙 2D(》 k=12,…K 2 J k ak k=1,2,…,k k为分个多,N力观测个 脚本 kaldi的 github分支kad-5.0里,egs/wsj/s5/ steps路径下的 train mono.sh Usage: steps/train mono. sh [options] <data-dir> <lang-dir> e.g.: steps/train mono. sh data/train. lk data/lang exp/mono <exp-dir> 初始化单音素模型。调川gmm-init-mono,生成0.md1、tree。 编译训练时的图。调用 compile- train- graph生成中每句抄本对应的 ,存放在fsts.JCB.qz中 第一次对齐数据。调用a1ign- equal- stats-a1i生成对齐状态序列,通过 管道传递给qmm-acc- stats-a1i,得到更新参数时用到的统计量 第一次更新模型参数。调川gmm-est更新模型参数 进入训练模型的主循环:在指定的对齐轮数,使用grm- align- compiled 对齐特征数据,得到新的对齐状态序列:每轮都调用gmm-ace- stats- ali计算更新模型参数所用到的统计量,然后调用gmm-est更新模型参 数,并且在每一轮中增加的分量个数。 程序 gmm-init-mono 作用:初始化单音素 Usage: gmm-init-mono <topology-in> <dim> <model -out> <tree ○ut> e. g: gmm-init-mono topo 39 mono mdl mono tree 计算所有特征数据每一维特征的全局均值、方差 读取文件,创建共享音素列表(根据 ,根据共 享音素列表创建 (相当于 每一组共享音素的一个状态对应一个。对每一个状态,创建只有一个分 量的 该 的均值初始化为全局均值、方差初始化为全局方差。 (实际上,此时表示 的类是 ,该对象根据多维高斯分布的 公式和对角协方差矩阵的特殊性,为∫方便计算,直接保存的参数并不是均 值、方差,而是方差的逆(实际就是方差矩阵每个元素求倒数)、均值方差 的逆,还提前计算并保存了公式中的常数部分(文件部分的 <GCONSTS>) 根据 和创建转移模型。将转移模型 声学模型写到 0.d1 将 写到tree compile-train-graphs Usage: compile-train-graphs [options] <tree-in> <model-in> Klexicon-fst-in><transcriptions-rspecifier> < graphs-wspe cifier> e. g: compile-train-graphs tree 1. mdl lex fst ark: train. tr a ark: graphs. fsts 该程序的输出是ark格式的 graphs.fsts(存为exp/mono/fst.JOB.gz),包含 train.tra中的每个 utt-id的FST,FST由无转移概率的HCLG组成。 暂时不用扣WFST相关的细节,只要明白这一步对于整个训练过程用什么用 就可以了,后面专攻WFST部分代码的时候可以把每个阶段与WFST相关的部分 串起来。 生成与音频特征对齐的HMM状态序列时要用到每句话的FST。 align-equal-compiled Usage: align-equal-compiled <graphs-rspecifier> features- specifier> <alignments-wspccifier> e.g.: align-equal-compiled 1 fsts scp: train scp ark: equal 对每一句话,根据这句话的特征和这句话的,生成对应的对齐状态序列 gmm-acc-stats-ali 作用 Usage: gmm-acc-stats-ali [options] <model-in><feature-rsp ecifier> <alignments-rspecifier> <stats-out> e.g.: gmm-acc-stats-ali 1 mdi scp:train scp ark:l.ali lac 对于每一帧的特征和其对齐 对于转移模型(),累积出现的次数; 对于,由得到,也就是找到对应该 的 对象, 更新与该 对象相关的 的参数,也就是计算得到 三个 参数更新公式的分了部分(包括每一混合分量的后验 ( occupancy中保存=1k)、每分量的后验乘以当前帧的特征 mean accumulator中保存=1ky,维、每一分量的后验乘以当 前帧的特征每一维的平方 variance accumulator中保存∑}y=1ky2, 维) 处理完所有数据后,将和的累积量写到一个文件中:×.JOB.acc中 gmm-sum-aCCs ginun-acc-stats-ali 生成的累计量分散在个文件中,该程序将分散的对 同 的累计量合并在一起 gmm-est 作用 Usage: gmm-est [options <model-in> <stats-in> <model-ou gmm-est 1 mdi l acc 2. mdl 主要分两部分,一部分更新 ,一部分更新 更新转移模型:根据qmm-acc- stats-a1i统计的出现的次数,做一个除法 就可以更新转移概率矩阵。 更新9mm-acc- stats-a1i已经得到了三个参数更新公式的分子 部分,方差累积量只需要减去更新后的均值的平方即可得到正确的方差更新公 式。分母部分也已几乎得到,做一个简单的除法就可以更新 的分量概 率、均值、方差。调用 更新 的参数,然后在 该函数里调用 更新每 的参数,然后在后一个 数里更新每一个分量的参数。 类 Diaggmm 保存一个⑤MM的参数,包括分量权值 weights_、均值、方差、每一分量高斯分 布里的常量部分取og后的数值 gconsts_。注意均值和方差为了方便计算,保存 的并不是原原本本的均值、方差,而是方差每一元素求倒数后的 inv vars、均值 乘以 Inv vars后的 means invvars Diaggmm Normal 对应于 Diaggmm的标准形式的GMM,保存一个GMM原原本本的参数:分量权 重 weights_,均值 means_,方差vars_。 AmDiag Gmm 保存所有的GMM。 AccumDiag Gmm 对应于 Diaggmm,保存参数更新时所需的累积量 Num comp:混合分量个数M n_:特征维数 Occupancy:M个元素,每个元素是∑y=1k Mean accumulator:MXD维,每一行是∑/=1ky Variance accumulator:MXD维,每一行是∑=1y2 AccumAmDiag Gmm 对应于 Am Gmm,保存所有的 Accum Diag Gmm。 Transition Model 保存HMM拓扑,log转移概率, transition-id、 transition- state、 triplets( phone,hmm state, forward-pdf)等之间的映射。 作者:许开拓 日期:写于2017-03-16~03-17 联系方式:540262601@qq.com 【实例截图】
【核心代码】
标签：
好例子网口号：伸出你的我的手 — 分享！
相关软件
小贴士
感谢您为本站写下的评论，您的评论对其它用户来说具有重要的参考价值，所以请认真填写。
- 类似“顶”、“沙发”之类没有营养的文字，对勤劳贡献的楼主来说是令人沮丧的反馈信息。
- 相信您也不想看到一排文字/表情墙，所以请不要反馈意义不大的重复字符，也请尽量不要纯表情的回复。
- 提问之前请再仔细看一遍楼主的说明，或许是您遗漏了。
- 请勿到处挖坑绊人、招贴广告。既占空间让人厌烦，又没人会搭理，于人于己都无利。
关于好例子网
本站旨在为广大IT学习爱好者提供一个非营利性互相学习交流分享平台。本站所有资源都可以被免费获取学习研究。本站资源来自网友分享，对搜索内容的合法性不具有预见性、识别性、控制性，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，平台无法对用户传输的作品、信息、内容的权属或合法性、安全性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论平台是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二与二十三条之规定，若资源存在侵权或相关问题请联系本站客服人员，点此联系我们。关于更多版权及免责申明参见 版权及免责申明
网友评论
我要评论