基于科大讯飞语音识别语音合成

【实例简介】

基于科大讯飞实现的语音识别和语音合成。

可以设置语言类型：普通话、粤语、河南话、英语。

多个发音人可选。可暂停和继续播放。

【实例截图】

【核心代码】

package com.sj.kedaxunfei;

import java.util.HashMap;
import java.util.LinkedHashMap;

import org.json.JSONException;
import org.json.JSONObject;

import com.iflytek.cloud.ErrorCode;
import com.iflytek.cloud.InitListener;
import com.iflytek.cloud.RecognizerListener;
import com.iflytek.cloud.RecognizerResult;
import com.iflytek.cloud.SpeechConstant;
import com.iflytek.cloud.SpeechError;
import com.iflytek.cloud.SpeechRecognizer;
import com.iflytek.cloud.SpeechSynthesizer;
import com.iflytek.cloud.SynthesizerListener;
import com.iflytek.cloud.ui.RecognizerDialog;
import com.iflytek.cloud.ui.RecognizerDialogListener;
import com.iflytek.speech.setting.IatSettings;
import com.iflytek.speech.setting.TtsSettings;
import com.iflytek.speech.util.JsonParser;

import android.annotation.SuppressLint;
import android.app.Activity;
import android.app.AlertDialog;
import android.content.DialogInterface;
import android.content.Intent;
import android.content.SharedPreferences;
import android.os.Bundle;
import android.os.Environment;
import android.text.Editable;
import android.text.TextWatcher;
import android.util.Log;
import android.view.View;
import android.view.Window;
import android.view.View.OnClickListener;
import android.widget.Button;
import android.widget.EditText;
import android.widget.LinearLayout;
import android.widget.Toast;

public class MainActivity extends Activity implements OnClickListener{

private static String TAG = MainActivity.class.getSimpleName();
// 语音听写对象
private SpeechRecognizer mIat;
// 语音听写UI
private RecognizerDialog mIatDialog;
// 用HashMap存储听写结果
private HashMap<String, String> mIatResults = new LinkedHashMap<String, String>();
// 引擎类型
private String mEngineType = SpeechConstant.TYPE_CLOUD;

private Toast mToast;
private SharedPreferences mSharedPreferences;


private EditText et_text;

private Button iat_recognize;
private Button iat_stop;
private Button iat_cancel;

private LinearLayout tts_ll;
private Button tts_play;
private Button tts_cancel;
private Button tts_btn_person_select;
private Button tts_pause;
private Button tts_resume;

//合成
// 语音合成对象
private SpeechSynthesizer mTts;
// 默认发音人
private String voicer="xiaoyan";

private String[] cloudVoicersEntries;
private String[] cloudVoicersValue ;
// 缓冲进度
private int mPercentForBuffering = 0;
// 播放进度
private int mPercentForPlaying = 0;



@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
requestWindowFeature(Window.FEATURE_NO_TITLE);
setContentView(R.layout.activity_main);


initLayout();

// 初始化识别无UI识别对象
// 使用SpeechRecognizer对象，可根据回调消息自定义界面；
mIat = SpeechRecognizer.createRecognizer(this, mInitListener);

// 初始化听写Dialog，如果只使用有UI听写功能，无需创建SpeechRecognizer
// 使用UI听写功能，请根据sdk文件目录下的notice.txt,放置布局文件和图片资源
mIatDialog = new RecognizerDialog(MainActivity.this, mInitListener);


// 初始化合成对象
mTts = SpeechSynthesizer.createSynthesizer(this, mTtsInitListener);
// 云端发音人名称列表
cloudVoicersEntries = getResources().getStringArray(R.array.voicer_cloud_entries);
cloudVoicersValue = getResources().getStringArray(R.array.voicer_cloud_values);
//获取当前应用SharedPreferences对象
mSharedPreferences = getSharedPreferences(TtsSettings.PREFER_NAME, MODE_PRIVATE);

}

@SuppressLint("ShowToast")
private void initLayout(){
mSharedPreferences = getSharedPreferences(IatSettings.PREFER_NAME,
Activity.MODE_PRIVATE);

mToast = Toast.makeText(this, "", Toast.LENGTH_SHORT);

et_text = (EditText) this.findViewById(R.id.et_text);
iat_recognize = (Button) this.findViewById(R.id.iat_recognize);
iat_stop = (Button) this.findViewById(R.id.iat_stop);
iat_cancel = (Button) this.findViewById(R.id.iat_cancel);

tts_ll = (LinearLayout) this.findViewById(R.id.tts_ll);
tts_play = (Button) this.findViewById(R.id.tts_play);
tts_cancel = (Button) this.findViewById(R.id.tts_cancel);
tts_btn_person_select = (Button) this.findViewById(R.id.tts_btn_person_select);
tts_pause = (Button) this.findViewById(R.id.tts_pause);
tts_resume = (Button) this.findViewById(R.id.tts_resume);

iat_recognize.setOnClickListener(this);
iat_stop.setOnClickListener(this);
iat_cancel.setOnClickListener(this);

tts_play.setOnClickListener(this);
tts_cancel.setOnClickListener(this);
tts_btn_person_select.setOnClickListener(this);
tts_pause.setOnClickListener(this);
tts_resume.setOnClickListener(this);

et_text.addTextChangedListener(new TextWatcher() {
@Override
public void onTextChanged(CharSequence s, int start, int before, int count) {
String text = et_text.getText().toString();
if(text != null && text != ""){
tts_ll.setVisibility(View.VISIBLE);
}else{
tts_ll.setVisibility(View.GONE);
}
}

@Override
public void beforeTextChanged(CharSequence s, int start, int count,
int after) {
// TODO Auto-generated method stub
}

@Override
public void afterTextChanged(Editable s) {
// TODO Auto-generated method stub
}
});
}

int ret = 0; // 函数调用返回值

@Override
public void onClick(View v) {
switch (v.getId()) {
// 进入参数设置页面
case R.id.iat_set:
Intent intents = new Intent(MainActivity.this, IatSettings.class);
startActivity(intents);
break;
// 开始听写
// 如何判断一次听写结束：OnResult isLast=true 或者 onError
case R.id.iat_recognize:
et_text.setText(null);// 清空显示内容
mIatResults.clear();
// 设置参数
setParam();
boolean isShowDialog = mSharedPreferences.getBoolean(getString(R.string.pref_key_iat_show), true);
if (isShowDialog) {
// 显示听写对话框
mIatDialog.setListener(recognizerDialogListener);
mIatDialog.show();
showTip(getString(R.string.text_begin));
} else {
// 不显示听写对话框
ret = mIat.startListening(recognizerListener);
if (ret != ErrorCode.SUCCESS) {
showTip("听写失败,错误码：" ret);
} else {
showTip(getString(R.string.text_begin));
}
}
break;
// 停止听写
case R.id.iat_stop:
mIat.stopListening();
showTip("停止听写");
break;
// 取消听写
case R.id.iat_cancel:
mIat.cancel();
showTip("取消听写");
break;

// 选择发音人
case R.id.tts_btn_person_select:
showPresonSelectDialog();
break;
// 开始合成
// 收到onCompleted 回调时，合成结束、生成合成音频
   // 合成的音频格式：只支持pcm格式
case R.id.tts_play:
String text = et_text.getText().toString();
// 设置参数
setTtsParam();
int code = mTts.startSpeaking(text, mTtsListener);
// /** 
// * 只保存音频不进行播放接口,调用此接口请注释startSpeaking接口
// * text:要合成的文本，uri:需要保存的音频全路径，listener:回调接口
// */
// String path = Environment.getExternalStorageDirectory() "/tts.pcm";
// int code = mTts.synthesizeToUri(text, path, mTtsListener);
if (code != ErrorCode.SUCCESS) {
if(code == ErrorCode.ERROR_COMPONENT_NOT_INSTALLED){
//未安装则跳转到提示安装页面
//mInstaller.install();
showTip("安装");

}else {
showTip("语音合成失败,错误码: " code);
}
}
break;
// 取消合成
case R.id.tts_cancel:
mTts.stopSpeaking();
break;
// 暂停播放
case R.id.tts_pause:
mTts.pauseSpeaking();
break;
// 继续播放
case R.id.tts_resume:
mTts.resumeSpeaking();
break;
default:
break;
}

}

private void printResult(RecognizerResult results) {
String text = JsonParser.parseIatResult(results.getResultString());

String sn = null;
// 读取json结果中的sn字段
try {
JSONObject resultJson = new JSONObject(results.getResultString());
sn = resultJson.optString("sn");
} catch (JSONException e) {
e.printStackTrace();
}

mIatResults.put(sn, text);

StringBuffer resultBuffer = new StringBuffer();
for (String key : mIatResults.keySet()) {
resultBuffer.append(mIatResults.get(key));
}

et_text.setText(resultBuffer.toString());
et_text.setSelection(et_text.length());
}

/**
* 听写UI监听器
*/
private RecognizerDialogListener recognizerDialogListener = new RecognizerDialogListener() {
public void onResult(RecognizerResult results, boolean isLast) {
printResult(results);
}

/**
* 识别回调错误.
*/
public void onError(SpeechError error) {
showTip(error.getPlainDescription(true));
}

};

/**
* 听写监听器。
*/
private RecognizerListener recognizerListener = new RecognizerListener() {

@Override
public void onBeginOfSpeech() {
showTip("开始说话");
}

@Override
public void onError(SpeechError error) {
// Tips：
// 错误码：10118(您没有说话)，可能是录音机权限被禁，需要提示用户打开应用的录音权限。
// 如果使用本地功能（语音 ）需要提示用户开启语音 的录音权限。
showTip(error.getPlainDescription(true));
}

@Override
public void onEndOfSpeech() {
showTip("结束说话");
}

@Override
public void onResult(RecognizerResult results, boolean isLast) {
Log.d(TAG, results.getResultString());
printResult(results);

if (isLast) {
// TODO 最后的结果
}
}

@Override
public void onVolumeChanged(int volume) {
showTip("当前正在说话，音量大小：" volume);
}

@Override
public void onEvent(int eventType, int arg1, int arg2, Bundle obj) {
}
};

/**
* 识别参数设置
* 
* @param param
* @return
*/
public void setParam() {
// 清空参数
mIat.setParameter(SpeechConstant.PARAMS, null);

// 设置听写引擎
mIat.setParameter(SpeechConstant.ENGINE_TYPE, mEngineType);
// 设置返回结果格式
mIat.setParameter(SpeechConstant.RESULT_TYPE, "json");

String lag = mSharedPreferences.getString("iat_language_preference",
"mandarin");
if (lag.equals("en_us")) {
// 设置语言
mIat.setParameter(SpeechConstant.LANGUAGE, "en_us");
} else {
// 设置语言
mIat.setParameter(SpeechConstant.LANGUAGE, "zh_cn");
// 设置语言区域
mIat.setParameter(SpeechConstant.ACCENT, lag);
}

// 设置语音前端点:静音超时时间，即用户多长时间不说话则当做超时处理
mIat.setParameter(SpeechConstant.VAD_BOS, mSharedPreferences.getString("iat_vadbos_preference", "4000"));

// 设置语音后端点:后端点静音检测时间，即用户停止说话多长时间内即认为不再输入， 自动停止录音
mIat.setParameter(SpeechConstant.VAD_EOS, mSharedPreferences.getString("iat_vadeos_preference", "1000"));

// 设置标点符号,设置为"0"返回结果无标点,设置为"1"返回结果有标点
mIat.setParameter(SpeechConstant.ASR_PTT, mSharedPreferences.getString("iat_punc_preference", "1"));

// 设置音频保存路径，保存音频格式仅为pcm，设置路径为sd卡请注意WRITE_EXTERNAL_STORAGE权限
mIat.setParameter(SpeechConstant.ASR_AUDIO_PATH, Environment.getExternalStorageDirectory() "/iflytek/wavaudio.pcm");

// 设置听写结果是否结果动态修正，为“1”则在听写过程中动态递增地返回结果，否则只在听写结束之后返回最终结果
// 注：该参数暂时只对在线听写有效
mIat.setParameter(SpeechConstant.ASR_DWA, mSharedPreferences.getString("iat_dwa_preference", "0"));
}

/**
* 初始化监听器。
*/
private InitListener mInitListener = new InitListener() {

@Override
public void onInit(int code) {
Log.d(TAG, "SpeechRecognizer init() code = " code);
if (code != ErrorCode.SUCCESS) {
showTip("初始化失败，错误码：" code);
}
}
};


private int selectedNum=0;
/**
* 发音人选择。
*/
private void showPresonSelectDialog() {

new AlertDialog.Builder(this).setTitle("在线合成发音人选项")
.setSingleChoiceItems(cloudVoicersEntries, // 单选框有几项,各是什么名字
selectedNum, // 默认的选项
new DialogInterface.OnClickListener() { // 点击单选框后的处理
public void onClick(DialogInterface dialog,
int which) { // 点击了哪一项
voicer = cloudVoicersValue[which];
if ("catherine".equals(voicer) || "henry".equals(voicer) || "vimary".equals(voicer)) {
et_text.setText(R.string.text_tts_source_en);
}else {
et_text.setText(R.string.text_tts_source);
}
selectedNum = which;
dialog.dismiss();
}
}).show();

}

/**
* 初始化监听。
*/
private InitListener mTtsInitListener = new InitListener() {
@Override
public void onInit(int code) {
Log.d(TAG, "InitListener init() code = " code);
if (code != ErrorCode.SUCCESS) {
        showTip("初始化失败,错误码：" code);
        } else {
// 初始化成功，之后可以调用startSpeaking方法
        // 注：有的开发者在onCreate方法中创建完合成对象之后马上就调用startSpeaking进行合成，
        // 正确的做法是将onCreate中的startSpeaking调用移至这里
}
}
};

/**
* 合成回调监听。
*/
private SynthesizerListener mTtsListener = new SynthesizerListener() {
@Override
public void onSpeakBegin() {
showTip("开始播放");
}

@Override
public void onSpeakPaused() {
showTip("暂停播放");
}

@Override
public void onSpeakResumed() {
showTip("继续播放");
}

@Override
public void onBufferProgress(int percent, int beginPos, int endPos,
String info) {
// 合成进度
mPercentForBuffering = percent;
showTip(String.format(getString(R.string.tts_toast_format),
mPercentForBuffering, mPercentForPlaying));
}

@Override
public void onSpeakProgress(int percent, int beginPos, int endPos) {
// 播放进度
mPercentForPlaying = percent;
showTip(String.format(getString(R.string.tts_toast_format),
mPercentForBuffering, mPercentForPlaying));
}

@Override
public void onCompleted(SpeechError error) {
if (error == null) {
showTip("播放完成");
} else if (error != null) {
showTip(error.getPlainDescription(true));
}
}

@Override
public void onEvent(int eventType, int arg1, int arg2, Bundle obj) {

}
};

/**
* 合成参数设置
* @param param
* @return 
*/
private void setTtsParam(){
// 清空参数
mTts.setParameter(SpeechConstant.PARAMS, null);
// 根据合成引擎设置相应参数
if(mEngineType.equals(SpeechConstant.TYPE_CLOUD)) {
mTts.setParameter(SpeechConstant.ENGINE_TYPE, SpeechConstant.TYPE_CLOUD);
// 设置在线合成发音人
mTts.setParameter(SpeechConstant.VOICE_NAME,voicer);
}else {
mTts.setParameter(SpeechConstant.ENGINE_TYPE, SpeechConstant.TYPE_LOCAL);
// 设置本地合成发音人 voicer为空，默认通过语音 界面指定发音人。
mTts.setParameter(SpeechConstant.VOICE_NAME,"");
}
//设置合成语速
mTts.setParameter(SpeechConstant.SPEED,mSharedPreferences.getString("speed_preference", "50"));
//设置合成音调
mTts.setParameter(SpeechConstant.PITCH,mSharedPreferences.getString("pitch_preference", "50"));
//设置合成音量
mTts.setParameter(SpeechConstant.VOLUME,mSharedPreferences.getString("volume_preference", "50"));
//设置播放器音频流类型
mTts.setParameter(SpeechConstant.STREAM_TYPE,mSharedPreferences.getString("stream_preference", "3"));

// 设置播放合成音频打断音乐播放，默认为true
mTts.setParameter(SpeechConstant.KEY_REQUEST_FOCUS, "true");

// 设置合成音频保存路径，设置路径为sd卡请注意WRITE_EXTERNAL_STORAGE权限
mTts.setParameter(SpeechConstant.PARAMS,"tts_audio_path=" Environment.getExternalStorageDirectory() "/test.pcm");
}

private void showTip(final String str) {
mToast.setText(str);
mToast.show();
}

}