搜狗智能语音之路

搜狗语音交互技术中心|陈伟从移动互联网时代迈向智能时代输入法搜索知音OS深智引擎移动时代智能时代自然交互知识计算手机智能硬件信息深度信息语言是人工智能的核心图像OCR/手写识别语言语音图像生成MT/NLUASRTTS语言是思想和知识的载体语音听写:ASR语音翻译:ASR+MT+TTS语音交互:ASR+NLU+TTS语音识别可以更好提升输入/记录的效率语音听写技术已走向实用法院庭审小说写作视频字幕直播记者采访演讲听写医疗病历记录识别准确率最高可达97%语音识别可以更好提升输入/记录的效率语音听写技术已走向实用语音听写技术落地法院庭审194场次庭审直播50家法院17个省份357场次庭审截止到8月15日语音翻译技术逐渐可用更好服务跨语言的交流视频字幕国际交流出国旅行演讲同传应用场景搜狗语音同传技术1.
大家早上好2.
我叫李磊3.
很高兴认识大家1.
GoodmorningEveryone2.
MynameisLeiLi3.
Nicetomeetyou语音断句/…语音识别机器翻译文本断句/…搜狗语音同传技术+ASR+NLU语音交互产品的不断演进车载+场景智能家居可穿戴设备语音输入法语音搜索手机语音助手(Siri)针对刚需场景提供更自然的交互体验搜狗输入法的大数据+深度学习搜狗搜索能力以及垂直知识语音识别语义理解语音合成机器的耳朵要听准机器的大脑要听懂机器的嘴巴要说清刚需场景下的语音交互产品移动可穿戴车载智能家居搜狗语音深度学习规模演进>1PFlops单卡3TFlops复杂的深度学习算法超强的运算平台超大规模的语音数据DNNCNNLSTMSeq2Seq500小时数万小时搜狗语音深度学习平台通讯、数据传输参数分发与更新梯度计算ASGDMABUMF.
.
.
训练节点训练节点训练节点.
.
.
模型DNNCNNLSTMBLSTMCTC.
.
.
语音是时变+短时平稳的信号帧长帧长帧移第k帧第k+1帧语音的维度时域信号->语谱图语音的短时平稳历史->未来时间频率频带能量端点检测&特征提取MFCCFBANKPLPLPCCPNCC解码器搜狗语音语音数据声学模型文本数据语言模型发音词典训练语音识别整体框架Hand-Crafted->Trainable语音识别-贝叶斯公式输出词序列输入特征矢量音素序列声学模型发音词典语音模型a34132a12a11a22a33a23……………………搜狗语音DNNCNNRNNLSTM….
基于深度神经网络的声学建模搜狗语音LSTM-RNN是声学模型建模的主要结构LSTM-RNN+双向特性HistoryFutureLSTM-RNN+双向特性HistoryFutureLSTM-RNN+频域扩展T-LSTMTF-LSTMLSTM-RNN+多模型融合CTCDNN++LC-BLSTMCNN其他网络结构DeepCNNQRNNTransformer-seq2seq混响噪声风噪近场的语音听写复杂场景下的语音识别问题仍未解决空调噪声混响噪声高噪环境下的语音交互山东大哥视频(老)语音识别:口音、噪声、远场语义理解:多轮对话、纠错容错语音交互:全双工持续交互单点能力->系统整体能力如此搞笑的效果只是口音产生吗语音识别语义理解语音合成今天天气今天晴转多云,15摄氏度…语音增强语音唤醒回波消除声源定位及波束形成多通道离/在线识别语音交互完整链路波束拾音区声源1位置声源2位置抑制区域干扰噪声麦克风阵列混响混响目标语音扬声器回波抑制区域麦克风阵列技术回声消除声源定位波束形成解混响解混响DenoisedspectralfeaturesNoisyspectralfeaturesNoisytime-domainsignal基于深度学习的单通道语音增强STFTDNNfeaturemappingWHATISPOSSIBLEINPRINCIPLEISNOTALWAYSWHATISSIMPLEIN