交叉熵是什么

交叉熵是什么

语言模型的性能通常用交叉熵和复杂度（迅中perplexity）来衡量。交叉熵的意义是用该模型对文本识别的难度，或者从压缩的角度来看，每个词平均要用几个位来编码。　　　　复杂度的意义是用该模型表示这一文本平均的分支数，其倒数可视为每个词的平均概率。平滑是指对没观察到的N元组合赋予一个概率值，以保证词序亩肢山列总能通过语言模型得到一个概率值。通常使用的平滑技术有图灵估计、删除插值平滑、Katz平滑和Kneser-Ney平滑。　　歧义问题的描述和消除问题是制约计算语言学发展的瓶颈问题．将交叉熵引入计算语言学消岐领域．采用语句的真实语义作为交叉熵的训练集的先验信息，将机器翻译的语义作为测试集后验信息。计算两者的交叉熵，并以交叉熵指导对歧义的辨识和消除．实例表明，该方法简洁有效．易于计算机白适应实现．交叉熵不饥袜失为计算语言学消岐的一种较为有效的工具。