示爱对联

示爱对联:1.互信息和信息熵的概念2算法流程3代码执行1.互信息和信息熵的概念1.1相互信息相互信息反映了两个变量之间的相互依赖程度。二元互信息是指两个事件之间的相关量，计算公式如下：图像。巴布亚新几内亚互信息值越大，x和y之间的相关性越高，x和y形成短语的概率越高。反之，互信息值越低，x和y之间的相关性越低，x和y之间存在短语边界的概率越高。公式中的x和y是两个相邻的词，p值是其发生的概率。例如，“算法→研究”出现了两次，二阶短语总共有191个，所以p（x，y）=2/191。用同样的逻辑，我们可以算出x的p，y的p。这样，可以计算所有二阶短语的相互信息，并对其进行排序，以获得短语及其mi值和相互信息值。1.2信息熵术语熵表示一个随机变量的不确定性度量。一般来说，如果x是一个具有有限数值的随机变量（或x是离散事件的有限数值的概率场），x的概率是p（x），那么x的熵定义为：图像。巴布亚新几内亚左右熵是指左边界的熵，右边界的熵用多个词表示。左右熵公式如下：图像。巴布亚新几内亚你要做的是，取左边的熵，取一个字符串左边所有可能的单词，然后把它们加起来。如果熵为零，那意味着只有一条路可以走。2算法流程该算法主要选择互信息和熵两种统计信息，从字串的内外边界提取词组。早期的分词、权重、过滤等预处理不说。2.1搜索种子词需要计算的域词（目标域词）和其他域词列表中的词首先按频率排序。然后将目标域词列表和其他域词列表导入到同一数据表中，对两个表中同一词的排名排名值进行划分。根据目标域单词列表中排名比设置的阈值提取单词。采用上述秩比法提取域种子词。最后，我们将目标字段和其他字段共享的频率顺序前5000个字作为该字段的种子字。2.2内边界的确定方法（二阶互信息最有效）从统计学的角度来看，词与词之间的整合程度取决于共现的频率。如果有大量的词串重复匹配，也就是说，它们的共存频率越高，词串的组合就越紧密。因此，高频字串可以是一个完整的多字表达式。详细计算方法如上所述。2.3外边界的确定方法用熵度量，左右熵是指左边界的熵，右边界的熵用多个词表示。示例：w代表n-gram单词串，w=w 1，w 2…W N。A是出现在字符串左侧的所有单词的集合，A是出现在左侧的单词；B是出现在字符串右侧的所有单词的集合，B是出现在右侧的单词。如果单词串的el和er值较大，也就是说，单词串w周围出现的单词越多，w更可能是一个完整的多单词表达式。3代码执行结束示爱对联