超级感人的小故事

超级感人的小故事:相关软件包：超链接Mitlm超链接ARPAMitlm只能训练语言模型，而且没有计算句子概率的函数，因此需要自己编写。但是，mitlm可以以arpa格式输出语言模型文件，该格式由python包arpa加载，并且可以使用相关函数计算句子的概率。Mitlm培训模式：仅限汽车/估计-NGRAM-O 2-T$infile\-wc$输出目录/wc。$cat\-WEC$输出目录/WEC。$cat\-wlc$输出目录/wlc。$cat\-WRC$输出目录/WRC。$cat\WL$型号文件\-WV$输出目录/WV。$cat\-逃亡犯其中输出文件：厕所。$catn-“语法计数”WEC。$cat有效n-“gramm计数西城。$catARPA退避lm无线局域网。$cat左分支n-“gramm计数”WRC.$cat右分支n-“gramm计数”值得注意的是wl.$cat文件，它是arpa格式的语言模型。ARPA格式一般如下：ngram贴现概率，ngram，退避概率。下一步是使用arpa包计算句子概率。arpa包基于python3，可以安装在python2.7中，但需要在三个地方进行更改才能运行：第一个是src/arpa/arpa.py中的loadf（）函数def loadf（path，mode=“rt”，encoding=none，model=none，parser=none）：将路径（文本文件）反序列化为python对象。代码：打开（路径，模式=模式，编码=编码）为F：打开（路径）为F时：返回负载（f，model=model，parser=parser）第二个是。/SRC/ARPA/型号/基础。py和/src/arpa/parsers/base。py元类声明分别更改为：Arpamodel类：_元类#arpaparser类：_元类排名第三。/SRC/ARPA/Models/Simple。超级（）呼叫方式的副本：超级（arpamodelSimple，self）uuu init_uuuu（unk=unk）加载arpa语言模型并计算句子概率：进口ARPA型号=ARPA。loadf（“结果/wl.A.H YP）“lm=型号[0]S='B'计算NGRAM概率打印lm。P（S）打印lm。日志计算句子得分打印lm。s（s）打印lm。日志可参考ARPA格式详细信息：超链接http://www.speech.sri.com/projects/srilm/manpages/ngram-format.5.html句子模型的计算方法可以参考arpa包的源代码，也可以参考代码：超链接https://github.com/awni/py-arpa-lmMitlm的资料非常少，似乎没有人维护和更新，也在网上找到了一个教程，但相对简单：超链接http://projects.csail.mit.edu/cgi-bin/wiki/view/sls/mitlmtutorial要了解语言模型，请参考斯坦福大学的课程：超链接http://www.voidcn.com/blog/fkyly/article/p-566909.html你也可以参考宗成清教授的中国科学院课件：网址：http://www.nlpr.ia.ac.cn/cip/ZongReportandLessor/Lessor_-nlp/chp-05.pdf一般来说，语言模型采用平滑法。卡茨折扣法是常用的方法。详细解释可参考：超链接http://blog.pluskid.org/？P=361其他参考文献：超链接http://zhouyichu.com/nlp/language-model/超级感人的小故事