接口情话

接口情话:最近，我一直在整理上市公司的主要业务产品。该数据将在年度财务报告中公布，但文字不规范，如：汽车玻璃制造、汽车玻璃业务、汽车玻璃生产等，相应产品均为“汽车玻璃”。切割后的文字分为“汽车”和“玻璃”。如何自动确认“汽车玻璃”是一个产品词？以下是短语发现的一些技巧；一旦读到上帝，关于如何找到新词，请访问http://www.matrix67.com/blog/archives/5044；这篇博文非常清晰易懂。综上所述：文本片段的固化度和自由度决定了它是否是一个短语。固化度：如果“电影”不是一个短语，那么“电影”和“电影”之间就不应该有任何关系，它们组合在一起的概率应该是p（电影）*p（电影）。但实际上，P比P*P大得多，“of”与“movie”随机组合的理论概率值接近“of movie”发生的真实概率。因此：“电影院”更可能是一种有意义的组合，“电影院”更可能是“of”和“of”的意外组合。固化度（电影）=min（电影）/p（电），p（电影），p（电影）/p（电影），p（元）固化度（电影）=min（电影）/p（），p（电影），p（电影）/p（电），p（影子）自由度：“生命”文本段可以出现在左字太有限，直观总的来说，认为不分为一个词“生活”，真正的一个词是“永远”，“在我的生活中作为一个整体”。信息熵用于度量文本片段的左邻接词集和右邻接词集的随机性。我们可以将文本片段的自由使用程度定义为左邻词和右邻词信息熵中的较小值。文本片段的凝固度和自由度是必不可少的。如果你只看凝固的程度，你就会发现“巧克”、“罗”、“颜柳色”、“柴可夫”等碎片其实都是“半个字”；只看自由的程度，就会“吃一顿饭”、“读一次”、“睡一晚”、“走”中的“伊”萃取物，因为它留下了一个右邻居太有钱了。接口情话