盘古分词2.3.1.0

盘古分词可以根据词频来解决分词的歧义题目多元分词盘古分词提供多重输入解决分词粒度和分词精度衡量的问题详见eaglet/archive/2008/10/02/.html中文人名识别输入：“张三说切实其实实在理”分词了局：张三/说/的/确实/在理/输入“李三买了一张三角桌子”分词结果：李三/买/了/一张/三角/桌子/详见eaglet/archive/2009/08/19/.html强逼一元分词输入“张三说的确实在理”分词结果：中文。张(0,1)/张三(0,5)/三说的(1,1)/三(1,1)/说(2,5)/的(3,5)/确(4,1)/确实(4,5)/实(5,1)/在(6,1)/在理(6,5)/理(7,1)/繁体中文分词输入"我的選擇"分词结果：看看中文。我/的/選擇/同时输出简体和繁体输入"我的選擇"分词结果：学会分词。我(0,5)/的(1,5)/拔取(2,1)/選擇(2,5)/中文词性输出盘古分词可以将以登录词的中文词性输出给用户，以轻易用户做进一步办理。全角字符维持盘古分词可以识别全角的字母和数字英文分词英文单词平凡都是靠空格等符号盘据，这个斗劲简单，学会中文。盘古分词分英文天然也没有什么问题。英文公用词识别一些英文简写是字母符号混合，或许是字母数字混合，这个分词起来就不能遵从空格符号这样分割了，对待字母符号混合的如U.S.A，只消将这个词录入到字典中，中文。盘古分词就可以分出整词。对于字母和数字混合的，盘古分词会自举动为整词输出。英文原词输出(后续版本提供)英文大大写同时输出(后续版本提供)其他功能停用词过滤对于一些标点符号，连词，你看中文。助词等有功夫须要在分词时过滤掉，盘古分词提供一个StopWord.txt文件，用户只要将需要过滤的词插足到这个文件中，并将停用词过滤启迪掀开，就可以过滤掉这些词。设置分词权值盘古分词可以让用户对如下特性设置自定义权值未登录词权值最完婚词权值次匹配词权值再次匹配词权值强行输出的单字的权值数字的权值英文词汇权值符号的权值强制同时输出简繁汉字时，对比一下中文。非原先文本的汉字输出权值。c。字典管理盘古分词提供一个字典管理工具DictManage议决这个工具，你可以添补，窜改，和删除字典中的单词静态加载字典通过字典工具增加，修改，2。和删除字典中的单词后，维系字典，事实上中文。盘古分词会自动将新的字典文件加载进去，而不需要重新发动。关键词高亮组件Lucene提供了一个关键词高亮组件，但这个组件对中文的支持不是出格好，特别是假若还有多元分词的境况，词组。处理的就更不好。盘古分词提供了一个针对中文和英文的关键词高亮组件PanGu.HighLight，学会v。其对中文的支持要好于Lucene那个高亮组件。中文。同义词输出(后续版本提供)接口及示例在PanGu4Lucene这个包内里有我做的一个盘古+Lucene的简单消息寻找Web示例法度圭臬，