eFriso中文分词支持库

其他编程 2020-08-01 16:11:02

eFriso中文分词支持库

例如实际上支持 UTF-8 , 我偷懒直接传的文本型所以...
Friso 是使用 c 语言开发的一款开源的高性能中文分词器,使用流行的mmseg算法实现。完全基于模块化设计和实现,可以很方便的植入其他程序中, 例如:MySQL,PHP,源码无需修改就能在各种平台下编译使用,加载完 20 万的词条,内存占用稳定为 14.5M.
同时支持对 UTF-8/GBK 编码的切分...
三种切分模式:
简易模式:FMM 算法,适合速度要求场合。
复杂模式- MMSEG 四种过滤算法,具有较高的岐义去除,分词准确率达到了98.41%。
(!New)检测模式:只返回词库中已有的词条,很适合某些应用场合。(1.6.1版本开始)