gse Go 语言高效分词 gse

vway2017-11-17 01:00:04 • 3561 次点击    
这是一个分享于 2017-11-17 01:00:04 的项目,其中的信息可能已经有所发展或是发生改变。

Go 语言高效分词, 支持英文、中文、日文等

词典用双数组trie(Double-Array Trie)实现, 分词器算法为基于词频的最短路径加动态规划。

支持普通和搜索引擎两种分词模式,支持用户词典、词性标注,可运行JSON RPC服务

分词速度单线程9MB/s,goroutines并发42MB/s(8核Macbook Pro)。

To create a new gse application

To run the application we just created, you can navigate to the application folder and execute:

Go efficient multilingual NLP and text segmentation; support English, Chinese, Japanese and others.Read More

Latest commit to the master branch on 8-22-2024
Download as zip
授权协议:
Apache
开发语言:
Google Go 查看源码»
操作系统:
跨平台
3561 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传