gse Go 语言高效分词 gse

vway • 2787 次点击    
这是一个分享于 的项目,其中的信息可能已经有所发展或是发生改变。
Go 语言高效分词, 支持英文、中文、日文等 [词典](https://github.com/go-ego/gse/blob/master/dictionary.go)用双数组trie(Double-Array Trie)实现, [分词器](https://github.com/go-ego/gse/blob/master/segmenter.go)算法为基于词频的最短路径加动态规划。 支持普通和搜索引擎两种分词模式,支持用户词典、词性标注,可运行[JSON RPC服务](https://github.com/go-ego/gse/blob/master/server/server.go)。 分词速度[单线程](https://github.com/go-ego/gse/blob/master/tools/benchmark.go)9MB/s,[goroutines并发](https://github.com/go-ego/gse/blob/master/tools/goroutines.go)42MB/s(8核Macbook Pro)。 To create a new gse application To run the application we just created, you can navigate to the application folder and execute:
授权协议:
Apache
开发语言:
Google Go 查看源码»
操作系统:
跨平台
2787 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传