Go 语言高效分词, 支持英文、中文、日文等
[词典](https://github.com/go-ego/gse/blob/master/dictionary.go)用双数组trie(Double-Array Trie)实现, [分词器](https://github.com/go-ego/gse/blob/master/segmenter.go)算法为基于词频的最短路径加动态规划。
支持普通和搜索引擎两种分词模式,支持用户词典、词性标注,可运行[JSON RPC服务](https://github.com/go-ego/gse/blob/master/server/server.go)。
分词速度[单线程](https://github.com/go-ego/gse/blob/master/tools/benchmark.go)9MB/s,[goroutines并发](https://github.com/go-ego/gse/blob/master/tools/goroutines.go)42MB/s(8核Macbook Pro)。
To create a new gse application
To run the application we just created, you can navigate to the application folder and execute: