goscws 中文分词器 goscws

jmrs • 2691 次点击    
这是一个分享于 的项目,其中的信息可能已经有所发展或是发生改变。
## golang goscws中文分词 scws是一个很好的中文分词库,由于项目中用到scws分词但go语言没有很好用的绑定,于是就自己 写了goscws,并且他支持协程分词。 ## 例子: 根据 SendText 设定的文本内容,返回一系列切好的词汇 ``` gs := goscws.NewScws() gs.SetCharset("utf8") err := gs.SetDict("/usr/local/scws/etc/dict.utf8.xdb", goscws.SCWS_XDICT_MEM) if err != nil { log.Println(err) } err = gs.SetRule("/usr/local/scws/etc/rules.utf8.ini") if err != nil { log.Println(err) } err = gs.SetIgnore(0) if err != nil { log.Println(err) } text := []byte(`陈凯歌并不是《无极》的唯一著作权人,一部电影的整体版权归电影制片厂所有。`) gs.SendText(text, len(text)) for res := gs.GetResult(); res != nil; res = gs.GetResult() { log.Println(string(res.Word), res.Idf, string(res.Attr)) } gs.DeleteScws() ``` ​ 根据 SendText 设定的文本内容,返回系统计算出来的最关键词汇列表 ​ ``` gs := goscws.NewScws() gs.SetCharset("utf8") err := gs.SetDict("/usr/local/scws/etc/dict.utf8.xdb", goscws.SCWS_XDICT_MEM) if err != nil { log.Println(err) } err = gs.SetRule("/usr/local/scws/etc/rules.utf8.ini") if err != nil { log.Println(err) } err = gs.SetIgnore(0) if err != nil { log.Println(err) } text := []byte(`陈凯歌并不是《无极》的唯一著作权人,一部电影的整体版权归电影制片厂所有。`) gs.SendText(text, len(text)) for res := gs.GetTops(); res != nil; res = gs.GetTops() { log.Println(string(res.Word), res.Weight, res.Times, string(res.Attr)) } gs.DeleteScws() ``` 根据SendText 设定的文本内容,返回系统中词性符合要求的关键词汇 ``` gs := goscws.NewScws() gs.SetCharset("utf8") err := gs.SetDict("/usr/local/scws/etc/dict.utf8.xdb", goscws.SCWS_XDICT_MEM) if err != nil { log.Println(err) } err = gs.SetRule("/usr/local/scws/etc/rules.utf8.ini") if err != nil { log.Println(err) } err = gs.SetIgnore(0) if err != nil { log.Println(err) } text := []byte(`陈凯歌并不是《无极》的唯一著作权人,一部电影的整体版权归电影制片厂所有。`) gs.SendText(text, len(text)) for res := gs.GetWords([]byte("n")); res != nil; res = gs.GetWords( []byte("n")) { log.Println(string(res.Word), res.Weight, res.Times, string(res.Attr)) } gs.DeleteScws() ```
授权协议:
MIT
开发语言:
goc 查看源码»
操作系统:
linux windows mac
2691 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传