使用的库是：github.com/huichen/sego // 载入词典 var segmenter sego.Segmenter //自带的分词库信息 segmenter.LoadDictionary("../github.com/huichen/sego/data/dictionary.txt") // 分词 text := []byte("使用它可以进行快速开发，同时它还是一个真正的编译语言，我们之所以现在将其开源，原因是我们认为它已经非常有用和强大") segments := segmenter.Segment(text) // 处理分词结果 // 支持普通模式和搜索模式两种分词，见代码中SegmentsToString函数的注释。 fmt.Println(sego.Segment...阅读全文
Trie树，又称字典树，前缀树，是一种很常用的树结构，它被广泛用于各个方面，比如字符串检索、中文分词、求字符串最长公共前缀和字典排序等等。 字典树设计的核心思想是空间换时间，所以数据结构本身比较消耗空间。但它利用了字符串的共同前缀（Common Prefix）作为存储依据，以此来节省存储空间，并加速搜索时间。Trie 的字符串搜索时间复杂度为 O(m)，m 为最长的字符串的长度，其查询性能与集合中的字符串的数量无关。其在搜索字符串时表现出的高效，使得特别适用于构建文本搜索和词频统计等应用 字典树的性质 根节点（Root）不包含字符，除根节点外的每一个节点都仅包含一个字符； 从根节点到某一节点路径上所经过的字符连接起来，即为该节点对应的字符串； 任意节点的所有子节点所包含的字符都不相同； 下图...阅读全文
本例使用golang实现词频统计。步骤： （1）从文件中读取一篇文章。 （2）统计词频，按单词出现的频率从大到小进行排序。 （3）写入到文件中。 注：任何非英文字母的符号均认为是单词分隔符（即等同于空格）。 效率：使用本程序统计一篇150W单词的文章，大约需要70ms. 1.核心代码： package wordtest import ( "bytes" "fmt" "io/ioutil" "os" "runtime" "sort" "strings" "time" ) //简单的词频统计任务 func CountTestBase(inputFilePath string, outputFilePath string) { //时间开始点 start := time.Now().UnixNan...阅读全文
做了几个例子， 1. 2位精度内逼近2开方的。 package main import ( "fmt" "math" ) func Sqrt(x float64) float64 { b:=1.00 for z:=1.00;z
( ) () { (.Args) == || .Args[] == || .Args[] == { .(.(.Args[])) .() } frequencyForWord := []{} _filename := (.Args[:]) { (filenamefrequencyForWord) } (frequencyForWord) wordsForFrequency := (frequencyForWord) (wordsForFrequency) } (files []) []{ .== { args := ([](files)) _name := files { matcheserr := .(name)err != { args = (argsname) } matches != ...阅读全文
/** * Go语言词频统计，运行命令go run src/code/main.go test/words.txt * @author unknown * @since 2019-12-18 * 文件内容： hello tom glad to meet you yes me glad to meet you how are you * 输出结果： Word Frequency are 1 glad 2 hello 1 how 1 me 1 meet 2 to 2 tom 1 yes 1 you 3 Frequency → Words 1 are, hello, how, me, tom, yes 2 glad, meet, to 3 you */ package main import ( ...阅读全文
