如何高效快速的读取超大文件

最近需要分析网络流量通过网关的网络连接数，读取系统文件/proc/net/nf_conntrack, 提取protocol, src, dst, dport，然后统计这些数据的条数，打印出最高的20条，大概的代码如下: ```go type Entity struct{ Protocol string Src string Dst string Dport string } mapIPinfo := make(map[Entity]int) f, err := os.Open(filename) reader, err := bufio.NewReader(f) for(reader.Scan()){ var entity Entity line := reader.Text() ... //这里对line提取protocol, src, dst, dport放到entity mapIPinfo[entity]++ } ``` 将protocol, src, dst, dport 放到到一个结构体里， 然后将结构体放到一个map中以进行统计和去重。 这样运行后总共要花的时间超过15分钟， 太慢了。 然后我将读取每行改成读取多行，然后放到一个sync.Pool中，使用一个goroutine去提取， 同样也要花8分钟， 也太慢了。 感觉最后对map排序花的时间比较多。 请问大家有没有更好的方法和建议， 谢谢。