在往 MySQL 写入大量数据时直接 insert 效率太低,应该使用 MySQL 的 LOAD DATA LOCAL INFILE。
Golang 的 MySQL 驱动 https://github.com/go-sql-driver/mysql 支持这个用法,有用到的朋友可以参考如下代码:
db, err := sql.Open("mysql", conf.DB) byts := &bytes.Buffer{} for _, pv := range stat { line := strings.Join([]string{"field1-data", "field2-data"}, "\x1F") byts.WriteString(line) byts.WriteString("\x1E") } mysql.RegisterReaderHandler("data", func() io.Reader { return io.Reader(byts) }) _, err = db.Exec(`LOAD DATA LOCAL INFILE 'Reader::data' INTO TABLE t_pvlogs CHARACTER SET UTF8 FIELDS TERMINATED BY X'1F' LINES TERMINATED BY X'1E' (field1, field2);`) if err != nil { fmt.Println(err) return } err = db.Close() if err != nil { fmt.Println(err) return }
其中:
- 在 import 包的时候不要用
_
,因为要直接使用 mysql 包 - 设置了字段分隔符为
\x1F
,行分隔符为\x1E
---- EOF ----
有疑问加站长微信联系(非本文作者)