现在有一个将近70G大小的文本文件，每行数据以逗号分割，基本上就是csv的格式，大约不到20亿条数据。
现在有一个难题，就是给这些数据入库MySQL。经过一百多个小时入库完成，但是没法用，因为量太大了，查询一次的时间是无法接受的，所以考虑到要分库或者分表，但是有一个问题就是，如何处理这么大的文本呢？想用GO写一个程序来完成分库分表入库的操作，但是首先要面临的问题就是如何打开这么大的文件？
有疑问加站长微信联系（非本文作者）
这是一个创建于 的主题，其中的信息可能已经有所发展或是发生改变。
入群交流（和以上内容无关）：加入Go大咖交流群，或添加微信：liuxiaoyan-s 备注：入群；或加QQ群：692541889
- 请尽量让自己的回复能够对别人有帮助
- 支持 Markdown 格式, **粗体**、~~删除线~~、
`单行代码` - 支持 @ 本站用户；支持表情（输入 : 提示），见 Emoji cheat sheet
- 图片支持拖拽、截图粘贴等方式上传
今日阅读排行
一周阅读排行
关注我
-
扫码关注领全套学习资料
-
加入 QQ 群：
- 192706294（已满）
- 731990104（已满）
- 798786647（已满）
- 729884609（已满）
- 977810755（已满）
- 815126783（已满）
- 812540095（已满）
- 1006366459（已满）
- 692541889
-
- 加入微信群：liuxiaoyan-s，备注入群
- 也欢迎加入知识星球 Go粉丝们（免费）