GO如何读取和处理超大文本文件呢?

adwin · · 3048 次点击 · 开始浏览    置顶
这是一个创建于 的主题,其中的信息可能已经有所发展或是发生改变。

现在有一个将近70G大小的文本文件,每行数据以逗号分割,基本上就是csv的格式,大约不到20亿条数据。 现在有一个难题,就是给这些数据入库MySQL。经过一百多个小时入库完成,但是没法用,因为量太大了,查询一次的时间是无法接受的,所以考虑到要分库或者分表,但是有一个问题就是,如何处理这么大的文本呢?想用GO写一个程序来完成分库分表入库的操作,但是首先要面临的问题就是如何打开这么大的文件?

有疑问加站长微信联系(非本文作者)

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:1006366459

3048 次点击  
加入收藏 微博
3 回复  |  直到 2016-06-12 13:09:54
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传