GO如何读取和处理超大文本文件呢？
现在有一个将近70G大小的文本文件，每行数据以逗号分割，基本上就是csv的格式，大约不到20亿条数据。 现在有一个难题，就是给这些数据入库MySQL。经过一百多个小时入库完成，但是没法用，因为量太大了，查询一次的时间是无法接受的，所以考虑到要分库或者分表，但是有一个问题就是，如何处理这么大的文本呢？想用GO写一个程序来完成分库分表入库的操作，但是首先要面临的问题就是如何打开这么大的文件...阅读全文
Go语言中文网 为您找到相关结果 2 个
MySQL 亿级数据量水平分库实践
需求背景 水平拆分和垂直拆分一直是最常见的数据库优化方式，笔者所在的部门所使用的数据库一直是主从热备的架构，但数据量在一年前就已经破亿，并以飞快的增长速度不断增加。为了减小数据库的负担，提高数据库的效率，缩短查询时间，水平拆分的工作已经必不可免。 水平拆分带来的问题 而水平拆分必然会带来一些问题，例如原本依赖于数据库自增 id 的主键在分库的场景下，多个分库下 id 做不到全局唯一;引入了分布式事务的问题，如果同一个逻辑事务里，涉及的数据跨多个数据库实例，本地事务将不生效;需要将原本的源库做拆分迁移，如果数据量很大的情况下，不停机的数据迁移也将成为一个难点;引入了跨库聚合的问题，分库分表后，表之间的关联操作将受到限制，就无法 join 位于不同数据库实例的表，结果原本一次查询能够完成的业务，...阅读全文
