如何高效快速的读取超大文件

lccc · · 2884 次点击
81G本身就是个死结了. 你需要的是把它分割成小文件然后用分而治之的方法并行处理最后reduce.
#7
更多评论
`mapIPinfo[entity]++` 这行代码惊呆了,我不相信这个东西能正常工作 其次,先说说文件多大,不然你都不知道是你的代码性能低,还是文件太大
#1
请教一下map++怎么不能正常工作了呢, 文件大小在81G左右
#2