golang 大文件分割

大蓝妹 · · 5475 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。
package main

import (
    "fmt"
    "io/ioutil"
    "math"
    "os"
    "strconv"
)

const chunkSize int64 = 4 << 20

func main() {
    fileInfo, err := os.Stat("test.zip")
    if err != nil {
        fmt.Println(err)
    }

    num := int(math.Ceil(float64(fileInfo.Size()) / float64(chunkSize)))

    fi, err := os.OpenFile("test.zip", os.O_RDONLY, os.ModePerm)
    if err != nil {
        fmt.Println(err)
        return
    }
    b := make([]byte, chunkSize)
    var i int64 = 1
    for ; i <= int64(num); i++ {

        fi.Seek((i-1)*(chunkSize), 0)

        if len(b) > int((fileInfo.Size() - (i-1)*chunkSize)) {
            b = make([]byte, fileInfo.Size()-(i-1)*chunkSize)
        }

        fi.Read(b)

        f, err := os.OpenFile("./"+strconv.Itoa(int(i))+".db", os.O_CREATE|os.O_WRONLY, os.ModePerm)
        if err != nil {
            fmt.Println(err)
            return
        }
        f.Write(b)
        f.Close()
    }
    fi.Close()
    fii, err := os.OpenFile("test.zip", os.O_CREATE|os.O_WRONLY|os.O_APPEND, os.ModePerm)
    if err != nil {
        fmt.Println(err)
        return
    }
    for i := 1; i <= num; i++ {
        f, err := os.OpenFile("./"+strconv.Itoa(int(i))+".db", os.O_RDONLY, os.ModePerm)
        if err != nil {
            fmt.Println(err)
            return
        }
        b, err := ioutil.ReadAll(f)
        if err != nil {
            fmt.Println(err)
            return
        }
        fii.Write(b)
        f.Close()
    }
}

有疑问加站长微信联系(非本文作者)

本文来自:开源中国博客

感谢作者:大蓝妹

查看原文:golang 大文件分割

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:701969077

5475 次点击  
加入收藏 微博
被以下专栏收入,发现更多相似内容
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传