golang的缓存io简单的使用

52zjj · · 2688 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

地址:https://github.com/polaris1119/The-Golang-Standard-Library-by-Example/blob/master/chapter01/01.4.md

上面的地址介绍了基本的使用,以及在readslice的坑上面做了解释。

使用的场景中代码如下,mapreduce中对文件根据map数分块:

// 执行mapreduce前会先将分块来进行处理
func (mr *MapReduce) Split(fileName string) {
	fmt.Printf("Split %s\n", fileName)
	infile, err := os.Open(fileName)
	if err != nil {
		log.Fatal("Split: ", err)
	}
	defer infile.Close()
	// 返回文件的基本信息
	fi, err := infile.Stat()
	if err != nil {
		log.Fatal("Split: ", err)
	}
	// 返回文件的大小
	size := fi.Size()
	// 得到文件每块的大小,按照map数来分块
	nchunk := size / int64(mr.nMap)
	nchunk += 1
	//kjv12.txt-0
	outfile, err := os.Create(MapName(fileName, 0))

	if err != nil {
		log.Fatal("Split: ", err)
	}
	//缓存的io的写操作
	writer := bufio.NewWriter(outfile)
	m := 1
	i := 0
	//一块一块的进行读取;创建一个读取文件的scanner
	scanner := bufio.NewScanner(infile)
	// 存在数据就会一直扫描下去
	for scanner.Scan() {
		if int64(i) > nchunk*int64(m) {
			// 清除原来的缓存
			writer.Flush()
			outfile.Close()
			// 创建第二个write
			outfile, err = os.Create(MapName(fileName, m))
			writer = bufio.NewWriter(outfile)
			m += 1
		}
		// 一行一行的读取数据
		line := scanner.Text() + "\n"
		writer.WriteString(line)
		i += len(line)
	}
	writer.Flush()
	outfile.Close()
}

  

 


有疑问加站长微信联系(非本文作者)

本文来自:博客园

感谢作者:52zjj

查看原文:golang的缓存io简单的使用

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

2688 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传