Go bufio

bufio通过缓存来提高效率，缓存放在主存中。

Golang的bufio包实现了带缓存的I/O读写操作，用来帮助处理I/O缓存。

通过缓存可以提高效率，把文件读取进缓存（内存）后再读取的时候可避免文件系统的I/O，从而提高速度。同理，当进行写操作时会先把文件写入缓存（内存），然后由缓存写入文件系统。缓冲区的设计目的是为了存储多次的写入，最后一次性将缓冲区内容写入文件。

缓冲原理

为什么bufio性能会比io性能要高呢？

以缓存读为例，当设置好缓冲区大小以及读取字节数和缓冲字节数后。

• 若缓冲区为空，同时读取字节数大于等于缓冲字节数，则直接从文件中读取，即不启用缓冲。
• 若缓冲区为空，同时读取字节数小于缓冲区字节数，则从文件中读取缓冲区字节内容到缓冲区后，程序再从缓冲区中读取内容，此时缓冲区大小会等于缓冲区大小减去缓冲区字节数。
• 若缓冲区不为空，同时读取字节数小于缓冲字节数，则会从缓冲区读取内容，此时不会发生文件I/O。
• 若缓冲区不为空，同时读取字节数大于等于缓冲字节数，则会置空缓冲区，重新读取。

只有当缓冲区中存在内容，同时程序此次读取是从缓冲区读取时不会发生文件I/O。只有当缓冲区为空时，才会发生文件I/O。如果缓冲区大小足够，则会启用缓冲读，先将内容载入填满缓冲区，程序再从缓冲区中读取。如果缓冲区过小，则会直接从文件中读取，而不会使用缓冲读。

以缓冲写为例，当设置为缓冲区大小、写入字节数、缓冲字节数。

bufio

bufio包封装了io.Reader和io.Writer对象，具有缓存和文本读写功能。

bufio包提供了两个New函数NewReader()和NewWriter()，分别在任意io.Reader和io.Writer的基础上再包装一层缓存区得到bufio.Reader和bufio.Writer。

func bufio.NewReader(rd io.Reader) *bufio.Reader

func bufio.NewWriter(w io.Writer) *bufio.Writer

可用于文件I/O操作，先将数据缓存到内存中，再整体做文件I/O操作，尽最大可能地减少磁盘I/O。

bufio.Reader

通过bufio.Reader可从底层的io.Reader中更大批量地读取数据，使读取操作减少。

若数据读取时的块数量是固定合适的，底层媒体设备将会有更好的表现，也因此会提高程序的性能。

io.Reader --> buffer --> consumer

假如：消费者想要从磁盘上读取10个字符，每次读取一个字符。在底层实现上会触发10次读取操作。若磁盘按每个数据块4个字节来读取数据，则bufio.Reader会起到帮助作用。底层引擎会存储整个数据块，然后提供一个可以挨个读取字节的API给消费者。

// 缓存读取器
type Reader struct {
    buf             []byte      // 缓存
    rd              io.Reader   // 底层的io.Reader 
    r, w            int
    err             error       // 读过程中遇到的错误
    lastByte        int         // 最后一次读到的字节      
    lastRuneSize    int         // 最后一次读到的Rune的大小  
}

bufio.NewReaderSize

func bufio.NewReaderSize(rd io.Reader, size int) *bufio.Reader

• NewReaderSize会将rd封装成一个带缓存的buf.Reader对象
• 缓存大小由size指定，若小于16字节则会被设置为16。
• 如果rd的基类型是拥有足够缓存的bufio.Reader类型则直接将rd转换为基类型后返回。

bufio.NewReader

• bufio.NewReader()相当于bufio.NewReaderSize(rd, 4096)

func bufio.NewReader(rd io.Reader) *bufio.Reader

reader.Read

• bufio.Read(p []byte)相当于读取大小为len(p)的内容

func (b *Reader) Read(p []byte) (n int, err error) 

读取思路

1. 当buf缓存区有内容时，将缓存区内容全部填入p并清空缓存区。
2. 当buf缓存区没内容时
   2.1. len(p) > len(buf)，即待读取内容比缓存区要大，直接去文件读取即可。
   2.2. len(p) < len(buf)，即待读取内容比缓存区小，缓存区从文件读取内容充满缓存区，并将p填满，此时缓存区有剩余内容。
3. 再次读取时缓存有内容，则将缓存区内容全部填入p并清空缓存区。

• 缓冲读通过预读，可以在一定程序上减少文件I/O次数以提高性能。

//原始字符串
str := "12345678901234567890123456789012345678901234567890"

//将字符串转换为流式I/O对象
strReader := strings.NewReader(str)

//设置读缓存区大小
bufReader := bufio.NewReaderSize(strReader, 16)//16byte

//缓存读
p := make([]byte, 16)
n,err := bufReader.Read(p)
if err!=nil{
    panic(err)
}

buffered := bufReader.Buffered()
fmt.Printf("buffered:%d, content:%s\n", buffered, p[:n])

buffered:0, content:1234567890123456

当缓存区中有内容时，程序的读取会从缓存区读而不会发生文件I/O。只有当缓存区为空时才会发生文件I/O

若缓存区的大小足够则启用缓存读，先会将内容载入填满缓存区，程序再从缓存区中读取。若缓存区过小则会直接从文件中读取而不使用缓存读

bufio.Writer

多次少量写操作会影响程序性能，因为每次写操作最终都会体现为系统层调用，频繁写操作可能对CPU造成伤害。而且很多硬件设备更适合处理块对齐的数据，比如硬盘。

为减少多次写操作所需的开支，Golang提供了bufio.Writer。

type Writer struct {
    err error
    buf []byte//缓存存储数据
    n   int//缓存内部当前操作的位置
    wr  io.Writer//消费者写入器
}

使用bufio.Writer将不再直接写入目的地（实现了io.Writer接口），而是先写入缓存，当缓存写满后再统一写入目的地。

producer --> buffer --> io.Writer

bufio.Writer底层使用[]byte进行缓存，字段buf用于存储数据，当缓存满或Flush被调用时，消费者wr可以从缓存中读取到数据。若写入过程中发生了I/O error，此error将会被赋给err字段，error发生之后，writer将会停止操作（writer is no-op）。

bufio.Writer默认使用4096长度字节的缓存，可使用NewWriterSize()方法来设置。

有疑问加站长微信联系（非本文作者）