如何用Golang使用bufio高效读写文件_Golang bufio文件读写实践

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

如何用Golang使用bufio高效读写文件_Golang bufio文件读写实践

2025-11-25

浏览次数：次

返回列表

使用bufio包可显著提升Go语言文件读写效率。通过bufio.Reader按行或分隔符读取大文件，减少系统调用；结合Scanner简化文本解析；利用bufio.Writer批量写入并调用Flush刷新缓冲区；综合Reader和Writer实现高效文件复制，适用于大文件处理场景。

如何用golang使用bufio高效读写文件_golang bufio文件读写实践

在Go语言中处理文件读写时，直接使用os.File虽然可行，但在处理大文件或频繁I/O操作时效率较低。引入bufio包可以显著提升性能，它通过缓冲机制减少系统调用次数，是实际开发中的常用做法。

bufio.Reader：高效读取文件内容

使用bufio.Reader可以从文件中按行、按块或按分隔符读取数据，避免频繁的磁盘访问。

常见读取方式包括：

ReadLine()：底层读取单行（不推荐直接使用）
ReadString(delim)：读到指定分隔符为止
ReadBytes(delim)：类似ReadString，返回字节切片
Scanner：配合bufio.Scanner更方便按行读取

示例：按行读取大文件

file, err := os.Open("large.log")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

reader := bufio.NewReader(file)
for {
    line, err := reader.ReadString('\n')
    if err != nil && err != io.EOF {
        log.Fatal(err)
    }
    if len(line) > 0 {
        fmt.Print(line)
    }
    if err == io.EOF {
        break
    }
}

bufio.Scanner：简化文本读取场景

对于按行处理日志、配置文件等场景，bufio.Scanner比Reader更简洁。

它默认以换行符为分隔符，适合大多数文本解析任务。

示例：使用Scanner读文件

file, err := os.Open("data.txt")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

scanner := bufio.NewScanner(file)
for scanner.Scan() {
    fmt.Println(scanner.Text())
}
if err := scanner.Err(); err != nil {
    log.Fatal(err)
}

还可自定义分隔符，比如读取JSON行文件（每行一个JSON对象）：

美图云修

商业级AI影像处理工具

50 查看详情美图云修

scanner.Split(bufio.ScanLines)

bufio.Writer：批量写入提升性能

频繁写文件会导致大量系统调用。bufio.Writer将数据先写入内存缓冲区，满后一次性刷入磁盘。

关键方法：

Write([]byte)：写入字节流
WriteString(s)：写入字符串
Flush()：强制将缓冲区数据写入底层

示例：高效写入多行数据

file, err := os.Create("output.txt")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

writer := bufio.NewWriter(file)
data := []string{"line1", "line2", "line3"}

for _, line := range data {
    _, _ = writer.WriteString(line + "\n")
}

// 必须调用Flush，否则可能丢失数据
if err := writer.Flush(); err != nil {
    log.Fatal(err)
}

缓冲区大小可自定义，默认为4096字节。若写入量大，建议增大缓冲区：

writer := bufio.NewWriterSize(file, 32*1024) // 32KB

综合实践：复制大文件

结合bufio.Reader和bufio.Writer实现高效文件复制。

func copyFile(src, dst string) error {
    s, err := os.Open(src)
    if err != nil {
        return err
    }
    defer s.Close()

    d, err := os.Create(dst)
    if err != nil {
        return err
    }
    defer d.Close()

    reader := bufio.NewReader(s)
    writer := bufio.NewWriter(d)
    buffer := make([]byte, 32*1024)

    for {
        n, err := reader.Read(buffer)
        if n > 0 {
            writer.Write(buffer[:n])
        }
        if err == io.EOF {
            break
        }
        if err != nil {
            return err
        }
    }

    return writer.Flush()
}