如何在Golang中处理大文件分块读取_Golang 大文件分块读取实践

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

如何在Golang中处理大文件分块读取_Golang 大文件分块读取实践

2025-11-18

浏览次数：次

返回列表

推荐使用分块读取避免内存溢出，Golang中可通过bufio.Reader按缓冲区读取、io.ReadFull严格控制块大小、file.Seek实现偏移读取，适用于日志处理、分片上传与并发读取，需合理设置chunkSize并结合sync.Pool优化性能。

如何在golang中处理大文件分块读取_golang 大文件分块读取实践

处理大文件时，直接一次性读取到内存中会导致内存占用过高，甚至引发OOM（Out of Memory）错误。在Golang中，推荐使用分块读取的方式处理大文件，既能控制内存使用，又能提高程序稳定性。核心思路是利用os.Open打开文件，结合bufio.Reader或io.ReadFull按固定大小的缓冲区逐步读取内容。

1. 使用 bufio.Reader 进行缓冲读取

对于文本类大文件（如日志），可以使用 bufio.Reader 按行或按块读取，避免一次性加载整个文件。

示例：按指定缓冲区大小读取二进制或文本文件

func readInChunksWithBufio(filePath string, chunkSize int) error {
    file, err := os.Open(filePath)
    if err != nil {
        return err
    }
    defer file.Close()

    reader := bufio.NewReader(file)
    buffer := make([]byte, chunkSize)

    for {
        n, err := reader.Read(buffer)
        if n > 0 {
            // 处理当前块：例如写入网络、计算哈希、保存到其他文件等
            processChunk(buffer[:n])
        }

        if err == io.EOF {
            break
        }
        if err != nil {
            return err
        }
    }
    return nil
}

说明：这种方式适合大多数场景，bufio.Reader内部也有缓冲机制，能减少系统调用次数，提升性能。

2. 使用 io.ReadFull 手动控制每次读取大小

当你需要严格控制每一块的大小（比如用于分片上传、校验等），可以使用 io.ReadFull 配合循环读取。

func readWithIoReadFull(filePath string, chunkSize int) error {
    file, err := os.Open(filePath)
    if err != nil {
        return err
    }
    defer file.Close()

    buffer := make([]byte, chunkSize)
    for {
        n, err := io.ReadFull(file, buffer)
        if n > 0 {
            processChunk(buffer[:n])
        }

        if err == io.EOF {
            break
        }
        if err == io.ErrUnexpectedEOF {
            // 最后一块不足 chunkSize
            processChunk(buffer[:n])
            break
        }
        if err != nil {
            return err
        }
    }
    return nil
}

注意：io.ReadFull 会尝试填满整个 buffer，如果剩余数据不足，返回 io.ErrUnexpectedEOF，需特殊处理最后一块。

Whimsical

Whimsical推出的AI思维导图工具

182 查看详情 Whimsical

3. 按起始偏移量随机读取特定块（适用于并发或断点续传）

若需并行处理文件不同部分，或实现断点上传，可通过 file.Seek 跳转到指定位置读取固定长度数据块。

func readAtOffset(filePath string, offset, chunkSize int) ([]byte, error) {
    file, err := os.Open(filePath)
    if err != nil {
        return nil, err
    }
    defer file.Close()

    buffer := make([]byte, chunkSize)
    n, err := file.ReadAt(buffer, int64(offset))
    if err != nil && err != io.EOF {
        return nil, err
    }
    return buffer[:n], nil
}

这个方法可用于将大文件切分为多个片段，分配给不同goroutine处理，但要注意并发访问同一个文件描述符时加锁或每个goroutine单独打开文件。