新闻中心

如何用Node.js处理大文件的流式读写？

2025-10-22
浏览次数：次
返回列表
使用Node.js流可高效处理大文件，避免内存溢出。通过fs.createReadStream和fs.createWriteStream创建读写流，利用pipe方法自动传输数据并处理背压，简化代码且提升稳定性。可在管道中插入Transform流实现数据转换，如文本转大写。需注意监听错误和完成事件，确保健壮性。

如何用node.js处理大文件的流式读写？

处理大文件时，直接读取整个文件到内存中会导致内存溢出或性能严重下降。Node.js 提供了流（Stream）机制，可以实现高效、低内存占用的文件处理方式。通过流式读写，你可以一边读取数据一边处理并写入目标文件，适合处理 GB 级别的大文件。

使用 fs.createReadStream 和 fs.createWriteStream

Node.js 的 fs 模块支持创建可读流和可写流，是处理大文件的基础工具。

下面是一个将大文件从源路径复制到目标路径的示例：

const fs = require('fs');
const path = require('path');

const readStream = fs.createReadStream(path.join(__dirname, 'large-file.txt'));
const writeStream = fs.createWrite7Stream(path.join(__dirname, 'copied-file.txt'));

readStream.on('data', (chunk) => {
  console.log(`读取了 ${chunk.length} 字节的数据`);
  writeStream.write(chunk);
});

readStream.on('end', () => {
  writeStream.end();
  console.log('文件复制完成');
});

readStream.on('error', (err) => {
  console.error('读取错误:', err);
});

writeStream.on('error', (err) => {
  console.error('写入错误:', err);
});

使用 pipe 方法简化流操作

pipe() 是流最常用的优化方式，它能自动处理背压（backpressure），无需手动监听 data 和 end 事件。

用 pipe 改写上面的例子会更简洁且健壮：

魔法映像企业网站管理系统 魔法映像企业网站管理系统

技术上面应用了三层结构，AJAX框架，URL重写等基础的开发。并用了动软的代码生成器及数据访问类，加进了一些自己用到的小功能，算是整理了一些自己的操作类。系统设计上面说不出用什么模式，大体设计是后台分两级分类，设置好一级之后，再设置二级并选择栏目类型，如内容，列表，上传文件，新窗口等。这样就可以生成无限多个二级分类，也就是网站栏目。对于扩展性来说，如果有新的需求可以直接加一个栏目类型并新加功能操作

魔法映像企业网站管理系统 0 查看详情 魔法映像企业网站管理系统 
const fs = require('fs');
const path = require('path');

const readStream = fs.createReadStream(path.join(__dirname, 'large-file.txt'));
const writeStream = fs.createWriteStream(path.join(__dirname, 'copied-file.txt'));

// 自动处理数据流动和错误
readStream.pipe(writeStream);

writeStream.on('finish', () => {
  console.log('文件写入完成');
});

readStream.on('error', (err) => {
  console.error('读取失败:', err);
});

writeStream.on('error', (err) => {
  console.error('写入失败:', err);
});

在流中加入中间处理逻辑

你还可以在读写之间插入转换流（Transform Stream），比如压缩、解压、替换内容等。

例如：边读取边将文本转为大写：

const fs = require('fs');
const path = require('path');
const { Transform } = require('stream');

const uppercaseTransform = new Transform({
  transform(chunk, encoding, callback) {
    callback(null, chunk.toString().toUpperCase());
  }
});

const readStream = fs.createReadStream(path.join(__dirname, 'large-file.txt'));
const writeStream = fs.createWriteStream(path.join(__dirname, 'uppercase-file.txt'));

readStream.pipe(uppercaseTransform).pipe(writeStream);

writeStream.on('finish', () => {
  console.log('转换并保存完成');
});

基本上就这些。利用 Node.js 流机制，你可以轻松应对大文件读写，避免内存问题，同时保持良好的性能表现。关键是使用 createReadStream 和 createWriteStream，配合 pipe 进行高效传输，必要时插入自定义转换逻辑。不复杂但容易忽略细节，比如错误监听和结束事件处理。

以上就是如何用Node.js处理大文件的流式读写？的详细内容，更多请关注其它相关文章！


# 用了  # 龙岗网站建设平台  # 推广思路网站有哪些好的  # seo写作模式  # 寻甸自媒体营销推广招聘  # 手机端百度关键词排名  # 烟台seo搜索推广公司  # 肇庆seo服务公司  # 微商seo引流课  # seo板材多少钱  # 网络营销推广作用  # 如何实现  # 服务端  # 如何使用  # js  # 你可以  # 如何用  # 流式  # 企业网站  # 管理系统  # 大文件  # 内存占用  # stream  # 解压  # 工具  # 字节  # node  # node.js 


相关栏目： 【 科技资讯46185 】 【 网络学院92790 】


相关推荐： 拼多多购物车商品数量无法修改如何处理 拼多多购物车操作优化方法  在J*a中如何在J*a中使用异常机制记录错误日志_异常日志实践经验  CSS如何设置hover状态颜色_hover伪类调整背景或文字颜色  Lar*el用户头像管理：实现图片缩放、存储与旧文件安全删除的最佳实践  KFC早餐时段怎么领特惠代码_KFC早餐订餐优惠代码获取与使用说明  探索高级语言到原生C/C++的转译：挑战与内存管理策略  漫蛙manwa2最新登录网址_漫蛙manwa2手机网页版入口  聚水潭ERP登录页面入口 聚水潭ERP官网登录界面  css卡片内容溢出如何处理_使用overflow隐藏或scroll显示内容  如何优雅地解决Livewire文件上传难题？SpatieLivewireFilepond让一切变得简单  黑猫投诉统一入口官网 消费者权益保护投诉平台  正确连接J*aScript到HTML实现可点击图片与自定义事件处理  Highcharts 雷达图径向轴标签定制指南：利用多Y轴实现数值标注  从J*aScript对象中精确提取指定属性的教程  快速CSGO开箱网站指南 CSGO开箱平台推荐  新三国志曹操传110级星符试炼夏侯渊极难攻略  J*a实现学校排课程序_面向对象结构化项目示例  MongoDB聚合管道：正确匹配对象数组中_id的方法  Windows 11怎么彻底关闭定位_Windows 11服务中禁用Geolocation  小米Civi 4录制视频过暗_小米Civi 4亮度优化  ACG动漫手机版官网入口 手机ACG动漫APP在线观看正版  一加Ace 6T实拍样张首次公布！李杰：主摄实力完全看齐4K档性能旗舰  TikTok搜索结果不显示如何解决 TikTok搜索刷新优化方法  Win10如何清理注册表垃圾 Win10手动清理无效注册表【技巧】  Lar*el DB::listen 事件中的查询执行时间单位解析  单射、满射与双射的关系 一文理清所有逻辑  Go Martini框架：动态服务解码后的图片内容  QQ官网正版登录链接 QQ在线登录入口最新  优化MinIO list_objects_v2 操作的性能瓶颈与最佳实践  wps文字怎么插入目录并自动更新_wps文字如何插入目录并自动更新方法  学习通网页版快速入口 学习通官网网页版直接打开  手机屏幕碎了但能正常使用怎么办 手机外屏碎裂的修复建议  小米汽车11月交付量突破40000台！雷军：将继续努力  《明末：渊虚之羽》设计师谈设计角色：那会刚毕业 充满激情  格力空气能E5故障代码是什么情况_格力空气能E5代码解析与应对措施  在Go开发中优雅管理ListenAndServe进程：GoSublime集成方案  动漫花园资源网使用步骤_动漫花园资源网下载流程  Node.js中HTML按钮与J*aScript函数交互的正确姿势  Python自定义类排序：解决lambda键值访问TypeError的实践指南  漫画星球免费下拉式入口 漫画星球免费漫画在线阅读网站  Windows10怎么开启夜间模式 Windows10系统设置调整色温与亮度缓解夜间用眼疲劳【教程】  在Pyomo中实现基于变量的条件约束：Big-M方法详解  如何在J*a中实现统一对象行为接口_项目大型化时的接口规范化  汽水音乐车机版横屏版7.1 汽水音乐车机版横屏版下载入口  Excel如何用迷你图显趋势_Excel用迷你图显趋势【趋势小图】  抓大鹅无需下载版 抓大鹅秒玩版入口  谷歌学术网站直达地址 谷歌学术搜索网页版一键进入  CSS布局：解决全屏元素100%尺寸与外边距导致的页面溢出问题  解决Rails应用中内容错位与Turbo警告：meta标签误用导致富文本渲染异常  极速漫画官方主页网址 极速漫画漫画在线浏览官网链接 

上一篇：如何用css设置图片随屏幕宽度缩放
下一篇：为什么HTML在线编辑器会卡顿_HTML在线编辑器卡顿原因分析与性能优化

搜索