Node.js Stream流实战与踩坑指南

# Node.js Stream 流的实际应用与踩坑指南 ## 前言 在 Node.js 开发中，Stream（流）是一个核心但容易被忽视的概念。很多开发者习惯用 `fs.readFile` 一次性读取文件，却在面对大文件时遭遇内存溢出。今天我们来聊聊 Stream 的实际使用场景和常见坑点。 ## 什么是 Stream Stream 是 Node.js 中处理流式数据的抽象接口。它的核心优势是分块处理数据，而不是一次性加载全部内容到内存中。 Node.js 提供了四种基本流类型： - **Readable** - 可读流，如 `fs.createReadStream` - **Writable** - 可写流，如 `fs.createWriteStream` - **Duplex** - 双工流，可读可写，如 `net.Socket` - **Transform** - 转换流，读写过程中可修改数据 ## 实战案例一：大文件复制 假设需要复制一个 5GB 的日志文件，用 `readFile` 方法会导致内存直接爆掉。正确做法是使用流： ```javascript const fs = require('fs'); const readStream = fs.createReadStream('./large-log.log'); const writeStream = fs.createWriteStream('./large-log-copy.log'); readStream.pipe(writeStream); writeStream.on('finish', () => { console.log('文件复制完成'); }); readStream.on('error', (err) => { console.error('读取失败:', err.message); }); ``` `pipe` 方法会自动处理背压（backpressure），当写入速度跟不上读取速度时，它会暂停读取，避免内存中堆积过多数据。 ## 实战案例二：CSV 数据逐行处理 处理几十万行的 CSV 文件时，逐行读取是关键： ```javascript const fs = require('fs'); const readline = require('readline'); const rl = readline.createInterface({ input: fs.createReadStream('./data.csv'), crlfDelay: Infinity }); let lineCount = 0; rl.on('line', (line) => { lineCount++; const cols = line.split(','); // 处理每一行数据 }); rl.on('close', () => { console.log(`共处理 ${lineCount} 行`); }); ``` ## 常见踩坑点 ### 坑一：忘记处理错误事件 Stream 默认情况下，如果没有监听 `error` 事件，出错时会抛出未捕获异常导致进程崩溃。**务必给每个流加上 `on('error')` 处理**。 ### 坑二：pipe 后不处理 finish `pipe` 是异步的，如果在 `pipe` 之后立即认为文件已经写入完毕而进行后续操作，会导致数据不完整。应监听 `finish` 事件再继续。 ### 坑三：内存泄漏 创建大量流实例且不及时销毁会造成内存泄漏。在高并发场景下，注意及时调用 `stream.destroy()` 释放资源。 ### 坑四：未处理背压 手动调用 `write()` 方法时代码会返回 `false` 表示内部缓冲区已满，此时应暂停写入。忽略这个返回值会导致内存无限增长。 ## 小结 Node.js 的 Stream 是处理大数据的利器。掌握 pipe 机制、错误处理和背压控制，能有效避免内存问题。希望本文的实战案例能帮助你在项目中更好地运用 Stream。 > 如果你有更多 Stream 使用技巧，欢迎在评论区交流！