Node.js

100MB 이상의 CSV 파일을 처리하다가 메모리 부족 에러가 발생했다. fs.readFile로 전체를 읽지 않고 스트림을 사용해 해결한 과정을 기록한다.

5GB 규모의 CSV 파일을 메모리 오버플로우 없이 처리해야 하는 상황이 생겼다. Node.js 스트림을 활용해 메모리 효율적으로 파일을 읽고 가공하는 방법을 정리했다.

프로덕션 환경에서 발생한 메모리 누수 문제를 heapdump와 Chrome DevTools로 추적했다. EventEmitter 리스너 해제 누락이 원인이었다.

수백 MB급 CSV 파일을 메모리에 올리지 않고 처리하는 방법을 정리했다. 스트림 API를 사용해 메모리 사용량을 90% 이상 줄일 수 있었다.

200MB가 넘는 CSV 파일을 한번에 읽다가 메모리 부족 에러를 만났다. 스트림 기반 파싱으로 전환해 메모리 사용량을 1/10로 줄인 과정을 기록한다.

10GB 규모의 CSV 파일을 메모리 오버플로우 없이 처리해야 하는 요구사항이 생겼다. Node.js의 Stream API를 활용해 메모리 사용량을 1/100로 줄이고 처리 속도도 개선한 경험을 정리했다.

재택근무 환경에서 100GB 규모의 로그 파일을 처리해야 하는 상황이 발생했다. 기존 방식으로는 메모리 부족 오류가 발생해 Node.js 스트림을 활용한 처리 방식으로 전환했다.

재택근무 중 100GB 규모의 CSV 파일 처리 요청을 받았다. 메모리 부족 문제를 스트림 기반 처리로 해결한 과정을 정리했다.

재택근무 중 백오피스 시스템에서 100만 건 이상의 CSV 파일 업로드 시 메모리 부족 오류가 발생했다. 스트림 기반 처리로 전환하여 메모리 사용량을 90% 이상 줄인 과정을 기록한다.

재택근무 전환 후 배치 작업이 늘어나면서 메모리 부족 이슈가 발생했다. 100MB 이상의 CSV 파일을 처리할 때 스트림 API를 활용해 메모리 사용량을 1/10로 줄인 경험을 정리했다.