Node.js

10GB 이상의 CSV 파일을 처리하다가 메모리 부족 오류에 직면했다. fs.readFile 대신 스트림을 활용해 메모리 사용량을 1/20로 줄이고 처리 시간도 단축시킨 과정을 정리했다.

단일 스레드인 Node.js에서 이미지 리사이징 작업이 서버 전체를 블로킹하는 문제가 발생했다. Cluster 모듈과 Worker Threads를 조합해 CPU 집약 작업을 분리 처리하도록 개선했다.

이미지 리사이징 API에서 동시 요청 시 응답 시간이 급격히 느려지는 문제가 있었다. Node.js 12에서 stable로 전환된 Worker Threads를 도입해 메인 스레드 블로킹을 해결했다.

사용자 데이터 마이그레이션 작업 중 10GB 크기의 CSV 파일을 메모리 오버플로우 없이 처리해야 했다. Node.js 스트림을 활용해 일정 메모리 내에서 안정적으로 처리한 경험을 정리했다.

프로덕션 환경에서 Node.js 서버의 메모리 사용량이 지속적으로 증가하는 문제를 겪었다. heapdump와 Chrome DevTools를 활용해 원인을 찾아 해결한 과정을 기록한다.

프로젝트에서 이미지 업로드 기능을 구현하면서 multer를 사용하게 되었다. 파일 크기 제한, 파일 타입 검증, S3 업로드까지 처리하는 과정을 정리했다.

500MB 이상의 CSV 파일을 처리하다가 메모리 부족 에러가 발생했다. Node.js 스트림을 활용해 메모리 효율적으로 처리하는 방법을 정리했다.

100MB가 넘는 CSV 파일을 처리하다가 메모리 부족 에러가 발생했다. Stream API를 활용해 메모리 효율적으로 파싱하는 방법을 정리했다.

5GB 크기의 CSV 파일을 메모리 오버플로우 없이 처리해야 했다. Node.js 스트림 API를 사용해 일정한 메모리 사용량으로 문제를 해결한 과정을 기록한다.

사용자 데이터 마이그레이션 작업 중 50GB 규모의 CSV 파일을 처리해야 했다. 메모리 효율적인 스트림 기반 처리 방식을 적용한 경험을 정리했다.