Node.js

대량의 이미지 리사이징 API 요청으로 메인 스레드가 블로킹되는 문제가 발생했다. Worker Threads를 도입해 CPU 집약 작업을 병렬화하고 응답 시간을 70% 개선한 과정을 정리했다.

이미지 리사이징 API의 응답 속도 문제를 워커 스레드로 해결한 과정. 메인 스레드 블로킹을 피하고 멀티코어를 활용해 처리량을 3배 높였다.

대용량 파일 처리 API에서 메모리 사용량이 급증하는 문제가 발생했다. 스트림 백프레셔를 제대로 처리하지 않아 생긴 문제였고, pipeline과 Readable.from을 활용해 해결했다.

500MB 이상의 CSV 파일을 처리하면서 메모리 부족 에러가 발생했다. 스트림 기반 파싱으로 전환해 메모리 사용량을 95% 줄인 과정을 기록했다.

10GB 규모의 CSV 파일을 메모리에 올리지 않고 처리해야 하는 요구사항이 생겼다. Stream API를 활용해 메모리 사용량을 98% 줄이고 처리 속도도 개선한 과정을 정리했다.

5GB 크기의 CSV 파일을 메모리 오버플로우 없이 처리해야 했다. fs.readFile 대신 스트림을 활용해 메모리 사용량을 95% 줄인 경험을 기록한다.

Node.js 22로 업그레이드 후 기존 fetch 호출에서 타임아웃 이슈가 발생했다. 기본 타임아웃 정책이 변경되면서 생긴 문제였고, AbortController를 활용해 해결했다.

10GB 이상의 CSV 파일을 메모리 효율적으로 처리해야 하는 요구사항이 생겼다. 기존 방식의 문제점을 파악하고 스트림 기반으로 리팩토링한 과정을 기록한다.

Node.js 22가 LTS 준비 단계에 들어가면서 프로덕션 환경 적용을 위한 성능 테스트를 진행했다. V8 12.4 업그레이드로 인한 성능 개선과 주의할 점들을 정리했다.

10GB 이상의 CSV 파일을 처리하는 배치 작업에서 메모리 부족 오류가 발생했다. Node.js 스트림을 활용해 메모리 사용량을 95% 줄이고 처리 속도도 개선한 과정을 기록한다.