Node.js

재택근무로 전환되면서 사용자가 급증했고, 파일 업로드 기능에서 메모리 부족 에러가 발생했다. multer의 메모리 스토리지를 스트림 방식으로 전환해 문제를 해결한 과정을 정리했다.

코로나로 인한 갑작스런 재택근무 전환 후, 프로덕션 서버의 메모리 사용량이 점진적으로 증가하는 문제가 발생했다. 로컬에서 재현이 어려웠지만, Chrome DevTools와 heapdump를 활용해 원인을 찾아낸 과정을 기록한다.

재택근무로 전환하면서 프로덕션 서버에서 메모리 누수 문제가 발견되었다. 원격 환경에서 heapdump와 clinic.js를 활용해 문제를 해결한 과정을 기록했다.

재택근무 전환 후 API 서버 에러 모니터링을 정비하면서 Express 에러 핸들링 구조를 개선했다. 비동기 함수에서 발생한 에러가 제대로 잡히지 않는 문제를 해결한 과정을 정리한다.

Express 서버에서 대용량 파일 업로드 처리 중 메모리 사용량이 급증하는 문제를 겪었다. multer의 설정과 스트림 처리 방식을 개선해 메모리 효율을 높인 과정을 정리했다.

Node.js는 싱글스레드 기반이라 CPU 집약적인 작업에서 병목이 발생한다. Worker Threads를 사용해 대량의 이미지 리사이징 작업을 처리하면서 성능 개선을 경험했다.

사용자 데이터 마이그레이션 작업 중 5GB CSV 파일을 처리해야 했다. 메모리 부족 문제를 Stream API로 해결한 과정을 기록한다.

Promise와 setTimeout을 섞어 쓰다가 실행 순서가 예상과 달라 당황했다. Node.js 이벤트 루프의 페이즈별 동작 방식을 정리하고, microtask queue와 macrotask의 차이를 이해하게 되었다.

10GB 규모의 CSV 파일을 처리하다가 메모리 부족 에러를 만났다. 스트림 기반 파싱으로 전환해서 메모리 사용량을 1/10로 줄인 과정을 기록한다.

50만 건 이상의 CSV 데이터를 처리하다가 메모리 부족으로 서버가 다운되는 문제를 겪었다. Node.js 스트림을 활용해 메모리 사용량을 90% 이상 줄이면서 안정적으로 처리할 수 있게 되었다.