Node.js

매일 밤 100MB 이상의 CSV 파일을 처리하는 배치 작업에서 메모리 부족 에러가 발생했다. Stream API와 pipeline을 활용해 메모리 사용량을 1/10로 줄이고 처리 속도도 개선한 과정을 기록한다.

100만 행 규모의 CSV 파일을 처리하다가 메모리 부족 에러가 발생했다. 파일 전체를 메모리에 올리던 방식을 스트림 기반으로 변경해 문제를 해결한 과정을 정리했다.

월간 정산 배치 작업에서 메모리 부족 에러가 발생했다. 5GB 크기의 CSV 파일을 스트림으로 처리하도록 리팩토링하여 메모리 사용량을 90% 줄였다.

프로덕션 환경에서 발생한 메모리 누수 문제를 스트림 처리 미숙으로 인한 것으로 파악했다. readable 스트림의 이벤트 핸들러를 제대로 정리하지 않아 발생한 문제였다.

100만 건 이상의 CSV 데이터를 처리하는 배치 작업에서 메모리 부족 에러가 발생했다. 파일을 한 번에 읽지 않고 스트림 방식으로 처리하여 메모리 사용량을 1/10로 줄였다.

100GB 규모의 CSV 파일을 메모리 오버플로우 없이 처리해야 하는 상황이 생겼다. fs.readFile 대신 스트림 API를 활용해 메모리 사용량을 98% 줄인 과정을 기록한다.

프로덕션 환경에서 Node.js 애플리케이션의 메모리가 지속적으로 증가하는 문제를 발견했다. heap snapshot과 Chrome DevTools를 활용해 메모리 누수 원인을 찾고 해결한 과정을 기록한다.

프로젝트 규모가 커지면서 팀원마다 다른 .env 파일을 관리하는 게 불편해졌다. 누군가 새로운 환경변수를 추가하면 Slack으로 공유하고, 신규 팀원은 따로 설정 파일을 받아야 했다. dotenv-vault를 도입해서 이 문제를 해결한 과정을 기록한다.

10월에 LTS로 전환된 Node.js 18로 프로젝트를 마이그레이션했다. fetch API 내장과 test runner가 가장 큰 변화였고, 일부 deprecated API 대응이 필요했다.

프로젝트를 Node.js 14에서 18 LTS로 업그레이드하면서 마주친 문제들을 정리했다. fetch API 기본 탑재, OpenSSL 3.0 관련 이슈, 그리고 deprecated된 API들을 처리한 과정을 기록한다.