전체

5GB 크기의 CSV 파일을 메모리에 올리지 않고 처리해야 하는 요구사항이 생겼다. Node.js 스트림 API를 활용해 메모리 사용량을 95% 줄이고 안정적으로 처리한 과정을 정리했다.

100MB 이상 CSV 파일 업로드 시 메모리 부족으로 서버가 죽는 문제가 발생했다. 스트림 기반 파싱으로 변경하여 메모리 사용량을 1/10로 줄였다.

React 18의 Concurrent Rendering을 프로덕션에 적용하면서 겪은 시행착오를 정리했다. useTransition과 useDeferredValue를 활용해 검색 UI의 체감 성능을 개선한 과정을 기록한다.

GPT-4 API를 활용해 사내 문서 검색 시스템을 만들었다. 벡터 DB와 임베딩을 활용한 semantic search 구현 과정을 정리했다.

사내 고객 문의 자동 분류 시스템을 구축하면서 프롬프트 관리의 필요성을 느꼈다. 템플릿 기반 프롬프트 시스템을 만들어 유지보수성을 개선한 과정을 기록한다.

매일 밤 100MB 이상의 CSV 파일을 처리하는 배치 작업에서 메모리 부족 에러가 발생했다. Stream API와 pipeline을 활용해 메모리 사용량을 1/10로 줄이고 처리 속도도 개선한 과정을 기록한다.

React Native 0.72로 업그레이드 후 빌드 시 캐시 관련 에러가 발생했다. Metro bundler의 변경된 캐시 정책과 해결 방법을 기록한다.

100만 행 규모의 CSV 파일을 처리하다가 메모리 부족 에러가 발생했다. 파일 전체를 메모리에 올리던 방식을 스트림 기반으로 변경해 문제를 해결한 과정을 정리했다.

레거시 배치 작업에서 순차적으로 처리하던 외부 API 호출을 asyncio로 전환했다. 실행 시간이 12분에서 2분으로 줄어들었고, 코드 구조도 깔끔해졌다.

Node.js 백엔드에서 성능 병목이 발생한 이미지 처리 작업을 Rust로 마이그레이션했다. 소유권 시스템 덕분에 메모리 누수 없이 안전하게 동시성을 구현할 수 있었다.