Backend

재택근무 중 100GB 규모의 CSV 파일 처리 요청을 받았다. 메모리 부족 문제를 스트림 기반 처리로 해결한 과정을 정리했다.

재택근무 중 백오피스 시스템에서 100만 건 이상의 CSV 파일 업로드 시 메모리 부족 오류가 발생했다. 스트림 기반 처리로 전환하여 메모리 사용량을 90% 이상 줄인 과정을 기록한다.

재택근무 전환 후 데이터 처리 파이프라인 개선 작업을 진행했다. 5GB 규모의 CSV 파일 처리 시간을 멀티프로세싱으로 70% 단축시킨 과정을 기록한다.

재택근무 환경에서 외부 API 호출 시 간헐적 타임아웃 문제가 발생했다. Go의 context 패키지를 활용해 요청별 타임아웃과 취소를 구현한 과정을 정리했다.

재택근무 전환 후 레거시 배치 작업의 성능 문제가 불거졌다. 외부 API를 순차 호출하던 Python 스크립트를 asyncio로 전환해 실행 시간을 1/5로 단축했다.

재택근무 전환 후 배치 작업이 늘어나면서 메모리 부족 이슈가 발생했다. 100MB 이상의 CSV 파일을 처리할 때 스트림 API를 활용해 메모리 사용량을 1/10로 줄인 경험을 정리했다.

재택근무 전환 이후 사내 도구 개발을 위해 FastAPI를 도입했다. Flask 대비 타입 힌팅 기반 자동 문서화와 비동기 처리가 인상적이었고, 빠른 프로토타이핑에 적합했다.

재택근무로 전환되면서 사용자가 급증했고, 파일 업로드 기능에서 메모리 부족 에러가 발생했다. multer의 메모리 스토리지를 스트림 방식으로 전환해 문제를 해결한 과정을 정리했다.

코로나로 인한 갑작스런 재택근무 전환 후, 프로덕션 서버의 메모리 사용량이 점진적으로 증가하는 문제가 발생했다. 로컬에서 재현이 어려웠지만, Chrome DevTools와 heapdump를 활용해 원인을 찾아낸 과정을 기록한다.

재택근무 환경에서 마이크로서비스 개발 중 Goroutine 누수 문제를 겪었다. Context 패턴을 적용해 안정적으로 Goroutine을 제어하는 방법을 정리했다.