전체

AI 기능이 많아지면서 프롬프트 관리가 어려워졌다. 코드처럼 프롬프트도 버전 관리가 필요하다는 판단에 간단한 시스템을 구축했다.

사내 문서 검색 RAG 시스템 운영 중 토큰 비용이 예상보다 3배 높게 나왔다. 검색된 청크를 LLM에 넘기기 전 리랭킹과 압축 단계를 추가해 비용을 60% 절감했다.

React 19의 Server Actions를 프로덕션에 도입하면서 정리한 form 처리 패턴. 기존 API 라우트 대비 장단점과 실무에서 고려할 점들을 기록했다.

React 19 RC에서 새로 추가된 useActionState 훅을 프로젝트에 적용해봤다. 기존 form 처리 로직을 대폭 단순화할 수 있었지만, 몇 가지 예상치 못한 동작이 있었다.

Node.js의 try-catch에 익숙했던 개발자가 Rust의 Result 타입을 접하며 느낀 점을 정리했다. ? 연산자와 패턴 매칭을 통해 더 명시적인 에러 처리가 가능했다.

사내 문서 검색 RAG 시스템의 검색 정확도가 떨어지는 문제를 청킹 전략 개선으로 해결했다. 고정 크기 청킹에서 의미 기반 청킹으로 전환하고, 오버랩 비율을 조정해 검색 성공률을 35% 개선했다.

비동기 API 호출에 타임아웃을 적용하면서 asyncio.wait_for()의 예상치 못한 동작을 발견했다. CancelledError 처리 시점에 따라 리소스 정리가 제대로 되지 않는 문제가 있었다.

ChatGPT API를 스트리밍 모드로 사용할 때 토큰 사용량을 실시간으로 추적하는 방법을 정리했다. 비용 모니터링과 사용자 경험 개선을 위해 필요한 작업이었다.

대용량 파일 처리 API에서 메모리 사용량이 급증하는 문제가 발생했다. 스트림 백프레셔를 제대로 처리하지 않아 생긴 문제였고, pipeline과 Readable.from을 활용해 해결했다.

배치 작업에서 대용량 데이터 처리 시간이 문제였다. multiprocessing Pool을 활용해 처리 시간을 1/4로 단축했고, 그 과정에서 마주친 직렬화 이슈와 메모리 관리 방법을 정리했다.