AI & API

VS Code에서 Cursor로 IDE를 전환했다. GPT-4 기반 코드 생성과 자동완성이 기존 Copilot과 어떻게 다른지, 실제 업무에 적용하며 느낀 점을 정리했다.

프로덕션에서 OpenAI API를 사용하면서 429 에러를 자주 마주쳤다. Rate limit 에러를 우아하게 처리하기 위해 exponential backoff와 retry 로직을 구현한 과정을 기록한다.

문서 검색 품질 개선을 위해 청크 오버랩 전략을 도입했다. 경계 부분의 문맥 손실 문제를 해결하고 검색 정확도를 약 15% 향상시켰다.

사내 문서 검색 RAG 시스템을 구축하면서 청크 크기에 따른 검색 품질 차이를 실험했다. 512 토큰과 1024 토큰 청크를 비교한 결과, 문서 특성에 따라 최적값이 달랐다.

VSCode에서 Cursor로 IDE를 전환하고 일주일간 사용해본 경험을 정리했다. AI 코드 완성 기능의 실용성과 기존 워크플로우 적응 과정을 기록한다.

사내 기술 문서와 위키가 산재되어 있어 필요한 정보를 찾는데 시간이 오래 걸렸다. LangChain과 OpenAI Embeddings를 활용해 RAG 기반 검색 시스템을 구축한 과정을 기록한다.

사내 문서 검색 RAG 시스템을 구축하면서 청크 크기에 따른 검색 품질 차이를 경험했다. 512 토큰에서 256 토큰으로 조정하면서 정확도가 눈에 띄게 개선되었다.

사내 챗봇 프로젝트에서 GPT-4 API 응답이 일관성 없고 불필요하게 장황한 문제가 있었다. 프롬프트 구조화와 few-shot 예시를 통해 응답 품질을 크게 개선했다.

GPT-4 API 비용이 급증하면서 캐싱 전략이 필요했다. Redis를 활용해 동일 요청에 대한 응답을 캐싱하여 API 호출을 절반으로 줄였고, 응답 속도도 개선했다.

팀에 Cursor IDE를 도입한 지 2주가 지났다. GPT-4 기반 코드 어시스턴트가 실제 업무에서 얼마나 도움이 되는지, 그리고 한계는 무엇인지 정리했다.