AI & API

단순 벡터 검색만으로는 정확도가 부족했던 RAG 시스템에 BM25와 벡터 검색을 조합한 Hybrid Search를 도입했다. Reciprocal Rank Fusion으로 결과를 병합하면서 검색 정확도가 체감상 30% 이상 개선되었다.

AI 기능이 많아지면서 프롬프트 관리가 어려워졌다. 코드처럼 프롬프트도 버전 관리가 필요하다는 판단에 간단한 시스템을 구축했다.

사내 문서 검색 RAG 시스템 운영 중 토큰 비용이 예상보다 3배 높게 나왔다. 검색된 청크를 LLM에 넘기기 전 리랭킹과 압축 단계를 추가해 비용을 60% 절감했다.

사내 문서 검색 RAG 시스템의 검색 정확도가 떨어지는 문제를 청킹 전략 개선으로 해결했다. 고정 크기 청킹에서 의미 기반 청킹으로 전환하고, 오버랩 비율을 조정해 검색 성공률을 35% 개선했다.

ChatGPT API를 스트리밍 모드로 사용할 때 토큰 사용량을 실시간으로 추적하는 방법을 정리했다. 비용 모니터링과 사용자 경험 개선을 위해 필요한 작업이었다.

Windsurf IDE에서 Model Context Protocol 서버를 연동해 외부 데이터 소스를 AI 컨텍스트에 통합했다. 기존 Cursor보다 MCP 설정이 직관적이었고, 프로젝트별 컨텍스트 관리가 편리했다.

사내 문서 검색 시스템에 RAG를 도입하면서 청크 크기에 따른 검색 품질 차이를 측정했다. 512 토큰과 1024 토큰 청크를 비교 테스트한 결과, 문서 특성에 따라 최적값이 달랐다.

AI 코딩 도구가 일상화되면서 프롬프트 작성 자체가 개발 스킬이 되었다. 단순히 코드 생성을 넘어, 컨텍스트 관리와 명확한 의도 전달이 생산성을 좌우한다는 것을 체감했다.

GPT-4o API로 긴 응답을 스트리밍으로 받을 때 중간에 connection이 끊기는 문제가 발생했다. 프록시 서버의 타임아웃 설정과 keep-alive 옵션을 조정해서 해결했다.

프로덕션 환경에서 OpenAI API 스트리밍 응답 중 간헐적으로 발생하는 연결 끊김 문제를 겪었다. 재시도 로직과 타임아웃 설정으로 안정성을 개선한 과정을 정리했다.