AI & API

음성 AI 챗봇 서비스에 Realtime API를 도입한 후 예상보다 높은 비용이 발생했다. 세션 관리 전략을 개선해 월 비용을 40% 절감한 과정을 정리했다.

사내 문서 검색 RAG 시스템의 응답 품질을 개선하기 위해 청크 크기와 오버랩 설정을 실험했다. 512 토큰에서 256 토큰으로 변경하고 오버랩을 50으로 설정한 결과 정확도가 23% 향상되었다.

프로덕션 환경에서 OpenAI API 스트리밍 응답을 처리하던 중 메모리 사용량이 지속적으로 증가하는 문제를 발견했다. AbortController와 클린업 로직을 제대로 구현하지 않아 발생한 문제였고, 이를 해결한 과정을 정리했다.

레거시 API 라우터를 새 구조로 마이그레이션하면서 Cursor의 Composer 모드를 활용했다. 20개 이상의 파일을 일관되게 수정하는 과정에서 시간을 크게 절약할 수 있었다.

Cursor에서 Windsurf로 갈아탄 지 3주가 지났다. Cascade 모드의 멀티파일 편집과 컨텍스트 관리가 실제 프로젝트에서 어떻게 작동하는지 정리했다.

Windsurf의 MCP(Model Context Protocol) 서버 연동 기능을 활용해 프로젝트별 컨텍스트를 효율적으로 관리하는 방법을 정리했다. 여러 레포지토리를 오가며 작업할 때 특히 유용했다.

프로덕션 환경에서 OpenAI API 스트리밍 응답 중 간헐적으로 발생하던 연결 끊김 문제를 진단하고 해결했다. Vercel의 함수 타임아웃과 클라이언트 재연결 로직을 개선해 안정성을 확보했다.

Windsurf의 MCP(Model Context Protocol) 서버 연동 기능을 활용해 프로젝트별 컨텍스트를 효율적으로 관리하는 방법을 정리했다. 데이터베이스 스키마와 API 문서를 실시간으로 참조하면서 코드를 작성할 수 있게 되었다.

3년 된 레거시 API 서버의 문서가 실제 구현과 달라 문제가 많았다. Claude Code를 활용해 코드베이스를 분석하고 OpenAPI 스펙을 자동 생성하는 워크플로우를 구축했다.

고객 상담 자동화를 위해 OpenAI Realtime API를 활용한 음성 응답 시스템을 구축했다. WebSocket 기반 스트리밍과 VAD 처리, 그리고 응답 지연 최적화 과정을 정리했다.