AI & API

고객 상담 자동화를 위해 OpenAI Realtime API를 활용한 음성 챗봇 프로토타입을 제작했다. WebSocket 기반 양방향 스트리밍과 VAD(Voice Activity Detection) 처리 과정을 정리했다.

단일 프롬프트로 해결하기 어려운 복잡한 작업을 여러 단계로 나누는 체인 패턴을 도입했다. 각 단계의 출력을 다음 단계의 입력으로 사용하면서 정확도와 제어 가능성이 크게 개선되었다.

5년 된 REST API를 GraphQL로 마이그레이션하는 작업에 Claude Code를 활용했다. 반복적인 스키마 변환 작업을 자동화하여 2주 예상 작업을 3일로 단축할 수 있었다.

사내 문서 검색 RAG 시스템에서 청크 크기에 따른 검색 품질 저하 문제를 겪었다. 512 토큰 고정 청크에서 semantic chunking으로 전환하며 recall@5가 23% 개선되었고, 이 과정에서 배운 실용적인 청킹 전략을 정리했다.

대규모 코드베이스를 AI에게 설명할 때 토큰 제약과 싸우고 있었다. 전체 컨텍스트를 주면 비용이 폭발하고, 일부만 주면 정확도가 떨어진다. 계층적 컨텍스트 로딩 방식을 도입하면서 찾은 실용적인 균형점을 기록한다.

AI 기반 기능이 늘어나면서 프롬프트 관리가 복잡해졌다. Git처럼 프롬프트를 버전 관리하고 A/B 테스트할 수 있는 시스템을 구축한 과정을 정리했다.

단일 프롬프트로는 한계가 있던 코드 리뷰 자동화를 프롬프트 체이닝 패턴으로 개선했다. 각 단계별로 역할을 분리하니 리뷰 품질이 크게 향상됐다.

팀 내 코드 리뷰 병목을 해결하기 위해 Claude Code를 도입했다. 프롬프트 구조를 개선하면서 리뷰 시간을 40% 가량 줄일 수 있었다.

단일 프롬프트로 코드 리뷰를 요청했을 때 일관성 없는 결과가 나와 프롬프트 체이닝 기법을 도입했다. 분석-평가-제안의 3단계로 나누니 리뷰 품질이 크게 향상되었다.

서비스 중인 RAG 시스템에서 컨텍스트 윈도우 관리 문제를 겪었다. 청크 크기와 검색 개수를 조정하며 응답 품질과 비용 사이의 균형점을 찾은 과정을 정리했다.