AI & API

사내 문서 검색 시스템을 RAG로 구축하면서 청크 사이즈 설정이 검색 품질에 미치는 영향을 확인했다. 고정 사이즈 방식의 한계와 의미 단위 분할로 개선한 과정을 기록한다.

팀 내 코드 리뷰 부담을 줄이기 위해 GPT-4 API를 활용한 자동화 시스템을 구축했다. 프롬프트 설계 과정에서 겪은 시행착오와 실제 적용 결과를 정리했다.

GitHub Copilot을 2년 가까이 쓰다가 Cursor로 갈아탔다. AI 코딩 도구가 단순 자동완성을 넘어 컨텍스트 기반 대화형 코딩으로 진화하는 걸 체감했다.

사내 AI 챗봇 프로젝트에서 GPT-4 API를 사용하면서 프롬프트 설계에 따라 응답 품질이 크게 달라지는 것을 경험했다. Few-shot learning과 구조화된 프롬프트를 통해 일관성 있는 결과를 얻는 방법을 정리했다.

GPT-4 API 스트리밍 응답을 처리하던 중 장시간 실행 시 메모리 사용량이 계속 증가하는 문제를 발견했다. EventSource 객체의 정리가 제대로 이루어지지 않아 발생한 문제였고, 명시적인 cleanup 로직으로 해결했다.

사내 챗봇 서비스에서 OpenAI API 비용이 예상보다 2배 이상 발생했다. 토큰 카운팅 로직 개선과 프롬프트 최적화로 40% 비용 절감에 성공한 과정을 정리했다.

최근 출시된 Claude 3 Opus를 업무에 적용하면서 GPT-4와의 프롬프트 응답 차이를 발견했다. 같은 프롬프트라도 모델마다 다른 결과를 내는 케이스를 정리했다.

기존 RAG 시스템의 검색 정확도를 개선하기 위해 Cohere Rerank API를 도입했다. Vector similarity만으로는 부족했던 컨텍스트 정확도를 크게 향상시킬 수 있었다.

사내 챗봇 서비스에 GPT-4 API를 적용하면서 겪은 응답 품질 문제를 프롬프트 엔지니어링으로 해결한 과정을 정리했다. Few-shot learning과 구조화된 프롬프트 템플릿으로 응답 일관성을 크게 향상시킬 수 있었다.

VS Code 기반 AI 에디터인 Cursor로 전환한 지 3일이 지났다. GPT-4 기반 코드 제안과 자동 완성이 실제 업무에서 어떻게 작동하는지 정리했다.