AI & API

사내 문서 검색 시스템에 RAG를 도입하면서 청크 사이즈 설정이 검색 품질에 미치는 영향을 확인했다. 512 토큰에서 256 토큰으로 조정하니 정확도가 눈에 띄게 개선됐다.

GPT-4 API를 스트리밍 방식으로 사용하는 채팅 서비스에서 메모리 누수가 발생했다. EventSource 연결 해제가 제대로 되지 않아 발생한 문제였고, AbortController를 활용해 해결했다.

GitHub Copilot을 2년간 사용하다가 Cursor로 전환했다. AI 코딩 도구의 새로운 패러다임이라는 평가가 많았지만, 실제 업무에 적용했을 때 체감되는 차이와 한계를 기록한다.

사내 문서 검색 시스템에 RAG를 도입하면서 청크 사이즈 설정이 검색 품질에 미치는 영향을 실험했다. 작은 청크는 정확도가 높지만 맥락이 부족했고, 큰 청크는 노이즈가 많았다.

GPT-4를 활용한 코드 리뷰 자동화를 도입했다. 프롬프트 설계에 따라 결과물의 품질이 크게 달라졌고, 몇 가지 패턴을 정리했다.

사용자 입력을 AI가 분류하는 기능을 구현하면서 프롬프트 설계에 따라 응답 품질이 크게 달라지는 것을 확인했다. Few-shot 예시와 구조화된 출력 형식을 적용해 정확도를 40% 이상 개선한 과정을 정리했다.

GPT-4o의 Structured Outputs 기능을 도입하면서 JSON 파싱 실패율을 거의 0%로 만들 수 있었다. Function calling보다 훨씬 안정적인 스키마 검증이 가능했다.

사내 챗봇 서비스에 GPT-4 API를 통합하면서 응답 품질이 들쑥날쑥했던 문제를 프롬프트 구조화로 해결했다. Few-shot 예시와 역할 지정, 출력 형식 제약을 통해 안정적인 결과를 얻을 수 있었다.

GPT-4o의 JSON mode를 사용하던 중 간헐적으로 발생하는 파싱 에러 때문에 골치를 앓았다. OpenAI가 8월에 공개한 Structured Outputs 기능을 도입해 문제를 해결한 과정을 기록한다.

사내 AI 챗봇 프로젝트를 진행하면서 GPT-4 API 응답 품질을 높이기 위한 프롬프트 엔지니어링 기법을 정리했다. Few-shot learning과 구조화된 출력 형식을 적용하여 응답 일관성을 크게 개선할 수 있었다.