AI & API

Copilot을 2년간 사용하다가 Cursor로 전환했다. AI 코딩 도구의 다음 단계를 경험하고 있다는 느낌이 강했다. 실제 업무에 적용하며 느낀 장단점을 정리했다.

사내 문서 검색 RAG 시스템을 구축하면서 Pinecone, Weaviate, Qdrant를 비교 테스트했다. 규모와 쿼리 패턴에 따라 적합한 벡터 DB가 달랐고, 초기 프로토타입에선 PostgreSQL의 pgvector 확장으로도 충분했다.

사내 문서 요약 기능 개발 중 GPT-4 응답 품질이 일관되지 않은 문제가 있었다. 프롬프트 구조화와 few-shot 예시를 적용해 응답 정확도를 크게 향상시켰다.

사내 문서 검색 개선을 위해 RAG(Retrieval-Augmented Generation) 시스템 프로토타입을 구축했다. OpenAI API와 벡터 DB를 조합하며 마주친 임베딩, 청킹, 검색 전략 이슈를 정리한다.

GPT-4에 실시간 데이터를 제공해야 하는 요구사항이 생겼다. Function Calling을 활용해 외부 API 데이터를 LLM 응답에 통합하는 방법을 정리했다.

복잡한 분석 작업을 여러 단계로 나눠 처리하는 프롬프트 체이닝을 구현했다. 단일 프롬프트보다 정확도가 높아졌지만, 비용과 레이턴시 트레이드오프를 고려해야 했다.

사내 기술 문서가 늘어나면서 필요한 정보를 찾는 데 시간이 오래 걸렸다. LangChain과 OpenAI Embeddings를 사용해 RAG 기반 검색 시스템을 구축한 과정을 정리했다.

ChatGPT 출시 이후 사내에서 프롬프트 엔지니어링 수요가 급증했다. 반복적인 프롬프트 작성을 자동화하기 위해 템플릿 시스템을 구축한 과정을 정리했다.

복잡한 작업을 여러 단계로 나눠 GPT-4에게 순차적으로 처리시키는 프롬프트 체이닝 패턴을 도입했다. 단일 프롬프트 대비 정확도가 크게 개선됐고, 중간 결과를 검증할 수 있어 안정성도 높아졌다.

GPT-4 API를 프로덕션에 적용하면서 효과적인 프롬프트 작성법을 실험했다. Few-shot 예시, 구조화된 출력, 그리고 온도 파라미터 조정이 핵심이었다.