AI & API

GPT-4 API를 스트리밍 모드로 사용하던 중 장시간 운영 후 메모리 사용량이 계속 증가하는 문제가 발생했다. EventSource 객체를 제대로 정리하지 않아 발생한 메모리 누수를 해결한 과정을 기록한다.

팀에서 Cursor AI 에디터를 도입한 지 2주가 지났다. Copilot과 비교했을 때 체감되는 차이점과 실제 업무에서의 활용 사례를 정리했다.

벡터 검색만으로는 정확도가 부족했던 RAG 시스템에 Cohere Rerank API를 도입했다. 초기 검색 결과를 재정렬하여 답변 품질을 개선한 과정을 정리한다.

GPT-4o API로 스트리밍 응답 구현 중 랜덤하게 발생하는 청크 유실 문제를 겪었다. SSE 파싱 로직의 버퍼 처리 문제였고, ReadableStream을 직접 다루는 방식으로 해결했다.

사내 문서 검색 시스템에 RAG를 도입하면서 청크 사이즈 설정에 어려움을 겪었다. 512 토큰에서 시작해 여러 실험을 거쳐 256 토큰과 오버랩 20%로 안착한 과정을 정리했다.

사내 문서 요약 기능을 GPT-4 API로 구현하면서 프롬프트 설계의 중요성을 체감했다. Few-shot 예시와 구조화된 출력 지시를 통해 응답 일관성을 크게 개선했다.

GPT-4o API를 스트리밍 방식으로 사용하던 중 긴 응답에서 connection timeout이 발생했다. Next.js API Route의 응답 타임아웃 설정과 keep-alive 처리로 해결했다.

Copilot을 2년간 사용하다가 Cursor로 갈아탔다. AI 네이티브 에디터라는 컨셉이 궁금해서 시작했는데, 실제 업무에 적용하면서 느낀 장단점을 정리했다.

GPT-4 API로 스트리밍 응답을 구현하던 중 간헐적으로 연결이 끊기는 문제가 발생했다. 타임아웃 설정과 재연결 로직을 추가해 안정성을 확보했다.

GPT-4 API를 사용한 챗봇 서비스에서 스트리밍 응답 처리 중 메모리 사용량이 계속 증가하는 문제가 발생했다. EventSource 연결 해제가 제대로 되지 않아 발생한 문제였고, AbortController를 활용해 해결했다.