OpenAI API

ChatGPT API를 스트리밍 모드로 사용할 때 토큰 사용량을 실시간으로 추적하는 방법을 정리했다. 비용 모니터링과 사용자 경험 개선을 위해 필요한 작업이었다.

GPT-4o API로 긴 응답을 스트리밍으로 받을 때 중간에 connection이 끊기는 문제가 발생했다. 프록시 서버의 타임아웃 설정과 keep-alive 옵션을 조정해서 해결했다.

프로덕션 환경에서 OpenAI API 스트리밍 응답 중 간헐적으로 발생하는 연결 끊김 문제를 겪었다. 재시도 로직과 타임아웃 설정으로 안정성을 개선한 과정을 정리했다.

OpenAI Realtime API를 활용해 음성 기반 고객 상담 챗봇을 구현하는 과정에서 WebSocket 연결 끊김 문제를 마주쳤다. 재연결 로직과 버퍼 관리로 해결한 과정을 정리했다.

GPT-4 API를 스트리밍 방식으로 사용하는 채팅 서비스에서 메모리 누수가 발생했다. EventSource 연결 해제가 제대로 되지 않아 발생한 문제였고, AbortController를 활용해 해결했다.

GPT-4o의 Structured Outputs 기능을 도입하면서 JSON 파싱 실패율을 거의 0%로 만들 수 있었다. Function calling보다 훨씬 안정적인 스키마 검증이 가능했다.

GPT-4o의 JSON mode를 사용하던 중 간헐적으로 발생하는 파싱 에러 때문에 골치를 앓았다. OpenAI가 8월에 공개한 Structured Outputs 기능을 도입해 문제를 해결한 과정을 기록한다.

GPT-4 API를 스트리밍 모드로 사용하던 중 장시간 운영 후 메모리 사용량이 계속 증가하는 문제가 발생했다. EventSource 객체를 제대로 정리하지 않아 발생한 메모리 누수를 해결한 과정을 기록한다.

GPT-4o API로 스트리밍 응답 구현 중 랜덤하게 발생하는 청크 유실 문제를 겪었다. SSE 파싱 로직의 버퍼 처리 문제였고, ReadableStream을 직접 다루는 방식으로 해결했다.

GPT-4o API를 스트리밍 방식으로 사용하던 중 긴 응답에서 connection timeout이 발생했다. Next.js API Route의 응답 타임아웃 설정과 keep-alive 처리로 해결했다.