ChatGPT API 대기 중, 프롬프트 엔지니어링 실험 기록

배경

ChatGPT가 작년 11월 출시 이후 폭발적인 관심을 받고 있다. API 출시를 기다리며 웹 인터페이스로 다양한 프롬프트 패턴을 실험해봤다.

효과적이었던 패턴

1. 역할 지정 (Role Assignment)

가장 기본적이지만 효과가 확실했다.

당신은 시니어 백엔드 개발자입니다.
다음 API 설계의 문제점을 지적해주세요.

단순히 질문만 던지는 것보다 구체적인 관점을 얻을 수 있었다.

2. Few-shot 예시 제공

원하는 출력 형식을 예시로 보여주는 방식이 일관성 있는 결과를 만들었다.

다음 형식으로 코드 리뷰를 작성해주세요.

예시:
- 문제: 에러 핸들링 누락
- 위치: line 23
- 제안: try-catch 추가

3. 단계별 사고 유도 (Step-by-step)

"단계별로 설명해줘"를 추가하면 추론 과정이 포함되어 답변 품질이 올라갔다.

SQL 쿼리를 최적화해주세요.
단계별로 어떤 부분을 왜 개선했는지 설명해주세요.

한계점

• 토큰 제한으로 긴 코드 분석이 어려움
• 최신 라이브러리 정보는 2021년까지만 정확
• 같은 프롬프트여도 결과가 매번 달라짐

다음 계획

API가 출시되면 자동화된 코드 리뷰 봇을 만들어볼 예정이다. 프롬프트 템플릿을 미리 정리해두고 있다.

실무에 바로 적용하기엔 아직 이르지만, 보조 도구로서의 가능성은 충분해 보인다.