LLM의 신뢰도 95%, 자동 발송 기준으로 쓰기 전에

도움말을 검색해 답하는 에이전트가 답변과 함께 신뢰도 0.95를 반환했다고 하자. 이 값을 기준으로 바로 발송하고 낮은 점수만 사람에게 넘기면, 높은 점수로 틀린 답변은 누가 발견할까. 신뢰도 점수를 운영에 붙일 때 필요한 것은 그럴듯한 소수점보다, 틀린 답변이 어느 경로로 드러나는지 설명할 수 있는 구조다.

Amrut Joshi의 Asking LLM for confidence는 2026년 10월 20일 작성됐고 22일 편집됐다. GeekNews에는 23일 오전 2시 46분, 한국 시각으로 등록됐다. 새 모델의 발표는 아니지만, 에이전트의 자동 응답 기준을 만드는 개발자라면 짚어 볼 질문이다. 아래는 문서와 연구를 읽은 분석이며 모델을 실행해 비교한 결과는 아니다.

같은 숫자라도 만들어진 경로가 다르다

Joshi는 LLM에 확신을 물어 받은 숫자도 다른 답변처럼 생성된 텍스트라고 지적한다. 문맥이나 질문 표현에 따라 달라지는 값을 검증 없이 정답 확률로 쓰지 말자는 문제 제기다. 원문의 설명

다만 생성된 텍스트라는 이유만으로 유용한 신뢰도 추정이 모두 불가능하다고 결론낼 수는 없다. 2022년 연구인 Language Models (Mostly) Know What They Know는 특정 형식의 객관식·참거짓 질문에서 모델의 보정을 평가했다. 답을 먼저 생성한 뒤 참일 확률을 평가하는 방법과, 답할 수 있는지를 별도로 학습하는 방법도 구분했다. 연구진은 일부 과제에서 유의미한 결과를 보고하면서도 새로운 과제에서는 보정이 잘 유지되지 않는다고 밝혔다.

이 연구에서 평가한 선택지의 확률이나 별도로 학습한 예측값은, 대화창에 자유롭게 적게 한 “95%”와 같은 측정 방식이 아니다. 반대로 오래된 연구의 결과로 현재 쓰는 모델의 고객지원 점수를 보증할 수도 없다. 확인할 대상은 LLM 전체의 가능성보다 우리가 선택한 모델, 프롬프트, 점수 산정 방식의 조합이다.

평균이 맞아도 이관 대상을 잘 고르지는 못한다

보정은 예측한 확률과 실제 빈도가 맞는지를 뜻한다. 비슷한 점수를 받은 답변을 모았을 때 0.8을 부여한 집단의 약 80%가 맞는 식이다. 한 답변이 맞았다는 사실만으로 그 답변의 0.8이 잘 보정됐다고 판정할 수는 없다. scikit-learn의 보정 설명

이 원리는 기존의 예측 확률 글에서도 다뤘다. 자동 응답에서는 한 질문을 더 해야 한다. 점수가 틀릴 가능성이 큰 답변을 사람에게 잘 보내는가.

가령 전체 정답률이 90%인 자료에서 모든 답변에 0.9를 주면 전체 평균은 맞는다. 그러나 이 점수로는 쉬운 질문과 어려운 질문을 나눌 수 없다. 이는 원리를 설명하기 위한 가정이며 실제 서비스 측정값이 아니다. 보정 정도와 정답·오답을 구분하는 능력을 따로 봐야 한다.

scikit-learn 문서도 브라이어 점수가 낮아졌다는 사실만으로 보정이 좋아졌다고 판단하지 말라고 설명한다. 브라이어 점수는 예측 확률과 실제 결과 사이의 제곱 오차를 평균한 값으로, 보정 외의 성질도 함께 반영한다. 구간별 평균 점수, 실제 정답률, 표본 수를 나란히 확인할 이유다. 평가 지표의 범위

내가 자동 응답 기준으로 함께 남길 값은 자동 발송 비율과 그 집단의 오류율이다. 오류율만 줄이려면 거의 모든 답변을 사람에게 보내도 된다. 반대로 처리량만 높이면 중요한 오답을 통과시킬 수 있다. 두 값을 같이 봐야 점수의 운영상 가치가 드러난다.

검토한 답변만 모으면 높은 점수의 실패를 놓친다

원문은 관련 문서를 찾았는지, 반복 답변이 일치하는지 같은 관측 정보와 과거 정답 기록으로 별도 규칙을 만들자고 제안한다. 제안된 접근 이런 신호는 후보가 될 수 있지만, 문서를 찾았다는 사실은 답변이 그 문서를 정확히 반영했다는 보장이 아니다. 같은 모델이 두 번 같은 오답을 낼 수도 있다. 신호가 실제로 오류를 구분하는지는 자료로 확인해야 한다.

그보다 먼저 정할 것은 무엇을 정답으로 셀 것인가다. 원문은 고객이 다시 묻지 않은 경우도 예로 든다. 나는 이를 정답의 직접 증거로 쓰기 어렵다고 본다. 사용자가 포기했거나 잘못된 안내를 알아차리지 못했을 수도 있기 때문이다. 재문의 여부는 별도 결과로 보관하고, 근거 문서와 업무 규칙에 맞는지 검토한 판정과 구분하겠다.

낮은 점수만 사람이 검토하면 정답 기록도 그 집단에 치우친다. 높은 점수의 자동 발송 답변에는 오류가 있어도 판정이 남지 않는다. 이 기록만으로 전체 점수의 신뢰성을 계산하면 확인하지 않은 구간을 믿는 셈이다.

그래서 자동 발송된 답변에서도 표본을 뽑아 검수할 필요가 있다. 주제·언어·점수 구간별로 건수와 오류를 남기고, 드물지만 영향이 큰 오류는 평균과 별도로 확인한다. 표본을 다르게 뽑은 집단의 비율을 그대로 합치지 않도록 추출 방식도 기록해야 한다. 이는 원문의 절차에 더해 내가 운영 설계에서 확인하려는 조건이다.

문턱값보다 먼저 고정할 것

처음에는 기존 검토를 유지하면서 점수만 기록하는 방식으로 시작할 수 있다. 답변 시점의 모델과 프롬프트, 검색 결과와 문서 버전, 점수, 사람의 판정을 연결한다. 무엇을 바꿨을 때 점수가 달라졌는지 추적하기 위한 최소 맥락이다.

별도 보정기를 학습한다면 학습에 쓴 자료와 최종 평가 자료를 나눠야 한다. 공식 문서도 모델 학습 자료로 보정까지 하면 확률이 지나치게 극단적으로 추정될 수 있다고 설명한다. 문턱값을 고르는 데 쓴 자료에서 마지막 성능까지 보고하면 선택 과정에 맞춘 결과를 실제 성능으로 오해하기 쉽다.

도입 여부는 다음 세 조건으로 판단하겠다.

• 따로 남겨 둔 평가 자료에서 자동 발송 비율과 오류율이 함께 허용 범위에 드는가.
• 중요한 오답을 별도로 확인하고, 근거가 부족한 질문을 사람에게 넘길 수 있는가.
• 추가 모델 호출과 사람의 표본 검수 비용을 더해도 줄어드는 검토 시간이 의미 있는가.

정답 판정 자료가 부족하면 좁은 질문 유형만 자동화하거나 사람 검토를 유지하는 선택이 합리적이다. 별도 분류기나 규칙을 쓰는 방법도 있지만, 산정 주체를 바꿨다는 사실만으로 검증이 끝나지는 않는다. 모델이나 검색 문서가 달라지면 같은 기준으로 다시 확인해야 한다.

내가 신뢰하고 싶은 것은 “자신 있다”는 문장보다, 어느 집단에서 얼마나 자주 틀렸는지 남은 기록이다. 높은 점수의 실패까지 발견할 수 있을 때 신뢰도는 자동 발송 범위를 정하는 근거가 된다.

참고 자료

• Asking LLM for confidence — Amrut Joshi
• Language Models (Mostly) Know What They Know, v4
• Probability calibration — scikit-learn