AI가 '85점'이라 했을 때 신뢰해도 되는가 — 캘리브레이션 개념

#캘리브레이션이란 — 비유로 이해하기

기상청이 '내일 비 올 확률 80%'라고 예보했다고 가정합시다. 80%라고 예보한 100일 중 실제로 비가 80일 왔다면, 그 예보는 잘 캘리브레이션 된 것입니다. 만약 80%로 예보한 100일 중 실제로는 50일만 비가 왔다면, 그 예보는 '과대 자신(overconfident)'입니다.

#사업계획서 평가에 적용하면

AI가 사업계획서에 '합격 가능성 85%'라고 했을 때, 같은 점수를 받은 100건 중 실제로 약 85건이 합격해야 그 AI는 잘 캘리브레이션 된 것입니다. 차이가 클수록 AI가 자신감을 잘못 표현하고 있다는 신호입니다.

#ECE — 캘리브레이션을 측정하는 지표

Expected Calibration Error(ECE)는 AI 예측 확률과 실제 결과의 차이를 평균낸 지표입니다. 0에 가까울수록 잘 보정된 AI이며, 학술 연구에서 표준 측정 방법으로 사용됩니다. 이는 머신러닝 분야의 공개된 일반 개념입니다.

• ECE < 0.1 — 잘 보정됨 (예측이 실제와 평균 10%p 이내 일치)
• 0.1 ≤ ECE < 0.2 — 보정 필요
• ECE ≥ 0.2 — 과대 또는 과소 자신, 결과 해석 주의

#사용자가 알아야 할 한계

캘리브레이션은 학술 개념이지만 두 가지 한계가 있습니다. 첫째, 측정에는 충분한 검증 데이터가 필요합니다. 둘째, 시장·산업이 변하면 과거 캘리브레이션이 현재에도 유효한지 별도 검증이 필요합니다.

• 검증 데이터 — 최소 수십~수백 건의 '예측 vs 실제 결과' 짝이 필요
• 시점 의존성 — 작년 시장 기준의 캘리브레이션이 올해 그대로 유효하지 않음
• 산업 차이 — IT·바이오·D2C 등 산업별 캘리브레이션 별도 측정 권장

#OpenSeed의 입장

OpenSeed는 'AI 평가 결과는 근거와 함께 읽어야 한다'는 원칙을 따릅니다. OpenSeed 리포트는 숫자 하나나 합격 예측을 앞세우지 않고, 멘토 의견의 관점 분포와 문서에서 확인한 근거, 개선 처방을 보여 줍니다. 그래서 이 글의 캘리브레이션 개념은 리포트를 검증하는 도구가 아니라, 다른 곳에서 AI가 낸 확률이나 숫자를 읽을 때의 기준으로 이해하면 됩니다.