사업계획서 평가의 인간 편향 — Halo·Anchoring·Recency를 AI가 보완하는 지점

#100년 된 발견 — 인간 평가는 일관되지 않다

1920년 Edward Thorndike는 항공사관 137명에 대한 지휘관의 평가 데이터를 분석했습니다. 신체·지능·인성 같은 독립적이어야 할 평가 항목들이 비정상적으로 높게 상관되어 있었습니다. 한 항목에 대한 좋은 인상이 다른 모든 항목으로 번지는 현상 — 이를 그는 '후광 효과(Halo Effect)'라고 명명했습니다.

Thorndike의 결론은 단순했습니다. '평가자는 한 사람을 독립된 여러 자질의 합으로 보지 못한다. 전반적으로 좋다 또는 나쁘다라는 인상이 모든 개별 판단을 물들인다.' 이 발견은 100년이 지난 지금도 채용·승진·심사 평가의 표준 교과서에 실립니다.

#사업계획서 평가에 등장하는 4가지 편향

Halo는 시작일 뿐입니다. 채용·평가·심사 일반에서 반복 검증된 인지 편향 중 사업계획서 평가에도 동일 메커니즘으로 적용될 가능성이 높은 것을 4가지로 추렸습니다. 사업계획서 평가에 한정된 대규모 실증 연구는 아직 적지만, 평가 대상이 사람·문서로 바뀌어도 평가자의 인지 시스템은 동일하다는 게 일반적 견해입니다.

#학술적으로 측정된 편차의 크기

편향은 추상적 우려가 아닙니다. 실험적으로 반복 검증된 효과의 크기는 다음과 같습니다.

• Anchoring — Tversky & Kahneman(1974)의 고전 실험: 룰렛으로 무작위 숫자(10 또는 65)를 본 뒤 UN의 아프리카 국가 비율을 추정하게 했더니 10을 본 그룹은 중앙값 25%, 65를 본 그룹은 45%. 평가와 무관한 무작위 숫자가 20%p의 추정 차이를 만들어 냄
• Anchoring — 같은 논문: 8×7×6×5×4×3×2×1을 추정한 그룹은 중앙값 2,250, 1×2×3×4×5×6×7×8을 추정한 그룹은 512. 정답은 동일(40,320)인데 제시 순서만 다름
• VC 평가 — Gompers et al.(2020) JFE: 885명 VC를 대상으로 한 설문에서 투자 결정 1순위는 '팀'. 사업·기술·시장보다 팀을 더 중요하게 봄. 팀이 의사결정에서 가장 큰 가중치를 갖는다는 사실은 — 만약 평가가 영역별로 분리되지 않았다면 — 팀에 대한 첫인상이 다른 영역 평가까지 물들이는 후광 효과의 영향력도 같이 커진다는 뜻. (팀 가중치가 높다는 것 자체가 후광의 직접 증거는 아님)

#AI 분업 심사가 보완하는 지점

OpenSeed가 종합 평가자 한 명이 아닌 영역별 멘토로 분업하는 이유 중 하나는 이 편향들의 작동 경로를 줄이기 위해서입니다. '구조적 차단'이라고는 하지 않습니다 — 분업이 편향을 0으로 만들지는 않습니다. 각 편향에 대해 어떤 방식으로 완화되는지 정리하면 다음과 같습니다.

여기에 일관성 보장(같은 입력 = 같은 결과)이 더해집니다. 같은 사업계획서를 두 번 제출했을 때 결과 변동이 통제되면 사용자는 '이번엔 운이 안 좋았다'가 아니라 '이 영역을 수정하면 점수가 오른다'를 학습할 수 있습니다.

#AI도 자유롭지 않다 — 솔직한 한계

AI가 인간 편향에서 완전히 자유롭다고 주장하면 그건 또 다른 형태의 후광입니다. AI 분업 심사도 다음 한계를 안고 있습니다.

1. 학습 데이터 편향 — 과거 합격 사업계획서에 특정 산업·지역·창업자 인구 통계가 과대 표현되어 있으면 AI도 그 편향을 학습
2. Position Bias — 긴 컨텍스트에서 앞부분·끝부분의 정보가 중간보다 강하게 반영되는 현상이 LLM에서도 관찰됨(Lost in the Middle 등). 인간의 Recency가 약화될 뿐 0이 아님
3. 공통 본문 입력 — 영역별 멘토도 같은 사업계획서 본문을 공유하기 때문에, 본문 안에서 한 영역에 강하게 어필하는 서술이 다른 영역 점수에까지 미세하게 영향을 줄 가능성이 남음
4. 프롬프트 의존성 — 멘토에게 전달하는 지시문이 잘못 설계되면 AI도 특정 결론을 향해 추론을 끌고 갈 수 있음 (Confirmation의 변형)
5. 검증 데이터 한계 — '실제 합격·실패'라는 정답 라벨 없이 AI 심사 결과만 봐서는 보정 정확도를 측정할 수 없음

#인간 심사도 설계하면 편향을 줄일 수 있다

공정한 비교를 위해 짚을 점이 있습니다. 인간 평가에서 편향이 발생한다고 해서, 모든 인간 심사가 그 편향에 그대로 노출된 채 운영되는 것은 아닙니다. 다음과 같은 설계는 인간 심사의 편향을 상당히 줄입니다.

따라서 비교는 '인간 vs AI'가 아니라 '구조화되지 않은 인간 단독 심사 vs 설계된 인간 심사 + AI 분업 심사'에 가깝습니다. 후자가 가장 강합니다.

#그래서 AI와 인간은 어떻게 협업해야 하는가

결론은 AI가 인간 평가위원을 대체한다는 것이 아닙니다. 두 시스템의 약점이 다르므로 함께 쓸 때 가장 신뢰도 높은 결과가 나옵니다.

• AI 분업 심사 → 1차 점검: 영역별 누락·약점·일관성 검증을 빠르게, 인간의 인지 피로·인상 전이 없이
• 인간 심사위원 → 최종 판정: 새로운 산업·창업자 진정성·사회적 가치 등 정성 판단. 단, 위에 정리한 편향 완화 설계와 함께
• 사용자 → 의사결정자: 두 결과의 차이를 자기 사업계획서의 추가 점검 영역으로 활용