AI 사업계획서 심사, 어떻게 신뢰할 수 있나

#단일 AI의 한계 — 왜 한 명의 심사관으로는 부족한가

사업계획서 한 편에는 시장·기술·재무·팀·법률·세무 등 너무 많은 차원의 평가가 필요합니다. 한 명의 사람 심사위원도 모든 차원을 동시에 깊이 보지 못하기에, 실제 투자심사위원회는 시장 전문가·재무 전문가·기술 전문가가 분업해 평가하고 마지막에 종합합니다.

AI도 마찬가지입니다. 단일 LLM에 'A부터 Z까지 다 봐달라'고 하면, 어떤 항목은 깊이 보고 어떤 항목은 얕게 봅니다. 또 같은 문서를 다시 보여주면 강조점이 달라집니다. 이 일관성 부족이 AI 심사의 가장 큰 신뢰성 문제입니다.

#분업 — 14명의 심사역이 동시에 본다

OpenSeed는 한 명의 AI가 사업계획서 전체를 평가하지 않습니다. 각자 자기 분야만 깊이 보는 14명의 AI 심사역이 협업합니다.

각 심사역에게는 자기 영역에서만 평가하라고 명시적으로 지시합니다. 시장 심사역에게 '재무는 다른 사람이 본다'고 알려주는 것입니다. 이 분업 덕분에 한 명이 모든 항목을 얕게 보는 대신, 각자 자기 영역을 깊이 봅니다.

#비평 선행 — 점수를 나중에 매긴다

AI가 점수를 먼저 정하고 근거를 끼워 맞추는 현상을 'reward hacking'이라고 합니다. 점수 80점을 정해놓고 80점에 어울리는 칭찬을 만들어내는 것입니다. 이걸 막기 위해 OpenSeed는 한 가지 강제 규칙을 둡니다.

이 단순한 규칙 하나가 AI의 채점 편향을 크게 줄입니다. '비평이 약하면 점수도 약하게, 비평이 강하면 점수도 강하게' 하는 자연스러운 인과 관계가 만들어집니다.

#능력별 진단 — 단일 점수는 거짓말을 한다

총점 75점이라는 결과는 실제로는 매우 불완전한 정보입니다. 시장성 90점·재무 50점인 경우와 시장성 75점·재무 75점인 경우가 같은 75점으로 표기되지만, 두 회사가 가장 먼저 해야 할 일은 완전히 다릅니다.

OpenSeed는 단일 총점 외에 5가지 핵심 능력을 분리해 진단합니다.

각 능력별로 점수, 사업계획서에서 직접 발췌한 근거 문구, 현재 상태와 목표 사이의 간극, 구체적 개선 처방이 함께 제공됩니다. 어느 능력이 약한지 알면 어디부터 고쳐야 할지가 명확해집니다.

#불확실성 정량화 — '왜 모르는지'를 분리한다

AI가 '신뢰도 70%'라고 말할 때, 그 30%의 불확실성은 어디서 왔을까요? 실제로는 세 가지 원인이 섞여 있습니다.

원인을 분리하면 처방이 달라집니다. '데이터 부족'이면 사업계획서를 보완하면 됩니다. '에이전트 분산'이면 심사가 어려운 케이스라는 신호입니다. 이 분리가 AI 심사의 투명성을 만듭니다.

#자기감사 — AI가 자신을 검증한다

AI 채점 시스템은 시간이 지나면서 '과신' 상태에 빠질 수 있습니다. 즉, 실제로는 틀린 답인데도 강하게 확신하는 경향이 생깁니다. 이걸 막으려면 외부 검증이 필요합니다.

OpenSeed는 심사를 받은 스타트업의 실제 결과(투자 유치 여부·정부지원사업 합격 여부)를 추적해 AI 점수와 대조합니다. '85점 이상 받은 스타트업 중 실제 합격률은 얼마인가'를 실시간으로 측정합니다.

#Kill Metrics — 즉시 비추천 조건의 명시화

어떤 조건은 다른 항목이 아무리 좋아도 즉시 비추천 판정으로 가야 합니다. 위법 사업 모델, 시장 자체가 작거나 근거 없는 경우, 핵심 역할의 공백, 수익 모델의 부재가 그것입니다.

OpenSeed는 이런 'Kill Metrics'를 사전에 명시하고, 어떤 케이스에서도 일관되게 적용합니다. AI가 '좋은 점만 보고' 점수를 주는 일을 방지합니다.

#다층 검증을 한 화면에서

OpenSeed의 심사 결과는 단일 점수가 아니라 6가지 신뢰성 메커니즘이 동시에 작동한 결과입니다 — 분업, 비평 선행, 능력별 진단, 불확실성 정량화, 자기감사, Kill Metrics.