AI 사업계획서 심사, 어떻게 신뢰할 수 있나

#단일 AI의 한계 — 왜 한 명의 심사관으로는 부족한가

사업계획서 한 편에는 시장·기술·재무·팀·법률·세무 등 너무 많은 차원의 평가가 필요합니다. 한 명의 사람 심사위원도 모든 차원을 동시에 깊이 보지 못하기에, 실제 투자심사위원회는 시장 전문가·재무 전문가·기술 전문가가 분업해 평가하고 마지막에 종합합니다.

AI도 마찬가지입니다. 단일 LLM에 'A부터 Z까지 다 봐달라'고 하면, 어떤 항목은 깊이 보고 어떤 항목은 얕게 봅니다. 또 같은 문서를 다시 보여주면 강조점이 달라집니다. 이 일관성 부족이 AI 심사의 가장 큰 신뢰성 문제입니다.

#분업 — 17개 평가 역할과 별도의 Chief

OpenSeed는 한 명의 AI가 사업계획서 전체를 평가하지 않습니다. 각자 자기 분야만 깊이 보는 17개 평가 역할(기본 7개·전문 10개)을 두고, 전문 역할은 사업과의 관련성에 맞춰 적용합니다.

각 멘토에게는 자기 영역에서만 평가하라고 명시적으로 지시합니다. 시장 멘토에게 '재무는 다른 사람이 본다'고 알려주는 것입니다. 이 분업 덕분에 한 명이 모든 항목을 얕게 보는 대신, 각자 자기 영역을 깊이 봅니다.

#비평 선행 — 결론을 나중에 낸다

AI가 결론을 먼저 정하고 근거를 끼워 맞추는 현상을 'reward hacking'이라고 합니다. 좋은 평가라는 결론을 정해놓고 그 결론에 어울리는 칭찬을 만들어내는 것입니다. 이걸 막기 위해 OpenSeed는 한 가지 강제 규칙을 둡니다.

평가 역할은 구체적인 비평을 먼저 쓰고, 그 비평을 종합해 결론을 낸 뒤, 결론이 비평과 일치하는지 마지막에 확인합니다. 이 단순한 규칙은 결론을 먼저 정해 놓는 편향을 막기 위한 장치입니다. '비평이 약하면 결론도 신중하게, 비평이 강하면 결론도 분명하게' 하는 자연스러운 인과 관계를 만듭니다.

#능력별 진단 — 하나의 숫자는 어디부터 고칠지 알려 주지 않는다

하나의 총평으로 평가를 요약하면 실제로는 매우 불완전한 정보가 됩니다. 시장성은 강하고 재무가 약한 회사와 시장성도 재무도 중간인 회사가 같은 총평을 받을 수 있지만, 두 회사가 가장 먼저 해야 할 일은 완전히 다릅니다.

OpenSeed는 하나의 총평으로 뭉뚱그리지 않고 5가지 핵심 능력을 분리해 진단합니다. 아래는 예시 사업계획서의 능력별 진단입니다.

각 능력별로 사업계획서에서 직접 발췌한 근거 문구, 현재 상태와 목표 사이의 간극, 구체적 개선 처방이 함께 제공됩니다. 어느 능력이 약한지 알면 어디부터 고쳐야 할지가 명확해집니다.

#불확실성 분리 — '왜 모르는지'를 나눠서 본다

AI의 평가에 '확신이 낮다'는 표시가 붙을 때, 그 불확실성은 어디서 왔을까요? 실제로는 세 가지 원인이 섞여 있습니다. OpenSeed 리포트의 신뢰도 분해에서는 불확실성의 원인이 아래 세 가지로 나뉘어 보입니다.

원인을 분리하면 처방이 달라집니다. '데이터 부족'이면 사업계획서를 보완하면 됩니다. '에이전트 분산'이면 심사가 어려운 케이스라는 신호입니다. 이 분리가 AI 심사의 투명성을 만듭니다.

#한계 공개 — 합격 예측과 정확도 숫자는 내놓지 않는다

AI 평가 시스템은 실제 결과로 검증하지 않으면 '과신' 상태에 빠질 수 있습니다. 즉, 실제로는 틀린 답인데도 강하게 확신하는 경향이 생깁니다. 이걸 막으려면 외부 검증이 필요하고, 검증 데이터가 아직 없다면 그 사실을 먼저 밝혀야 합니다.

OpenSeed는 아직 분석을 받은 팀의 실제 결과(투자 유치 여부·정부지원사업 선정 여부)와 대조해 검증한 데이터가 없습니다. 그래서 합격 여부를 예측하거나 정확도를 숫자로 내놓지 않고, 합격이나 불합격 판정도 하지 않습니다.

#핵심 리스크 진단 — 짚어내고 해소 경로까지

어떤 문제는 다른 항목이 아무리 좋아도 먼저 분명히 짚어야 합니다. 법적 리스크가 있는 모델, 시장 근거가 약한 경우, 핵심 역할의 공백, 수익 모델의 부재가 그것입니다.

OpenSeed는 이런 핵심 리스크를 묻어두지 않고 결과 상단에 분명히 드러냅니다. 특히 법적 리스크는 '안 된다'에서 끝내지 않고 규제 샌드박스·인허가 절차 같은 해소 경로까지 함께 제시합니다. AI가 '좋은 점만 보고' 결론을 내는 일을 방지합니다.

#다층 검증을 한 화면에서

OpenSeed의 검토 결과는 하나의 숫자나 판정이 아니라 6가지 신뢰성 원칙이 함께 작동한 결과입니다 — 분업, 비평 선행, 능력별 진단, 불확실성 분리, 한계 공개, 핵심 리스크 진단.