같은 사업계획서, 여러 AI 모델 — 숫자 오류는 몇 번이나 잡아낼까

#실험 설계 — 같은 계획서, 여러 모델, 여러 번

실험은 단순합니다. 동일한 사업계획서 한 건을 두 가지 버전으로 준비했습니다 — 실제 숫자 그대로인 원본과, 매출 추정치를 의도적으로 부풀린 조작본. 이 두 버전을 Haiku 4.5·Sonnet 5·Opus 4.8·GPT-5.5 네 개 모델에, 모델당 버전별 2회씩(4모델 × 2버전 × 각 2회 = 16회) 반복 실행했습니다.

• 원본에는 실제로 존재하는 계산 오류 1건을 그대로 남겨뒀습니다
• 조작본에는 매출 관련 수치를 의도적으로 부풀린 오류를 추가했습니다
• 각 버전을 모델마다 2회씩 반복 실행해, 결과가 매번 같은지도 함께 확인했습니다

여기서 확인한 건 '계획서에 적힌 계산식이 실제로 맞는가'입니다 — 예컨대 수량×단가=합계 같은 곱셈 관계나, 서로 다른 자리에 흩어진 숫자끼리 앞뒤가 맞는지. 사업계획서에 담긴 모든 숫자를 검증한다는 뜻은 아닙니다.

#판단 방향성 축소 실험 — 사전 등급별 평균 순서 비교

계산이 맞는지는 코드가 확인할 수 있습니다. 그런데 '이 계획서가 저 계획서보다 실제로 낫다'는 판단은 다른 문제입니다. 계산 정확성과는 별개로, 사전 등급이 있는 소표본에서 채점 방향성도 함께 확인해봤습니다.

OpenSeed가 내부 기준으로 우수·보통·부실로 사전 분류한 사업계획서 10건(우수 3 · 보통 4 · 부실 3, 사전 분류는 모델 채점과 독립적으로 부여)을 각 모델에게 채점시키고, 등급별 평균 점수가 같은 방향 순서(우수 > 보통 > 부실)를 보이는지 확인했습니다. 채점은 시장성·제품·팀·재무·리스크 5개 관점으로 진행한 뒤 결정론 가중합으로 종합 점수를 산출했습니다.

절대 점수는 모델별 점수 성향·보정 차이의 영향을 받으므로 모델 간 성능 비교에는 쓰지 않았습니다 — 각 모델 내부에서 등급별 평균 순서가 유지되는지만 확인했습니다. 개별 문서를 등급별로 정확히 분류했는지나 등급 간 점수 중첩 정도는 이 결과만으로 판단할 수 없습니다.

이번 10건에서는 네 모델 모두 사전 등급과 같은 방향의 집단 평균 순서를 보였습니다. 실제 OpenSeed 멀티에이전트 시스템 전체의 판단 성능을 검증한 결과는 아닙니다.

#그래서 OpenSeed는 이 조합을 씁니다

이 실험을 하는 이유는 단순합니다. OpenSeed가 지금 쓰는 모델 조합 — 16개 전문 에이전트에는 Sonnet 5, 리포트를 종합하는 Chief에는 Opus 4.8 — 이 실제 사례에서도 납득 가능한 선택인지 점검해보기 위해서입니다.

앞서 절대 점수는 모델 간 비교에 쓰지 않았다고 밝혔는데, 이번 10건에서 관찰한 우수–보통 평균 격차(Sonnet 5 19.8점, 나머지 모델 6.7~14.7점) 역시 모델별 점수 척도의 영향을 받기 때문에 엄밀한 성능 비교로 보기는 어렵습니다. 다만 16개 전문 에이전트는 시장성·기술성·재무 등 미묘한 차이를 판단해야 하는 자리이고, 이번 표본에서 Sonnet 5가 가장 큰 점수 차이를 보였다는 건 지금의 배치와 일치하는 제한적인 관찰이었습니다.

Chief에 Opus 4.8을 쓰는 이유는 이번 실험과는 다른 이유입니다. OpenSeed의 Chief는 새로운 점수를 산출하지 않습니다 — 16개 에이전트의 판단을 종합해 리포트로 정리하는 역할만 맡고, 최종 점수·판정은 별도의 결정론 계산이 만듭니다. 채점 성향보다 긴 맥락을 종합하는 능력을 우선해, 별도의 아키텍처 판단에 따라 Opus 4.8을 배치했습니다.

Haiku 4.5와 GPT-5.5도 이번 10건에서는 순서를 복원했습니다. 이번 실험은 이 조합을 확정하는 근거가 아니라, 기존 아키텍처 선택이 실제 사례에서도 어긋나지 않는지 살펴본 제한적인 점검입니다. Sonnet 5 배치에는 이번 관찰도 참고가 됐고, Opus 4.8 배치는 채점 결과가 아닌 Chief의 역할 설계에 따라 결정했습니다.

#결과 — OpenSeed가 신뢰를 만드는 3가지 방식

"완벽하게 다 확인한다"고 말하는 건 쉽습니다. OpenSeed는 그 대신 무엇을 확인했고 무엇을 확인하지 않았는지를 구분해서 보여주는 쪽을 택했습니다. 모든 내용을 검증했다고 주장하지 않고, 문서 내부 계산을 대조하고, 현재 지원하는 항목은 공식 자료와 비교하며, 실제로 확인한 범위를 리포트에 구분해 표시합니다.

세 가지 모두 원리는 같습니다 — 아는 척하지 않고, 확인한 만큼만 확인했다고 말하는 것.

#사업계획서를 쓰는 입장에서 왜 중요한가

심사역이 사업계획서에서 가장 먼저 의심하는 지점 중 하나가 숫자입니다. 시장 규모, 매출 추정치, 성장률 — 이 숫자들이 앞뒤가 안 맞으면 그 자체로 신뢰가 무너집니다. 그리고 숫자가 다 맞아도, 그 계획 전체가 논리적으로 설득력이 있는지는 또 다른 문제입니다.

• 매출 추정치와 시장 규모 산식이 서로 어긋나지 않는지
• 제시한 숫자들이 문서 안에서 일관되게 쓰이는지
• 의도치 않게 부풀려진 수치가 없는지

이 중 계획서에 적힌 계산식(수량×단가=합계 같은 곱셈 관계, 흩어진 숫자 간의 앞뒤 일치)은 OpenSeed가 AI의 주관적 판단에만 맡기지 않고 별도의 계산 대조 절차로 다시 확인합니다. 반면 '이 계획이 전체적으로 설득력 있는가'는 여러 심사 관점의 판단을 종합하는 영역이고, 위 축소 실험은 단일 채점 절차를 적용했을 때 네 모델 모두 사전 등급과 같은 방향의 집단 평균 순서를 보였다는 정도까지만 보여줍니다.

#OpenSeed가 이 내용을 공개하는 이유

OpenSeed는 사업계획서를 평가할 때 점수보다 근거를 봅니다. 그리고 그 근거를 만드는 절차 자체도 검증 가능해야 한다고 생각합니다. 위 3가지 신뢰성 절차는 그 원칙을 스스로에게 적용해본 결과입니다.