산술 검증은 AI의 기분을 타지 않는다

#실험 설계 — 같은 계획서, 두 버전, 반복 실행

실험은 단순한 원칙 하나에서 출발했다. '검증 절차를 신뢰하려면 그 절차 자체도 검증 가능해야 한다.' OpenSeed는 실제 사업계획서 한 건을 기반으로 두 버전을 준비했다.

첫 번째는 원본이다. 실제 수치를 그대로 유지하되, 연간 매출 합산 과정에서 계산 오류 한 건을 의도적으로 남겨두었다. 산식을 직접 따라가 보면 발견할 수 있는 수준이었다. 두 번째는 조작본이다. 원본과 동일한 구조를 유지하되, 3년차 매출 추정치를 근거 없이 부풀린 수치로 교체했다. 다른 항목과의 내부 정합성은 의도적으로 깨뜨리지 않아 겉으로는 자연스럽게 보이도록 설계했다.

두 버전을 각각 소형·중형·대형 등 여러 등급의 AI에 입력했고, 동일한 실행을 등급별로 여러 차례 반복했다. 핵심 질문은 하나였다. 어떤 환경을 쓰든, 몇 번째 실행이든, 원본의 계산 오류와 조작본의 부풀린 수치가 매번 적발되는가.

1. 원본 준비: 실제 수치 유지, 연간 합산 계산 오류 1건 의도적 삽입
2. 조작본 준비: 3년차 매출 추정치를 근거 없이 부풀림, 표면적 정합성은 유지
3. 대상 환경: 소형·중형·대형 등 여러 등급 각각 선정
4. 반복 실행: 동일 입력을 등급별로 여러 차례 반복하여 일관성 확인
5. 측정 기준: 오류·부풀림이 적발되는지 여부만 기록 (점수·우열 비교 없음)

#결과 — 전 실행에서 예외 없이 적발

결과는 명확했다. 원본에 남긴 계산 오류와 조작본에 심어둔 부풀린 수치는 어떤 환경을 사용했는지, 몇 번째 반복이었는지와 무관하게 전 실행에서 예외 없이 적발됐다. 판정이 뒤집히거나 오류가 누락된 실행은 단 한 차례도 없었다.

각 환경이 사업계획서 전반에 대해 내놓은 의견의 방향이나 서술 방식은 조금씩 달랐다. 그러나 숫자가 맞는지 틀리는지를 판별하는 산술 검증 결과는 어떤 실행에서도 달라지지 않았다. 이 차이가 실험의 핵심이다.

#왜 환경이 바뀌어도 결과가 흔들리지 않는가

산술 검증은 AI의 기분을 타지 않는다. 이 문장이 단순한 구호가 아닌 이유는 구조에 있다.

OpenSeed의 심사 절차는 두 층위로 나뉜다. 첫 번째는 사업계획서의 맥락을 읽고 판단과 의견을 정리하는 영역이다. 문제 정의가 설득력이 있는지, 팀 구성이 사업과 맞는지, 시장 접근 전략이 현실적인지 같은 질문이 여기에 속한다. 이 영역은 언어 이해 능력에 의존하기 때문에 환경마다 표현 방식이나 강조점이 달라질 수 있다.

두 번째는 숫자가 실제로 맞는지를 다시 계산해 대조하는 영역이다. 이 절차는 언어 처리 과정과 별도로 작동한다. 사업계획서에 기재된 산식을 추출하고, 정해진 규칙에 따라 다시 계산한 뒤, 기재된 수치와 대조하는 단계다. 정해진 규칙을 따르는 결정론적 절차이기 때문에 같은 입력에는 항상 같은 결과가 나온다. 처리 환경이 바뀌어도 이 계산 대조 절차 자체는 영향을 받지 않는다.

맥락 판단은 언어 이해가 담당하고, 산수 채점은 계산기가 담당하는 구조다. 계산기는 기분에 따라 2+2를 5로 읽지 않는다.

#사업계획서를 쓰는 입장에서 왜 중요한가

심사역이 사업계획서를 받았을 때 가장 먼저 의심하는 부분은 수치다. 특히 세 지점에서 집중적으로 확인한다. 시장 규모 산식이 내부적으로 일관되는지, 매출 추정치가 아무 근거 없이 부풀려지지 않았는지, 성장률 계산이 전후 항목과 실제로 일치하는지다.

이 지점에서 오류가 발견되면 단순한 계산 실수로 넘어가지 않는다. '숫자를 제대로 이해하지 못한 채 썼다'거나 '의도적으로 부풀렸다'는 의심으로 이어지기 쉽다. 그 의심이 생긴 순간, 나머지 내용이 아무리 좋아도 신뢰 회복이 어렵다.

창업자 입장에서 무서운 것은 스스로 오류를 발견하기 어렵다는 점이다. 오랜 시간 같은 문서를 보다 보면 눈이 익숙해져 틀린 숫자도 맞아 보이기 시작한다. 의도하지 않은 부풀림은 더 위험하다. 시장 자료를 참고하다가 자신도 모르는 사이에 적용 범위를 잘못 설정하거나, 전제 조건이 달라진 수치를 그대로 가져오는 경우가 실제로 자주 발생한다.

1. 시장 규모 산식: TAM→SAM→SOM 전환 과정에서 비율·단위가 일관되는지 확인
2. 매출 추정치: 단가·고객 수·전환율 등 구성 요소가 실제로 곱해지면 기재 수치가 나오는지 재계산
3. 성장률 계산: 전년도 수치 대비 성장률이 기재된 퍼센트와 실제로 일치하는지 대조
4. 자금 소요 계획: 항목별 합산이 총액과 일치하는지 검토
5. 수익성 지표: 매출·비용·이익의 산식 관계가 내부적으로 모순 없이 연결되는지 점검

이 다섯 항목은 심사 현장에서 수치 오류가 가장 자주 발견되는 지점이다. 문장이 아무리 잘 다듬어져 있어도 이 항목 중 하나에서 산식이 맞지 않으면 서류 검토 단계에서 탈락 근거가 된다.

#OpenSeed가 이 실험을 공개하는 이유

OpenSeed는 사업계획서를 평가할 때 점수보다 근거를 먼저 본다는 원칙을 갖고 있다. 그런데 그 근거를 만드는 절차 자체가 신뢰받으려면, 절차 역시 검증 가능해야 한다.

'우리 시스템은 정확하다'고 주장하는 것과 '이런 방식으로 실험했고 이런 결과가 나왔다'고 공개하는 것은 다르다. 전자는 주장이고 후자는 근거다. OpenSeed가 스스로에게 적용하는 기준은 창업자에게 요구하는 기준과 같아야 한다.

이 실험을 통해 확인하고 싶었던 것은 두 가지다. 첫째, 산술 검증 절차가 어떤 환경에서도 일관되게 작동하는가. 둘째, 의도적으로 심어둔 오류와 부풀림 모두를 예외 없이 잡아내는가. 두 질문 모두 실험 결과로 확인됐다.

동시에 이 실험이 모든 것을 해결한다는 뜻은 아니다. 산술 검증은 숫자의 내적 일관성을 확인하는 절차다. 전제 자체가 현실과 맞는지, 시장 규모 추정의 방법론이 타당한지 같은 질문은 별도의 판단 영역이다. OpenSeed는 두 영역을 혼동하지 않으면서 각각의 역할을 분명히 하는 방식으로 심사 구조를 설계하고 있다.

#자주 묻는 질문

Q. 산술 검증이 통과됐다고 해서 사업계획서가 합격권이라는 의미인가요?

아니다. 산술 검증은 숫자가 내부적으로 일관되는지를 확인하는 절차다. 수치가 맞더라도 시장 규모 추정 방법론이 부적절하거나, 성장 전제가 비현실적이거나, 비즈니스 모델 구조 자체에 문제가 있을 수 있다. 이런 판단은 별도의 심사 영역에서 다뤄진다.

Q. 계산 오류 없이 수치만 부풀리면 잡기 어렵지 않나요?

이번 실험에서 조작본은 표면적 정합성을 유지하도록 설계했다. 숫자 하나만 바꾼 것이 아니라 겉으로는 자연스럽게 보이도록 구성했다. 그럼에도 부풀림이 전 실행에서 적발된 이유는 산술 검증이 기재된 수치와 산식 구성 요소를 각각 분리해 재계산하기 때문이다. 전제 대비 결과값이 맞지 않으면 표면적으로 깔끔해 보여도 적발된다.

Q. 나중에 더 좋은 환경으로 바뀌면 산술 검증 결과도 달라질 수 있지 않나요?

산술 검증은 언어 처리 능력이 아니라 정해진 계산 규칙에 따라 작동하는 별도 절차로 분리돼 있다. 처리 환경이 바뀌어도 이 계산 대조 절차 자체는 변하지 않는다. 이번 실험에서 여러 등급을 사용한 이유도 이 독립성을 직접 확인하기 위해서였다.