$99와 주말, 1970년대 게임 하나로 'AI 벤치마크'를 만든 사람들

핵심 요약 (TL;DR)

• 소속 랩도 GPU 클러스터도 없는 친구 몇 명이 밤과 주말에 $99.59로 LLM '에이전트 행동' 벤치마크 CrucibleBench를 만들어, 13개 모델을 650회 돌렸습니다.
• 무기는 최신 시뮬레이터가 아니라 명령어 7개·방 12개짜리 1970년대 텍스트 게임(MUD)이었습니다. 명령 공간이 좁아 모델이 '지어낸 행동'이 바로 걸리는 구조죠.
• 이들이 남긴 진짜 발견은 순위표가 아니라 "심판 역할을 하는 LLM 하나만 바꿔도 순위가 최대 6계단 요동친다"는 사실입니다.

벤치마크는 대기업만 만드는 것 아니었나요

"AI 벤치마크"라는 말에는 자동으로 거대한 GPU 클러스터와 전담 연구팀, 수억 원의 예산이 따라붙습니다. 그런데 이번에 화제가 된 CrucibleBench(https://cruciblebench.ai/)는 정반대 자리에서 태어났습니다. 소속 기업도 랩도 없는 사람들이, 스스로를 그저 "친구들끼리, 밤과 주말에, 개인 컴퓨터로" 움직이는 독립 연구라 소개했죠. Phase 1에 찍힌 청구서는 딱 $99.59. 이 돈으로 13개 모델을 650회 돌렸습니다.

숫자보다 놀라운 건 도구 선택입니다. 최신 AI를 시험하는 데 이들이 꺼낸 무기는 1970년대 텍스트 어드벤처 게임, 이른바 MUD였습니다. 명령어 7종, 방 12개, 아이템 14개. NPC는 상호작용을 기억하고 신뢰도를 0~100으로 쌓습니다. 여기에 모델을 넣고 '숨은 사회적 목표'를 준 뒤 50턴 동안 어떻게 행동하는지 지켜본 거죠. 명령 공간이 좁다는 게 핵심입니다. 선택지가 적으니, 모델이 환각으로 지어낸 행동이 곧바로 표가 납니다. 화려한 그래픽 대신 '낡은 기술로 하는 측면사고'인 셈이죠.

이들이 발견한 건 순위가 아니라 '측정의 불안정'

정작 이 프로젝트의 백미는 리더보드가 아닙니다. 연구진이 심판 역할을 하는 LLM 컴포넌트 하나만 교체했더니, 모델 순위가 최대 6계단까지 흔들렸습니다. 그런데도 집계 신뢰도 지표는 조용했죠. 자체 리더보드 기준으로는 상위권과 하위권이 갈렸지만, GPT-5.4처럼 전체 채점에선 1위였다가 분류기를 빼면 5위로 추락하는 경우도 있었습니다. 프런티어급 실행의 14~66%는 '대화 루프'—같은 실패를 반복하는 패턴—에 빠졌고요.

여기서 유의할 점 하나. 이건 13개 모델·650회라는 소규모 실증입니다. 세상의 모든 벤치마크가 틀렸다는 일반화가 아니라, "LLM을 심판으로 쓰는 순간, 순위 안정성과 항목별 일치도를 반드시 함께 보고해야 한다"는 방법론적 경고로 읽는 게 정확하죠. 실제로 연구진의 결론도 딱 거기까지입니다. Phase 2는 잠정 예산 $3,500으로 빌드 중이라 하고요.

이 사례가 바이브코더에게 남기는 것

두 가지가 겹쳐 있습니다. 첫째, 진짜 실험의 진입장벽이 무너졌습니다. "돈도 팀도 GPU도 없으니 나는 소비만 한다"던 학생과 주니어에게, $99와 주말이면 논문급 실험을 낼 수 있다는 반증이 생긴 거죠. 둘째, 그렇게 만든 실험일수록 '측정의 정직함'이 실력을 가릅니다. 심판을 못 믿으면 순위도 못 믿습니다. 이건 남의 벤치마크를 볼 때뿐 아니라, 내가 만든 AI 기능을 스스로 평가할 때도 그대로 적용되는 원칙이죠.

자주 묻는 질문 (FAQ)

CrucibleBench는 왜 하필 오래된 텍스트 게임을 썼나요?

명령 공간이 좁기 때문입니다. 선택지가 7개뿐이면 모델이 규칙에 없는 행동을 '지어냈을 때' 즉시 드러납니다. 넓고 화려한 시뮬레이션일수록 환각이 그럴듯하게 묻히는데, 좁은 무대가 오히려 거짓말을 잡아내는 거죠.

$99로 만든 실험을 얼마나 신뢰해도 되나요?

결과 수치(비용·모델 수·실행 횟수)는 화이트페이퍼에 그대로 실려 있어 인용 가능합니다. 다만 13개 모델·650회의 소규모 자기보고 실험이라, '특정 모델이 최고'라는 순위보다 '측정 방식이 흔들린다'는 방법론적 교훈에 무게를 두는 편이 안전합니다.

나도 이런 실험을 시작할 수 있나요?

API 크레딧 $100 안쪽과 명확한 질문 하나면 출발선에 설 수 있습니다. 중요한 건 규모가 아니라, 결과를 흔들어봐도 무너지지 않는지 스스로 검증하는 태도죠.

만드는 쪽은 점점 싸지고 작아집니다. CrucibleBench의 청구서 $99.59가 그 증거고요. 그런데 같은 프로젝트가 던진 더 깊은 질문은 이것입니다. 우리는 AI의 성능을 이야기할 때, 그 숫자를 누가·어떻게 쟀는지 얼마나 따져보고 있을까요? 자세한 방법과 리더보드는 cruciblebench.ai와 Hacker News 토론(https://news.ycombinator.com/item?id=49008538)에서 직접 확인해보시길 권합니다.