프론티어 5종이 전부 76%에서 멈춘 태스크, $500 파인튜닝은 87%를 찍었습니다

핵심 요약 (TL;DR)

기업 지식 인덱싱 회사 Fermisense가 오픈 모델 Qwen3.5-9B를 강화학습(GRPO)으로 파인튜닝해, 상품 카탈로그 검수 태스크에서 자체 루브릭 최대 점수 대비 87.3%를 기록했다고 발표했습니다. 같은 태스크에서 프론티어 모델 5종은 최고 76.9%에 서로 0.1% 이내로 수렴했고, 학습 GPU 비용은 약 $500이었습니다. 단, 회사 자체 벤치마크이며 독립 재현은 아직 없습니다.

프론티어 API 요금표를 보며 제품화를 망설여본 적 있으신가요. "GPT에서 Claude로 바꾸면 나아질까"를 반복 중이라면, Fermisense의 실험은 다른 질문을 던집니다. 모델을 갈아타는 대신, 내 데이터로 작은 모델을 이기게 만들 수는 없을까 하는 질문입니다.

$500 파인튜닝이 어떻게 프론티어를 이겼나요?

실험 태스크는 상품 카탈로그 검수입니다. Amazon Berkeley Objects 데이터셋에서 학습 예제 약 17만 7천 개를 합성 생성하고, 90억 파라미터짜리 Qwen3.5-9B를 GRPO 강화학습으로 튜닝했습니다. 결과는 자체 루브릭이 정의한 달성 가능 최대 점수 대비 87.3%. 프론티어 최고 성적 76.9%를 10점포인트 이상 앞섰고, 리스팅당 비용은 최고 성능 프론티어 대비 68배(최저가 모델 대비로는 40배) 낮았습니다. 학습에 들어간 GPU 비용은 약 $500. HN에서 302포인트, 댓글 114개(게시 이튿날 기준)를 모으며 뜨거운 토론이 붙었습니다.

제가 주목한 대목은 87.3%가 아니라 프론티어 5종이 전부 76.9% 언저리, 서로 0.1% 이내로 수렴했다는 부분입니다. 모델을 바꿔도 답이 안 나오는 태스크였다는 뜻이죠. 범용 지능의 천장이 같은 높이라면, 그 위로 올라가는 사다리는 "더 좋은 모델"이 아니라 "내 태스크의 데이터"라는 게 이 실험의 주장입니다. 기성복 다섯 벌이 전부 안 맞는 몸이라면, 맞춤복을 지어야 하는 것과 같은 이치입니다.

이 숫자, 그대로 믿어도 되나요?

여기서부터가 중요합니다. 이 결과는 회사 자체 벤치마크입니다. 자체 시뮬레이션, 자체 채점 루브릭, 평가 표본 200 에피소드에 전면 의존하고, 독립 재현이나 제3자 검증은 아직 없습니다. 공개된 Hugging Face 모델의 카드도 비어 있어 재현성이 제한적이고, 원문 글에는 상담 예약 버튼이 붙은 마케팅 성격도 있습니다.

HN의 반론도 셋으로 정리됩니다. 첫째, $500은 학습 1회분 GPU 비용일 뿐 데이터 구축과 튜닝 시행착오를 포함하면 $5,000 이상이라는 추정. 둘째, 홀드아웃 분리가 언급되지 않아 과적합 가능성이 남는다는 지적. 셋째, 매우 좁은 태스크라 일반화하기 어렵다는 것. 그러니 이 사례는 "9B가 프론티어를 이긴다"의 증명이 아니라, "좁고 반복적인 태스크 + 채점 가능한 정답 구조"라는 조건이 갖춰졌을 때 열리는 선택지로 읽는 게 정확합니다.

FAQ

Q. 저도 파인튜닝을 시작해야 하나요?
프론티어 API로 먼저 태스크를 정의하고, 볼륨이 커져 비용이 아플 때 검토해도 늦지 않습니다. 채점 기준을 코드로 쓸 수 있는 태스크인지가 첫 번째 관문입니다.

Q. GRPO가 뭔가요?
정답 채점기가 준 보상으로 모델을 업데이트하는 강화학습 기법입니다. 사람이 일일이 라벨링하는 대신, 검증 가능한 보상 함수가 있으면 학습 데이터를 크게 늘릴 수 있습니다.

Q. 왜 프론티어 5종이 같은 점수에 수렴했을까요?
원문은 해당 태스크의 도메인 특화 판단이 범용 학습 데이터에 없기 때문이라고 봅니다. 다만 이 역시 자체 벤치마크 위의 해석이라는 점은 같습니다.

프론티어 요금이 무서워 멈춰 있는 아이디어가 있다면, 이렇게 물어보세요. 내 태스크는 정답을 채점할 수 있는가. 그렇다면 당신의 해자는 모델이 아니라 데이터에 있는 것 아닐까요?