앱 말고 '스킬'을 만드세요 — Claude Code로 짠 오픈소스 팩트체커가 보여준 재사용 설계

핵심 요약 (TL;DR)

• 한 개발자가 유튜브·틱톡·기사의 주장을 추출해 웹으로 검증하고 0~10점 'BS 점수'를 매기는 오픈소스 'Bullshit Detector'를 Claude Code만으로 만들었습니다.
• 핵심은 특정 앱이 아니라 'markdown + Python' 조합의 에이전트 스킬로 설계해, 한 번 짜서 여러 에이전트에서 굴릴 수 있게 한 점입니다.
• 앱 단위로 생각하던 자동화를 '스킬' 단위로 바꾸면, 도구를 갈아타도 자산이 남습니다.

"이거 진짜야?"를 대신 판별해주는 도구를, AI로만 만들었습니다

AI가 만든 콘텐츠가 넘쳐나면서, 영상 하나 기사 하나를 볼 때마다 '이거 믿어도 되나' 멈칫하게 되는 순간이 많아졌습니다. 동시에 나만의 자동화 툴을 만들고 싶은데 매번 처음부터 짜는 게 지치는 분도 계실 거예요. 개발자 Serhii Korniienko가 Show HN에 올린 Bullshit Detector는 이 두 고민을 한 번에 건드립니다. 유튜브 영상·틱톡·기사·PDF·트윗에서 주장을 자동으로 뽑아내 웹으로 교차 검증하고, 0~10점 'BS 점수'를 매기는 오픈소스죠. 실제로 조회수 116만 금융 영상에는 BS 5/10을, 약 55만 조회의 천문 틱톡에는 BS 9/10을 근거와 타임스탬프까지 붙여 판정했습니다. MIT 라이선스로 공개돼 있고, 전 과정을 Claude Code로 만들었습니다.

왜 '앱'이 아니라 '스킬'로 만들었을까요

이 사례에서 진짜 배울 점은 팩트체크 기능이 아니라 '구현 방식'입니다. 보통 우리는 자동화를 '앱'으로 생각합니다. 특정 프레임워크, 특정 실행 환경에 묶인 결과물이죠. 그런데 이 도구는 앱이 아니라 에이전트 스킬 묶음으로 만들어졌습니다. 스킬은 '언제·어떻게 쓰는지'를 적은 markdown 지시서와, 실제 일을 하는 자체 완결형 Python 코드의 조합입니다. 저장소 문서 기준으로는 이렇게 만든 스킬이 Claude Code든 OpenAI Codex든 여러 에이전트에 그대로 이식된다고 설명합니다. 앱이 특정 콘센트에만 맞는 가전이라면, 스킬은 어댑터 없이 어디든 꽂히는 표준 플러그인 셈이죠. 구조도 단순합니다. 수집(fetch-content) → 분석(detector) → 발행(카드뉴스 포맷), 이렇게 3단으로 나눠 각 단계를 스킬로 두었습니다.

나도 스킬로 만들려면: 최소 골격부터

핵심은 '지시는 자연어(markdown), 실행은 코드(Python)'로 나누는 것입니다. 폴더 구조는 이렇게 잡을 수 있습니다.

skills/
  fact-check/
    SKILL.md          # 언제·어떻게 쓰는지 (자연어 지시서)
    fetch_content.py  # 입력 수집 (URL을 텍스트로)
    detector.py       # 주장 추출 + 웹 검증 + 점수화

지시서인 SKILL.md는 사람이 후배에게 일을 시키듯 절차를 적으면 됩니다.

---
name: fact-check
description: URL이나 영상에서 주장을 뽑아 웹으로 검증하고 0~10 신뢰도 점수를 매긴다
---
1. fetch_content.py로 입력 소스의 텍스트를 가져온다
2. 핵심 주장 3~5개를 문장 단위로 분리한다
3. 각 주장을 웹 검색으로 교차 확인하고 근거 URL을 모은다
4. 근거 강도에 따라 0(사실)~10(허위) 점수를 매긴다

이 분리가 이식성의 핵심입니다. 에이전트가 바뀌어도 markdown 지시서와 Python은 그대로 재사용되니까요. 도구를 갈아타도 내가 짠 로직이 자산으로 남는 거죠.

자주 묻는 질문 (FAQ)

Q. 에이전트 스킬이 그냥 스크립트와 뭐가 다른가요?
스크립트는 '실행'만 담지만, 스킬은 '언제 어떻게 쓰는지'를 담은 지시서까지 함께 묶습니다. 그래서 에이전트가 스스로 상황에 맞게 불러 쓸 수 있습니다.

Q. BS 점수를 그대로 믿어도 되나요?
점수를 산정하는 로직의 신뢰도는 별개 이슈입니다. 근거 URL과 타임스탬프를 함께 보여주니, 점수보다는 그 근거를 직접 확인하는 용도로 쓰는 게 안전합니다.

Q. 정말 다른 에이전트에서도 그대로 도나요?
저장소가 그렇게 주장하지만, 환경마다 실제 동작은 직접 검증이 필요합니다. 처음 이식할 땐 작은 입력으로 먼저 돌려 보세요.

오늘 당장 해볼 액션은 하나입니다. 지금 반복적으로 하는 작업 하나를 골라, 'SKILL.md 한 장 + Python 한 파일'로 쪼개 보세요. 스킬 단위로 사고하기 시작한 처음부터 배포까지의 흐름은 [바이브코딩 완전 가이드 2026 — 입문부터 배포까지]에서 이어서 확인하실 수 있습니다. 앱을 만드는 사람은 도구에 갇히지만, 스킬을 만드는 사람은 도구를 갈아탈수록 강해집니다.