LLM이 나를 아는지 측정해주는 사이트, 그리고 HN 토론 중 프라이버시 펜스를 라이브 핫픽스한 솔로의 24시간

핵심 요약 (TL;DR)

솔로 개발자 turtlesoup가 만든 intheweights.com은 이름을 넣으면 여러 LLM이 그 사람을 얼마나 "아는지" 점수와 8비트 초상화로 보여주는 사이트입니다. 2026년 6월 HN에 올라간 후 109점·83댓글을 받았는데, 진짜 흥미로운 건 다른 곳에 있습니다. 출시 직후 터진 프라이버시 백래시를 작성자가 HN 토론 중에 실시간으로 "latest 비활성화" 핫픽스를 배포해 봉합한 의사결정입니다. 펜스가 무너진 게 아니라, 무너지기 전에 라이브로 막은 사례죠.

'LLM이 나를 아는지'를 묻는다는 발상

시작은 단순한 질문입니다. "내 이름을 GPT나 Claude에 물으면 뭐라고 답할까?" 마케터·작가·1인 창업자라면 이 질문이 생각보다 중요합니다. 검색 트래픽이 LLM 답변으로 흡수되는 지금, LLM의 내부 표상에 내가 어떻게 들어가 있는지가 새로운 SEO와 비슷한 무게를 갖기 시작했거든요. 사람들이 이걸 GEO(Generative Engine Optimization)라고 부릅니다.

turtlesoup의 Are You in the Weights?는 이걸 측정 가능한 점수로 만들어버립니다. 작동 방식:

1. 입력된 이름을 여러 frontier LLM(Claude, GPT, 소형 OSS 등)에 병렬로 던집니다.
2. 응답을 Kimi K2로 클러스터링합니다. 응답이 한 사람을 향해 모이면 "인식 강도"가 높고, 흩어지면 낮습니다.
3. percentile을 산출해 "likely accurate" vs "probable hallucinations"를 자동 라벨링합니다.
4. 동시에 GPT-5.4 Image 2로 8비트 픽셀 초상화를 자동 생성합니다.

비용 최적화 포인트가 영리합니다. 클러스터링 같은 "많은 응답을 빠르게 정리"하는 단계는 굳이 비싼 frontier 모델을 쓰지 않고 Kimi K2로 내렸습니다. 이미지 생성만 GPT-5.4 Image 2로 올렸고요. 솔로가 운영비를 의식하며 모델을 단계별로 배치한 거죠.

24시간 안에 일어난 진짜 사건

런칭 직후 HN 톱 댓글이 따끔하게 찔렀습니다. "검색한 모든 이름이 끝없이 페이징되는 공개 리더보드에 자동 등록되는 거 아닌가? 그러면 다음 학습셋에 다시 들어가는데?" 정확한 지적이었습니다. 누군가의 이름을 호기심에 검색했을 뿐인데, 그 이름이 정렬 가능한 공개 명부에 박히고, 그 명부가 다시 크롤링되어 다음 LLM의 학습 데이터로 들어갈 수 있다는 거니까요. 프라이버시 펜스가 무너질 수 있는 구조였습니다.

여기서 보통의 시나리오는 두 가지입니다. (1) 작성자가 침묵하고 며칠 뒤 패치 (2) 또는 침묵하다 사이트가 묻힘. turtlesoup는 셋째 경로를 골랐습니다. HN 토론이 살아있는 상태에서 "Just disabled latest!"라고 답하며 리더보드 페이지네이션을 즉시 캡(상한) 처리해 배포했습니다. 라이브 토론이 그대로 코드 의사결정의 PM 회의가 된 셈입니다.

이게 왜 인상적이냐면, 바이브코딩으로 만든 제품의 약점이 정확히 "엣지 케이스를 생각하지 않고 빠르게 출시"하는 데서 나오기 때문입니다. 빠르게 만든다는 건 빠르게 틀린다는 뜻이고, 그걸 만회하는 길은 "빠르게 고친다"뿐입니다. turtlesoup는 그 사이클을 24시간 안에 한 바퀴 돌려보였습니다.

바이브코더에게 남기는 두 가지 레슨

1. GEO 측정은 이제 진짜 시작이다

intheweights.com이 보여준 건 "내가 LLM에 어떻게 표상되어 있는지"를 점수로 만들 수 있다는 가능성입니다. 1인 마케터·개인 브랜드·작가에게 이건 향후 1~2년의 새 SEO입니다.

• 내 이름·내 회사·내 제품을 분기마다 측정.
• 인식 강도가 낮으면 외부 인용 가능한 콘텐츠를 늘리는 쪽으로.
• 환각이 섞이면 자기 정정 콘텐츠(공식 약력 페이지, 풍부한 위키 인용)를 먼저 보강.

2. 바이브코딩 제품에는 '프라이버시 핫픽스 플레이북'이 필요하다

turtlesoup가 한 일을 일반화하면 이렇습니다.

• 공개 명부를 만들지 말 것. 사용자 입력이 다른 사용자에게 자동 노출되는 구조는 거의 항상 위험합니다.
• 만들었다면 opt-out, noindex, 페이지네이션 캡, 검색엔진 robots 차단을 첫 배포부터 박을 것.
• 24시간 이내 핫픽스 권한을 자기 자신에게 부여하기. 솔로라면 배포 파이프라인을 그만큼 짧게.

# 1인 SaaS 프라이버시 첫 배포 체크리스트
- [ ] 사용자 입력이 다른 사용자에게 노출되는 페이지가 있는가?
- [ ] 그 페이지에 noindex / robots disallow가 적용되어 있는가?
- [ ] 페이지네이션 상한이 정해져 있는가? (무한 페이징 = 크롤링 친화)
- [ ] 24시간 이내 비활성화 가능한 feature flag가 있는가?

FAQ

Q. 내 이름을 intheweights.com에 검색해도 안전한가요?

현재는 latest 리더보드가 비활성화된 상태이고 페이지네이션이 캡 처리되어 있어 위험은 상당히 줄었습니다. 다만 "한 번 검색된 기록"이 작성자 서버에 남는지는 별도 확인이 필요합니다. 본인 이름이 아니라 가공된 텍스트나 가명으로 워크플로만 체험해보는 것도 방법입니다.

Q. GEO 측정 도구는 intheweights.com 말고도 있나요?

비슷한 콘셉트의 도구들이 빠르게 늘고 있습니다. 다만 "여러 모델 병렬 + 클러스터링 + 시각화"라는 워크플로를 가장 단순하게 시연한 게 이 사이트입니다. 직접 평가 파이프라인을 짜서 사내 제품·인물에 적용하는 게 장기적으로는 더 신뢰할 수 있는 길입니다.

Q. Kimi K2를 클러스터링에 쓰는 게 적합한가요?

비용 대비 성능에서 적절한 선택입니다. 응답 묶기·요지 추출 같은 단순 분류 작업이라면 Claude·GPT 정상 모델을 호출하지 않아도 충분합니다. "모델은 단계별로 다르게 쓴다"가 2026년 바이브코딩의 비용 절감 핵심이기도 합니다.

마무리

intheweights.com은 두 가지 의미에서 흥미롭습니다. 하나는 "LLM이 나를 아는지"라는 새 GEO 질문을 점수화한 첫 시도라는 점, 다른 하나는 솔로가 출시 24시간 안에 프라이버시 백래시를 라이브 핫픽스로 봉합하는 의사결정을 공개적으로 했다는 점입니다. 바이브코딩 시대의 좋은 제품은 "틀리지 않는 제품"이 아니라 "빨리 고치는 제품"이 아닐까요.