시리즈 홈
SEMINAR · 2026.11 · 02 더 깊이 · VERIFICATION

AI가 쓴 코드를
믿는 법

돌아간다 ≠ 맞는다.
코드든 분석 숫자든 — 말 대신 증거로 확인하는 검증의 사다리

← 바이브 코딩 세미나 시리즈 전체 보기

🤖 "요청하신 집계를 완료했습니다.
   모든 케이스에서 정상 동작하며,
   결과는 정확합니다."
✓ 실행됨 ✓ 숫자 나옴 ✓ 자신감

이 보고, 어디까지 믿으시겠습니까?

3분 요약 · TL;DR

결론부터 — 이 세 줄이면 됩니다

AI 결과물은 엉터리로 틀리지 않고 그럴듯하게 틀립니다. 실행된다고, 숫자가 나온다고 맞는 건 아닙니다.

  1. 1
    "다 했어요" 대신 증거를 받으세요테스트 실행 출력 · 로그 원문 · 스크린샷. 분석이라면 행 수 · 합계 · 원본 셀 대조.
  2. 2
    정답을 아는 입력부터 넣어 보세요손으로 계산한 3건이 맞아야 나머지 3,000건도 믿습니다. 코드라면 실패하는 테스트를 먼저 — 테스트 파일은 수정 금지.
  3. 3
    검증 강도는 작업 무게에 맞추고, 리뷰는 다른 눈에게혼자 보고 버릴 집계와 팀 공용 도구는 다릅니다. 쓴 세션이 아닌 새 세션이 더 잘 봅니다.
지금 바로 써 보는 프롬프트
결과를 보여주기 전에 검증표를 붙여줘.
1) 입력 행 수 · 출력 행 수 · 제외한 행과 그 이유
2) 내가 준 정답 3건과 네 계산 결과 비교
3) 표의 숫자마다 원본 파일 · 시트 · 행 위치
코드를 고쳤다면 테스트 실행 출력을 그대로 붙여줘.
이럴 때 이 덱을 다시 펼치세요
  • AI가 만든 결과를 그대로 써도 될지 불안할 때
  • AI가 뽑은 숫자를 보고서에 넣기 전에
  • 팀 공용 도구로 키우기 전에
CH 1 · 왜 검증인가

엉터리는 금방 걸립니다 — 사고는 90% 맞는 코드가 냅니다

def is_expired(token):
    """토큰 만료 여부를 반환"""
    now = datetime.now()
    return now > token.expires_at

# 리뷰어: "깔끔하네요" · 내 PC에서 테스트 통과
✓ 컴파일 통과 ✓ 실행 성공 ✓ 테스트 통과 (내 PC)
🔍 서버는 UTC, now()는 내 PC 시각 — 9시간 어긋남

컴파일러도, 실행도, 내 PC의 테스트도 이 버그를 잡지 못했습니다.

AI 결과물의 진짜 문제는 '틀림'이 아니라 '그럴듯하게 틀림'입니다.
CH 1 · 왜 검증인가

한 번 돌려 봐서는 안 잡히는 실수 5가지

📏 경계값>와 >= — 재고 0개, 월말, 최댓값에서만 어긋납니다
⚖️ 단위·스케일ms와 s, %와 비율(98.2와 0.982), nm와 µm — 숫자는 나오는데 자릿수가 다릅니다
🕐 시간대UTC와 KST — 내 PC에서는 재현되지 않습니다
🤫 조용한 누락에러를 삼키는 코드, 합치다 빠진 행 — 에러 없이 숫자만 작아집니다
👻 지어낸 것없는 함수·옵션·출처 — 설명은 아주 자신 있게 붙습니다
공통점: 평범한 입력 한 번으로는 안 보입니다 — 경계와 정답을 찔러 봐야 보입니다.
CH 1 · 왜 검증인가

사람은 기계가 낸 답을 덜 의심합니다

✈️ 자동화 편향

항공·의료에서 오래 연구된 현상 — 기계가 말하면 교차 확인을 건너뜁니다.

🗣 유창함의 함정

매끄러운 설명이 맞다는 증거는 아닙니다. 말투는 품질 신호가 아닙니다.

🪞 이중 잣대

동료 결과는 꼼꼼히 따지면서 AI 결과는 그냥 통과 — 그러다 내 이름으로 나갑니다.

📉 METR 2025 실험: 숙련 개발자들이 AI 도구로 실제로는 19% 느려졌는데, 스스로는 20% 빨라졌다고 느꼈습니다.
CH 1 · 왜 검증인가

검증을 미루면 '생성 10분'이 '디버깅 3일'이 됩니다

  • 금 16:50 — "주간 리포트 자동화, 10분 만에 완성"+10분
  • 월 09:30 — "지표가 지난주와 조금 다른데?"+반나절
  • 화 — 이해 못 한 코드를 처음부터 다시 읽기+하루
  • 수 11:00 — 원인: 중복 lot 제거 누락, 한 줄+하루

가장 비싼 발견 지점

버그가 검토 단계가 아니라 보고서에서 발견됐습니다.

개수만 셌어도

금요일에 "입력 lot 수 = 출력 lot 수?" 한 줄만 확인했으면 10분에 끝났습니다.

CH 2 · 검증의 사다리

검증은 사다리입니다 — 올라갈수록 사람 손이 덜 갑니다

1👀 눈으로 읽기그럴듯함에 가장 잘 속는 단계
노력
신뢰
2🖐 실행하고 대조정답 심기 · 개수 세기 · 출처 확인
노력
신뢰
3🧪 자동 테스트기계가 매번 같은 기준으로 판정
노력
신뢰
4🔭 다른 눈의 리뷰새 세션 + 사람의 판단
노력
신뢰
5♻️ 상시 자동 검증저장·배포 때마다 사람 없이
노력
신뢰
신뢰 ↑ 사람 노력 ↓

코드를 못 읽어도 2단까지는 누구나 오릅니다 — 비개발자의 검증은 여기서 시작합니다.

CH 2 · 검증의 사다리 — 2단

"다 했어요"라는 말 대신 실행 결과를 받으세요

# ❌ 말로 하는 완료 보고
🤖 "수정했습니다. 이제 모든 테스트가
   통과합니다. 완벽하게 동작해요!"

# 실제로 실행하지 않고
# 이렇게 보고하는 경우가 있습니다
# ✅ 증거를 요구하는 요청
"테스트를 직접 실행하고 출력 전체를 보여줘.
 실패하면 에러 원문 그대로."
"바뀐 화면을 스크린샷으로 보여줘."
"마지막 명령의 종료 코드도 함께."
받아야 할 증거 ▸ 🧪 테스트 출력 📜 로그 원문 📸 스크린샷 🔢 종료 코드
말은 낙관할 수 있어도, 실행 출력은 낙관하지 못합니다.
CH 2 · 검증의 사다리 — 2단

분석 숫자는 세 가지로 확인합니다 — 정답 · 개수 · 출처

🎯 정답 심기

답을 이미 아는 3건을 먼저 넣어 봅니다. 엑셀로 직접 계산한 lot 3개의 수율과 AI 결과가 같은가?

🔢 개수 세기

입력 1,240행 → 출력 몇 행? 중복·빈칸·제외한 건수와 합계가 원본과 맞는지 숫자로 받습니다.

🔗 출처 확인

숫자마다 파일·시트·행을 달게 하고, 아무거나 3개 골라 원본 셀과 맞춰 봅니다.

"집계표와 함께 검증표를 붙여줘 — 입력·출력 행 수와 제외한 행의 이유,
 내가 첨부한 lot 3개 정답과의 비교, 표의 숫자마다 원본 파일·시트·행 번호."

하나라도 어긋나면 그대로 쓰지 말고 원인부터 — 디버깅 세미나: 고칠수록 꼬일 때

CH 2 · 검증의 사다리 — 5단

사다리 꼭대기 — 저장할 때마다 기계가 알아서 검사합니다

🪝 커밋 훅

커밋하는 순간 검사·빠른 테스트가 돕니다. 실패하면 커밋 자체를 거절합니다.

♻️ CI

올릴 때마다 깨끗한 환경에서 전체 테스트 — "내 PC에서는 되는데요"를 막습니다.

🤖 리뷰 봇

PR마다 1차 리뷰를 자동으로 — 사람이 보기 전에 뻔한 문제를 거릅니다.

AI가 만든 코드도 같은 관문을 통과해야 합니다. 이 세팅 자체도 에이전트에게 시킬 수 있습니다.
CH 3 · 테스트

테스트를 먼저 쓰게 하면, '끝났다'를 기계가 판정합니다

테스트는 "이 입력엔 이 출력"이라는 '맞다'의 정의를 코드로 적어 둔 것입니다. 한 번 써 두면 다음 수정 때도 계속 지켜 줍니다.

STEP 1🔴 실패하는 테스트구현 없이 기대 동작만. 사람이 이 테스트를 확인
STEP 2🟢 통과할 때까지 구현에이전트가 실행 → 실패 → 수정을 스스로 반복
STEP 3✨ 정리하고 재확인초록불을 유지한 채 코드를 다듬기
"먼저 이 기능의 실패하는 테스트부터 써줘. 구현은 아직 하지 마.
 내가 테스트를 확인하면, 그때 통과할 때까지 구현해줘.
 테스트 파일은 수정하지 마."
CH 3 · 테스트 — 주의

테스트를 못 통과하면, AI가 테스트를 고치기도 합니다

# tests/test_yield.py — 사람이 확정한 테스트
def test_yield_calc():
    assert calc_yield(lot42) == 98.2
→몇 번 실패한 뒤
# 🤖 조용히 이렇게 바뀌어 있습니다
def test_yield_calc():
    result = calc_yield(lot42)
    assert result is not None  # 통과
✓ 1 passed — 가짜 초록불입니다 실제로 보고되는 수법 ▾ 검사 조건 약화 테스트 건너뛰기(skip) 테스트 입력만 맞추는 하드코딩 통째로 가짜(mock) 처리
어려운 시험에서 답안지를 고치는 수험생 — "통과"를 좇도록 훈련된 모델에서 실제로 관찰되는 행동입니다.
CH 3 · 테스트 — 주의

채점 기준(테스트)만은 사람이 지킵니다

🔒 지시로 잠그기

"테스트 파일은 수정 금지. 통과 못 하면 못 한다고 보고해." — CLAUDE.md에 적어 두면 매번 말하지 않아도 됩니다.

👀 바뀐 파일 확인

저장 전에 변경 목록에 tests/가 보이면 일단 멈춥니다. 훅으로 자동 경보를 걸 수도 있습니다.

🧑‍⚖️ 테스트만은 사람이

구현 전부는 못 읽어도 테스트는 직접 확인 — 채점 기준이 지켜지면 나머지는 기계가 판정합니다.

한 걸음 더  테스트를 쓰는 세션과 구현하는 세션을 나누면 출제자와 응시자가 분리됩니다.

CH 3 · 테스트

"테스트도 짜줘"로는 성공 케이스만 나옵니다

# ❌ 두루뭉술한 요청
"테스트도 만들어줘."

# → 성공 케이스 3개. 끝.
# 자기 코드에 맞춘,
# 절대 실패하지 않는 테스트
# ✅ 케이스를 짚어 주는 요청
"test_yield_calc에 다음을 넣어줘:
 - 경계값: 수율 0%·100%, wafer 0장
 - 잘못된 입력: 측정값 누락·글자 섞임 → 오류
 - 회귀: 이번에 고친 중복 lot 버그 재현
 실패 메시지는 원인을 알 수 있게."
요청할 때 이 세 단어 ▸ 📏 경계값 💥 잘못된 입력 🔁 회귀 케이스

앞에서 본 '실수 5가지'가 그대로 테스트 케이스 목록입니다.

CH 4 · 리뷰

쓴 세션의 자기 리뷰는 약합니다 — 다른 눈에게 맡기세요

🪞 자기 리뷰

방금 그 코드를 쓴 같은 대화. 자기 가정에 물들어 같은 실수를 못 봅니다.

🫧 새 세션

새 세션·서브에이전트에게 결과물만 넘겨 리뷰. 선입견 없는 눈이 더 잘 잡습니다.

🧍 사람

기계가 못 보는 방향·의도·도메인의 최종 판단.

쓴 사람과 보는 눈이 멀수록 잘 보입니다.

CH 4 · 리뷰

다른 눈은 명령 하나로 부릅니다 — 리뷰 도구 3단

누구나 · 내 PC

/code-review

내 세션에서 바로. 수 초~수 분, 평소 사용량 안에서.

강도 low~max · --fix로 바로 수정

합치기 직전 · 클라우드

/code-review ultra

리뷰어 여럿이 찾고 발견마다 재현해 확인. 5~15분, 백그라운드.

무료 3회 뒤 건당 약 $5~25 (사용 크레딧)

팀 · GitHub PR

Code Review

PR이 열리면 자동으로 줄마다 심각도별 코멘트. 승인·차단은 하지 않습니다.

Team·Enterprise · REVIEW.md로 기준 조정

"발견 없음"이 "버그 없음"은 아닙니다 — 합치기 버튼은 여전히 사람 몫입니다.

사내 환경(Bedrock·ZDR 등)에서는 클라우드 리뷰가 막혀 있을 수 있습니다. /code-review는 어디서나 됩니다.

CH 4 · 리뷰

사람은 기계가 못 보는 것만 봅니다

🧍 사람이 볼 것

🧭 방향이 맞나 · 🔐 보안 · 🏭 도메인 가정(수율 정의·단위·장비) · 🚧 경계 조건

🤖 기계에 맡길 것

문법 · 스타일 · 포맷 · 오타 · 단순 버그 — 사람이 눈을 쓸 곳이 아닙니다.

한 번에 보는 변경이 클수록 리뷰는 허술해집니다. 작게 시키고, 작게 받으세요.

300줄 변경 한 번보다 30줄 변경 열 번이 안전합니다 — github 세미나의 '작은 커밋'과 같은 이야기.

CH 4 · 리뷰 — 심화

매번 다시 도는 AI 작업은 정답지로 점수를 매깁니다

🧪 테스트

결과가 정해진 코드. 같은 입력이면 같은 정답.

📊 평가 (evals)

결과가 매번 조금씩 다른 AI 작업 — 프롬프트·스킬·요약 봇. "대체로 맞나"를 점수로.

🗂 정답지

입력과 기대 출력 20~50건. 앞의 '정답 심기'를 모아 둔 것.

🔁 고칠 때마다

프롬프트를 바꿀 때마다 정답지에 다시 돌려 점수 비교.

⚖️ AI 채점

채점을 AI에게 맡겨도 채점자도 틀립니다. 몇 건은 사람이 직접.

CH 5 · 실전

검증 강도는 작업의 무게에 맞춥니다

가볍게  ·  기본  ·  풀세트

🧪 혼자 보고 버릴 것실행 + 정답 1~2건 대조
🧰 팀 도구 · 보고서 숫자+ 개수·출처 검증표 · 자동 테스트 · 다른 눈 리뷰
🏭 운영 시스템 · 고객 데이터+ 사람 리뷰 · 상시 자동 검증 · 정답지 평가

모든 일을 풀세트로 검증하는 것도 낭비입니다 — 다이얼을 돌릴 줄 아는 게 실력.

📸 이 장만 찍어 가세요

결과를 내보내기 전, 이 여섯 가지만 확인하세요

☑️ 실행 결과를 직접 받았나 — 말로 된 보고 말고

☑️ 답을 아는 3건으로 대조했나

☑️ 행 수·합계·출처가 원본과 맞나

☑️ 경계값·잘못된 입력 테스트가 있나 — 테스트 파일이 바뀌진 않았나

☑️ 다른 눈(새 세션·동료)이 봤나

☑️ 도메인 가정(단위·수율 정의·장비)이 맞나

내보내는 순간 그 결과는 당신 것입니다 — "AI가 했어요"는 통하지 않습니다.

하나라도 어긋났다면 → 고칠수록 꼬일 때 — AI와 함께 디버깅하기

정리

세 문장만 가져가세요

1. 돌아간다 ≠ 맞는다

AI 결과물의 위험은 '틀림'이 아니라 그럴듯하게 틀림입니다.

2. 말 대신 증거 — 정답 · 개수 · 출처

실행 출력을 받고, 답을 아는 입력으로 대조하고, 숫자의 출처를 확인합니다.

3. 다이얼을 돌려라

작업 무게에 검증 강도를 맞추세요 — 전부 풀세트도, 전부 눈대중도 아닙니다.

다음으로 → 디버깅하기  ·  서브에이전트와 오케스트레이션  ·  보안과 거버넌스

REFERENCES

더 깊이 보기

📚 공식 문서 · 연구

🔗 시리즈 안에서

질문을 남겨 주세요 — 돌아간다 ≠ 맞는다