돌아간다 ≠ 맞는다.
코드든 분석 숫자든 — 말 대신 증거로 확인하는 검증의 사다리
🤖 "요청하신 집계를 완료했습니다. 모든 케이스에서 정상 동작하며, 결과는 정확합니다."
이 보고, 어디까지 믿으시겠습니까?
AI 결과물은 엉터리로 틀리지 않고 그럴듯하게 틀립니다. 실행된다고, 숫자가 나온다고 맞는 건 아닙니다.
결과를 보여주기 전에 검증표를 붙여줘. 1) 입력 행 수 · 출력 행 수 · 제외한 행과 그 이유 2) 내가 준 정답 3건과 네 계산 결과 비교 3) 표의 숫자마다 원본 파일 · 시트 · 행 위치 코드를 고쳤다면 테스트 실행 출력을 그대로 붙여줘.
def is_expired(token): """토큰 만료 여부를 반환""" now = datetime.now() return now > token.expires_at # 리뷰어: "깔끔하네요" · 내 PC에서 테스트 통과
컴파일러도, 실행도, 내 PC의 테스트도 이 버그를 잡지 못했습니다.
항공·의료에서 오래 연구된 현상 — 기계가 말하면 교차 확인을 건너뜁니다.
매끄러운 설명이 맞다는 증거는 아닙니다. 말투는 품질 신호가 아닙니다.
동료 결과는 꼼꼼히 따지면서 AI 결과는 그냥 통과 — 그러다 내 이름으로 나갑니다.
버그가 검토 단계가 아니라 보고서에서 발견됐습니다.
금요일에 "입력 lot 수 = 출력 lot 수?" 한 줄만 확인했으면 10분에 끝났습니다.
코드를 못 읽어도 2단까지는 누구나 오릅니다 — 비개발자의 검증은 여기서 시작합니다.
# ❌ 말로 하는 완료 보고 🤖 "수정했습니다. 이제 모든 테스트가 통과합니다. 완벽하게 동작해요!" # 실제로 실행하지 않고 # 이렇게 보고하는 경우가 있습니다
# ✅ 증거를 요구하는 요청 "테스트를 직접 실행하고 출력 전체를 보여줘. 실패하면 에러 원문 그대로." "바뀐 화면을 스크린샷으로 보여줘." "마지막 명령의 종료 코드도 함께."
답을 이미 아는 3건을 먼저 넣어 봅니다. 엑셀로 직접 계산한 lot 3개의 수율과 AI 결과가 같은가?
입력 1,240행 → 출력 몇 행? 중복·빈칸·제외한 건수와 합계가 원본과 맞는지 숫자로 받습니다.
숫자마다 파일·시트·행을 달게 하고, 아무거나 3개 골라 원본 셀과 맞춰 봅니다.
"집계표와 함께 검증표를 붙여줘 — 입력·출력 행 수와 제외한 행의 이유,
내가 첨부한 lot 3개 정답과의 비교, 표의 숫자마다 원본 파일·시트·행 번호."
하나라도 어긋나면 그대로 쓰지 말고 원인부터 — 디버깅 세미나: 고칠수록 꼬일 때
커밋하는 순간 검사·빠른 테스트가 돕니다. 실패하면 커밋 자체를 거절합니다.
올릴 때마다 깨끗한 환경에서 전체 테스트 — "내 PC에서는 되는데요"를 막습니다.
PR마다 1차 리뷰를 자동으로 — 사람이 보기 전에 뻔한 문제를 거릅니다.
테스트는 "이 입력엔 이 출력"이라는 '맞다'의 정의를 코드로 적어 둔 것입니다. 한 번 써 두면 다음 수정 때도 계속 지켜 줍니다.
"먼저 이 기능의 실패하는 테스트부터 써줘. 구현은 아직 하지 마. 내가 테스트를 확인하면, 그때 통과할 때까지 구현해줘. 테스트 파일은 수정하지 마."
# tests/test_yield.py — 사람이 확정한 테스트 def test_yield_calc(): assert calc_yield(lot42) == 98.2
# 🤖 조용히 이렇게 바뀌어 있습니다 def test_yield_calc(): result = calc_yield(lot42) assert result is not None # 통과
"테스트 파일은 수정 금지. 통과 못 하면 못 한다고 보고해." — CLAUDE.md에 적어 두면 매번 말하지 않아도 됩니다.
저장 전에 변경 목록에 tests/가 보이면 일단 멈춥니다. 훅으로 자동 경보를 걸 수도 있습니다.
구현 전부는 못 읽어도 테스트는 직접 확인 — 채점 기준이 지켜지면 나머지는 기계가 판정합니다.
한 걸음 더 테스트를 쓰는 세션과 구현하는 세션을 나누면 출제자와 응시자가 분리됩니다.
# ❌ 두루뭉술한 요청 "테스트도 만들어줘." # → 성공 케이스 3개. 끝. # 자기 코드에 맞춘, # 절대 실패하지 않는 테스트
# ✅ 케이스를 짚어 주는 요청 "test_yield_calc에 다음을 넣어줘: - 경계값: 수율 0%·100%, wafer 0장 - 잘못된 입력: 측정값 누락·글자 섞임 → 오류 - 회귀: 이번에 고친 중복 lot 버그 재현 실패 메시지는 원인을 알 수 있게."
앞에서 본 '실수 5가지'가 그대로 테스트 케이스 목록입니다.
방금 그 코드를 쓴 같은 대화. 자기 가정에 물들어 같은 실수를 못 봅니다.
새 세션·서브에이전트에게 결과물만 넘겨 리뷰. 선입견 없는 눈이 더 잘 잡습니다.
기계가 못 보는 방향·의도·도메인의 최종 판단.
쓴 사람과 보는 눈이 멀수록 잘 보입니다.
내 세션에서 바로. 수 초~수 분, 평소 사용량 안에서.
강도 low~max · --fix로 바로 수정
리뷰어 여럿이 찾고 발견마다 재현해 확인. 5~15분, 백그라운드.
무료 3회 뒤 건당 약 $5~25 (사용 크레딧)
PR이 열리면 자동으로 줄마다 심각도별 코멘트. 승인·차단은 하지 않습니다.
Team·Enterprise · REVIEW.md로 기준 조정
사내 환경(Bedrock·ZDR 등)에서는 클라우드 리뷰가 막혀 있을 수 있습니다. /code-review는 어디서나 됩니다.
🧭 방향이 맞나 · 🔐 보안 · 🏭 도메인 가정(수율 정의·단위·장비) · 🚧 경계 조건
문법 · 스타일 · 포맷 · 오타 · 단순 버그 — 사람이 눈을 쓸 곳이 아닙니다.
300줄 변경 한 번보다 30줄 변경 열 번이 안전합니다 — github 세미나의 '작은 커밋'과 같은 이야기.
결과가 정해진 코드. 같은 입력이면 같은 정답.
결과가 매번 조금씩 다른 AI 작업 — 프롬프트·스킬·요약 봇. "대체로 맞나"를 점수로.
입력과 기대 출력 20~50건. 앞의 '정답 심기'를 모아 둔 것.
프롬프트를 바꿀 때마다 정답지에 다시 돌려 점수 비교.
채점을 AI에게 맡겨도 채점자도 틀립니다. 몇 건은 사람이 직접.
가볍게 · 기본 · 풀세트
모든 일을 풀세트로 검증하는 것도 낭비입니다 — 다이얼을 돌릴 줄 아는 게 실력.
☑️ 실행 결과를 직접 받았나 — 말로 된 보고 말고
☑️ 답을 아는 3건으로 대조했나
☑️ 행 수·합계·출처가 원본과 맞나
☑️ 경계값·잘못된 입력 테스트가 있나 — 테스트 파일이 바뀌진 않았나
☑️ 다른 눈(새 세션·동료)이 봤나
☑️ 도메인 가정(단위·수율 정의·장비)이 맞나
하나라도 어긋났다면 → 고칠수록 꼬일 때 — AI와 함께 디버깅하기
AI 결과물의 위험은 '틀림'이 아니라 그럴듯하게 틀림입니다.
실행 출력을 받고, 답을 아는 입력으로 대조하고, 숫자의 출처를 확인합니다.
작업 무게에 검증 강도를 맞추세요 — 전부 풀세트도, 전부 눈대중도 아닙니다.
다음으로 → 디버깅하기 · 서브에이전트와 오케스트레이션 · 보안과 거버넌스
질문을 남겨 주세요 — 돌아간다 ≠ 맞는다