AI 모델을 한 번만 테스트하면 안 되는 이유 — 벤치마크 재현성 검증기

Fri, 30 Oct 2026 10:25:00 +0900

로컬 코딩 LLM 파이프라인을 검증하면서 처음엔 단순하게 접근했다. 모델별로 딱 한 번씩 돌려보고, 가장 빠르고 결과물이 깔끔한 모델을 고르면 된다고 생각했다. 그런데 최종 결정을 내리기 직전에 “정말 이 결과가 우연이 아닐까?“라는 의문이 들어서, 가장 유력했던 모델(DeepSeek-Coder-V2-16B)만 완전히 동일한 프롬프트로 한 번 더 돌려봤다.

두 번째 실행에서 벌어진 일

1차 실행에서는 9분 30초 만에 요청한 4개 함수(add, subtract, multiply, divide)만 정확히 작성하고 끝났다. 2차 실행은 22분 55초가 걸렸고, 요청하지 않은 함수 4개(거듭제곱, 나머지, 제곱근, 팩토리얼)를 임의로 추가했으며, 코드 스타일 오류(flake8)도 훨씬 많이 남겼다.

LLM벤치마크 on Simon의 AI 시대에 살아남는 법

AI 모델을 한 번만 테스트하면 안 되는 이유 — 벤치마크 재현성 검증기

두 번째 실행에서 벌어진 일