같은 프롬프트, 네 가지 로컬 코딩 모델 — 계산기 테스트로 본 실제 속도와 신뢰성

Fri, 09 Oct 2026 22:15:00 +0900

설치를 마쳤으니 이제 실측이다. Aider가 설치된 ~/Projects/pipeline-test 저장소에서, 모델별로 git 브랜치를 나눠 완전히 동일한 프롬프트를 던졌다.

간단한 계산기 모듈을 만들어줘. add, subtract, multiply, divide 함수와
각각의 pytest 테스트 코드도 함께 작성해줘.

의도적으로 아주 쉬운 작업을 골랐다. 이 정도도 제대로 못 하면 더 복잡한 작업은 아예 시도할 이유가 없기 때문이다.

결과 요약

모델	소요 시간	결과	비고
Qwen3-Coder-30B	~30분	✅ 성공	flake8 자동 수정까지 완료. 요청하지 않은 거듭제곱·나머지·제곱근·팩토리얼 함수를 임의로 추가함
Qwen2.5-Coder-7B	—	❌ 실패	`whole`·`diff` 포맷 둘 다 신뢰 불가 (아래 상세)
DeepSeek-Coder-V2-16B	9분 30초	✅ 성공	가장 빠름. flake8 일부 미해결
Qwen2.5-Coder-14B	27분 43초	✅ 성공	가장 느림. flake8은 완전히 깨끗하게 해결

가장 작은 모델인 Qwen2.5-Coder-7B는 흥미로운 실패 방식을 두 개나 보여줬다.