Simon의 AI 시대에 살아남는 법
집에 있는 구형 인텔 아이맥이 눈에 밟혔다. 3GHz 6코어 i5, Radeon Pro 570X 4GB, 32GB DDR4 — 일반 업무용으로는 여전히 충분한 사양인데, 놀고 있는 게 아깝다는 생각이 들었다. 마침 로컬 오픈소스 LLM으로 코딩 보조 파이프라인을 만들어보고 싶었던 참이라, 이 아이맥을 실험대로 삼기로 했다.
목표는 단순했다. 로컬 LLM이 코드 초안을 자동으로 작성하고, Claude Code가 그 결과를 검증·수정·커밋하는 2단계 파이프라인을 만드는 것. “결과만 정확하면 시간이 오래 걸려도 괜찮다"는 전제를 깔고 시작했다.
GPU 가속, 기대는 접어야 했다
가장 먼저 확인한 건 Radeon Pro 570X로 추론을 가속할 수 있는지였다. 결론부터 말하면 불가능이다.
- Ollama의 Metal 가속 백엔드는 Apple Silicon 전용이다. Intel Mac에 탑재된 AMD GPU 경로 자체가 없다.
Momin010/ollama-vulkan-macos같은 비공식 Vulkan/MoltenVK 포크가 존재하긴 하지만, 검증된 건 Radeon Pro 5500M(8GB) 수준이고, 내 570X는 세대도 다르고 VRAM도 4GB뿐이다.- 애초에 테스트하려는 모델들(9~19GB)이 4GB VRAM에 올라가지도 않는다.
즉 이 아이맥에서는 순수 CPU 추론만 가능하다는 전제로 설계를 시작해야 했다.
모델 후보 3가지
CPU 전용, 32GB RAM 한도 안에서 돌아갈 수 있는 코딩 특화 오픈소스 모델을 기준으로 후보를 좁혔다.
| 모델 | 구조 | 크기 | 특징 |
|---|---|---|---|
| Qwen3-Coder-30B-A3B | MoE (총 30.5B / 활성 3.3B) | ~19GB (Q4_K_M) | Apache 2.0, 256K 네이티브 컨텍스트(확장 시 1M) |
| DeepSeek-Coder-V2-Lite-16B | MoE (총 16B / 활성 2.4B) | 12~13GB | 활성 파라미터가 가장 작아 이론상 가장 빠를 것으로 기대 |
| Qwen2.5-Coder-32B | Dense | ~20GB | HumanEval 92.7%로 벤치마크 최상위, 다만 dense라 전 파라미터가 매번 활성화됨 |
MoE(Mixture of Experts) 구조는 매 토큰마다 전체 파라미터 중 일부(활성 파라미터)만 계산에 참여시키는 방식이라, “활성 파라미터 수가 작을수록 CPU에서도 빠를 것"이라는 게 처음 세운 가설이었다. 이 가설이 실제로 맞았는지는 다음 글(모델 4종 실측 비교)에서 다룬다 — 스포일러를 하자면, 절반만 맞았다.
1차 선택은 Qwen3-Coder-30B로 정했다. MoE 효율성과 압도적인 컨텍스트 길이가 결정적이었다.
왜 굳이 CPU로 승부를 보려 했나
GPU 가속이 안 된다는 걸 알고도 진행한 이유는 간단하다. “느려도 정확하면 된다"는 전제 때문이었다. 어차피 로컬 LLM은 초안만 만들고, 최종 검증은 Claude Code가 하는 구조이니 시간이 다소 걸려도 무인 파이프라인으로 굴리면 된다고 판단했다.
이 판단이 실제로 얼마나 순진했는지는, 설치 과정에서부터 이미 드러나기 시작한다. 다음 글에서는 이 계획의 첫 번째 벽 — 2026년 인텔 맥에서 Homebrew 설치 자체가 막혀버린 사건을 다룬다.
💬 댓글