미니PC로 로컬 LLM 서버를 살까 고민한 기록 — Ryzen 9 6900HX vs Ryzen 7 5825U

로컬 코딩 LLM 파이프라인을 인텔 아이맥으로 실험하기 전, 사실 “그냥 이 목적으로 미니PC를 새로 하나 사는 게 낫지 않을까"도 진지하게 고민했다. 결국 사지 않기로 했지만, 그 과정에서 비교했던 내용을 기록으로 남긴다.

왜 미니PC를 고려했나

가장 먼저 배제한 건 유휴 휴대폰(갤럭시 퀀텀2)이었다. 로컬 LLM을 돌리기엔 RAM이 4-6GB로 너무 작고, 발열·배터리 제약도 있어 초당 1~3토큰 수준의 속도밖에 안 나올 것으로 판단했다. 그렇다면 남는 선택지는 기존 인텔 아이맥을 쓰거나, 이 용도로 새 기기를 사는 것 두 가지였다.

비교한 두 모델

BOSGAME의 두 미니PC 라인업을 놓고 비교했다.

지속적인 LLM 추론 작업 기준으로는 6900HX 모델이 1.3-1.8배 빠를 것으로 추정했다. TDP가 3배 차이 나는 만큼 지속 성능 격차가 크고, 메모리 대역폭도 DDR5/LPDDR5 쪽이 유리하다는 게 이유였다.

그럼에도 사지 않은 이유

두 모델 다 20만 원 안팎의 가격 차이였지만, 결국 구매 자체를 보류했다. 이유는 단순하다 — 이미 놀고 있는 인텔 아이맥이 있는데, 결과가 검증되지도 않은 상태에서 전용 기기를 먼저 사는 건 순서가 맞지 않다고 판단했기 때문이다. 아이맥의 CPU 성능이 이 두 미니PC보다 낫든 못하든, 일단 기존 자원으로 파이프라인 자체가 실용적인지부터 검증하는 게 우선이었다.

실제로 이후 진행한 아이맥 실측 테스트에서 확인한 바로는(별도 글에서 다뤘듯), CPU 전용 추론 자체가 재현성 문제와 시간 문제로 실용성이 없다는 결론에 도달했다. 만약 미니PC를 먼저 샀다면, TDP가 3배 높은 6900HX 모델을 골랐더라도 이 결론 자체는 크게 달라지지 않았을 가능성이 높다 — 둘 다 GPU 가속 없이 CPU/통합그래픽 수준으로 돌아가는 건 마찬가지였을 것이기 때문이다.

남은 교훈

돌아보면 “장비부터 사고 본다"는 유혹은 항상 있지만, 이번처럼 이미 손에 있는 자원으로 먼저 실용성을 검증하고, 그 결과에 따라 투자 여부를 결정하는 순서가 결과적으로 20만-30만 원을 아끼는 선택이었다. 다음에 정말 GPU 가속이 되는 전용 로컬 LLM 서버를 구축하기로 결정한다면, 이때 비교했던 미니PC 라인업이 다시 좋은 출발점이 될 것 같다.