로컬 LLM을 CPU로 돌릴 때 인텔 P/E코어와 AMD X3D 캐시는 얼마나 중요할까?

GPU 없이 CPU만으로 로컬 LLM을 돌려보면 토큰 생성 속도가 생각보다 느려서 당황하는 경우가 많습니다. 그 원인을 파고들다 보면 자연스럽게 이런 질문에 도달합니다. “인텔 코어 울트라 7 시리즈2의 P코어·E코어 구성이 성능에 영향을 줄까? AMD의 X3D 캐시는 어떨까?”

결론부터 말하면 두 요소 모두 영향은 있지만 생각보다 제한적이며, 진짜 병목은 따로 있습니다.

핵심 병목: 메모리 대역폭

llama.cpp 기반의 로컬 추론(Gemma 4 포함)에서 토큰 생성 속도를 결정하는 가장 큰 요인은 DRAM 대역폭입니다. 매 토큰을 생성할 때마다 수십억 개의 모델 가중치를 메모리에서 읽어와야 하기 때문입니다. 코어 수나 구조보다 메모리 속도가 먼저입니다.

같은 세대 CPU라도 메모리 구성에 따라 추론 속도 차이가 상당합니다.

• DDR5-6400 듀얼채널 > DDR5-4800 듀얼채널 > DDR5-6400 싱글채널 순입니다.
• 싱글채널 구성은 대역폭이 절반이 되므로 CPU 세대보다 훨씬 큰 영향을 줍니다.

인텔 코어 울트라 7 시리즈2 (Arrow Lake): P코어·E코어 혼재 구조

Arrow Lake는 Lion Cove(P코어)와 Skymont(E코어)를 혼합합니다. LLM 추론 관점에서의 영향은 다음과 같습니다.

E코어의 기여도는 존재하지만 제한적입니다. llama.cpp는 기본적으로 전체 스레드를 활용하므로 E코어도 추론에 참여합니다. 다만 Lion Cove가 HT(하이퍼스레딩)를 제거하고 IPC를 높인 반면 E코어와의 성능 격차가 크기 때문에, 스케줄러 오버헤드가 발생해 오히려 일관성이 떨어질 수 있습니다.

실용 팁: llama.cpp의 -t 옵션으로 E코어를 제외하고 P코어만 지정해 돌려보는 실험을 권장합니다. 순수 속도보다 응답 일관성이 올라가는 경우가 있습니다.

Arrow Lake의 실질적 약점은 P/E코어 구조 자체보다, Raptor Lake 대비 메모리 대역폭이 드라마틱하게 개선되지 않았고 초기 BIOS·드라이버 성숙도 문제가 겹쳤다는 점입니다.

AMD X3D 캐시: 효과는 모델 크기에 달려 있다

9800X3D, 9900X3D 등 X3D 계열의 대용량 L3(최대 128MB)가 LLM 추론에 미치는 영향은 모델 크기에 따라 크게 달라집니다.

X3D의 강점은 소형 양자화 모델에서만 빛납니다. 중형 이상 모델에서는 어차피 메모리 대역폭이 병목이 되어 캐시 용량의 이점이 사라집니다.

실용적 결론: CPU 조립 시 우선순위

“Gemma 4급 모델을 CPU로 쾌적하게 돌리고 싶다”는 목적이라면, 부품 선택 우선순위는 아래 순서로 생각하는 것이 합리적입니다.

1. DDR5 고속 듀얼채널 구성 — 이것이 핵심입니다. 메모리 슬롯 두 개를 반드시 채우고, 가능하면 DDR5-6000 이상을 노리세요.
2. 총 코어(스레드) 수 — E코어 포함 전체 스레드 수가 많을수록 추론에 유리합니다.
3. X3D 캐시 또는 P/E코어 비율 — 주로 사용하는 모델이 소형(1~3B)이라면 X3D가 의미 있지만, 그렇지 않다면 후순위입니다.

GPU와 병행 구성을 고려한다면

llama.cpp의 -ngl 옵션을 이용하면 모델 레이어의 일부를 GPU VRAM에 올리고 나머지를 CPU RAM에서 처리하는 혼합 모드를 쓸 수 있습니다. VRAM이 넉넉하지 않더라도 레이어 배분을 조정해 CPU 단독보다 훨씬 빠른 속도를 낼 수 있으므로, 조립 예산이 허락한다면 미들급 GPU 한 장을 함께 고려하는 것을 권장합니다.

Apple M 시리즈(Mac Mini 등)에서 로컬 LLM을 경험해봤다면 Unified Memory의 대역폭 이점을 체감했을 것입니다. x86 조립 PC에서 그 격차를 좁히려면 결국 GPU가 현실적인 해답입니다.

llama.cpp를 활용한 로컬 LLM 세팅 방법이나 양자화 포맷(Q4_K_M, Q5_K_S 등) 선택 기준이 궁금하신 분은 댓글로 남겨주세요.