비교

하드웨어와 소프트웨어 나란히. 각 옵션이 이기는 곳.

LLM 추론용 RTX 4090 vs 3090
같은 VRAM, 다른 속도. 4090이 대역폭에서 이기는 곳과 옛 3090이 자리 지키는 곳.
LLM 서빙용 A100 vs H100
둘 다 데이터센터 LLM 서빙용. H100이 모든 축에서 빠르고, A100은 더 싼 중고 시장.
로컬 LLM에 맥 스튜디오 M4 Ultra vs RTX 4090
같은 질문에 대한 매우 다른 두 답. 메모리 크기 vs 속도.
Ollama vs vLLM: 무엇을 쓸까
개인용은 Ollama, 서빙은 vLLM. 잘못 고르면 답답해짐.