LLM 서빙용 A100 vs H100
둘 다 데이터센터 LLM 서빙용. H100이 모든 축에서 빠르고, A100은 더 싼 중고 시장.
A100 80GB는 2039GB/s + FP16 78 TFLOPs. H100 80GB SXM은 3350GB/s + FP16 989 TFLOPs (FP8 sparsity로 실제 더 높음).
LLM 토큰 생성은 H100이 카드당 약 1.6배 빠름(대역폭). 프리필은 컴퓨트와 FP8 지원으로 5-10배. 학습은 더 큰 차이.
MSRP 격차 큼: A100 80GB 약 1.5만 달러, H100 80GB SXM 약 3만 달러. 중고는 격차 줄음. 클라우드 시간당은 H100이 A100의 약 1.7배.
고정 모델·고정 트래픽 서빙이면 A100이 토큰당 비용 우위. 무거운 프리필 에이전트나 학습이면 H100이 본전 회수.