LLM 추론용 RTX 4090 vs 3090
같은 VRAM, 다른 속도. 4090이 대역폭에서 이기는 곳과 옛 3090이 자리 지키는 곳.
둘 다 24GB VRAM. 4090은 1008GB/s 대역폭 + FP16 82 TFLOPs. 3090은 936GB/s + 35 TFLOPs.
LLM 토큰 생성(메모리 바운드)은 같은 워크로드에서 4090이 약 10-15% 빠름. 긴 프롬프트 프리필(컴퓨트 바운드)은 4090이 훨씬 앞섬, 종종 2배.
중고 3090은 700-900달러. 신품 4090은 1500-1800달러. 한 번에 한 모델만, 중소 사이즈만 돌리면 4090 승. 70B 2장 셋업이면 3090 2장이 같은 VRAM에 GB당 절반 비용.
4090 : 7B-13B 속도, 부수 이미지 생성, 단일 카드 단순함. 3090 2장 : 70B 클래스, 13B 32k+ 컨텍스트, 배칭 다중 사용자 서빙.