H100 A100 GPU는 각각 2022년, 2020년에 출시된 제품입니다. GPU 세계에서 2~4년은 꽤 오래된 축에 속합니다. NVIDIA는 이미 Blackwell 아키텍처(B200, B300)를 내놓았고, 스펙 시트만 보면 이전 세대를 압도합니다. 그런데 이상한 일이 벌어지고 있습니다. 고객들이 여전히 H100과 A100을 찾고 있다는 겁니다.
단순한 재고 소진이 아닙니다. 2026년 1월 H100 렌탈 가격이 오히려 10% 상승했습니다. 시간당 2.00달러에서 2.20달러로 올랐죠. 신형이 나왔는데 구형 가격이 오르는 현상 — 이 글에서 그 이유를 파헤칩니다.
A100 — 2020년에 출시된 GPU가 아직도 현역인 이유
A100은 NVIDIA Ampere 아키텍처 기반으로 2020년 출시되었습니다. 5년이 지난 GPU가 왜 아직도 수요가 있을까요?
핵심은 가성비입니다. A100 80GB 클라우드 렌탈 가격은 시간당 1.29~2.29달러 수준입니다. H100의 절반도 안 되는 비용으로 대부분의 AI 워크로드를 처리할 수 있습니다. 스타트업이 모델을 파인튜닝하거나, 연구자가 실험을 반복할 때 A100이면 충분한 경우가 많습니다.
게다가 소프트웨어 생태계가 완벽하게 성숙해 있습니다. PyTorch, TensorFlow, JAX 등 주요 프레임워크의 최적화가 A100에 맞춰 수년간 다듬어졌습니다. 새 GPU로 옮기면 호환성 문제가 생길 수 있지만, A100은 그런 걱정이 없죠.
H100 — AI 인프라의 실질적 표준
H100은 2022년 Hopper 아키텍처로 출시되었습니다. 출시 직후부터 공급 부족으로 대란이 일어났고, 한때 시간당 8달러까지 치솟았던 렌탈 가격은 현재 2.85~3.50달러 수준으로 안정되었습니다.
H100이 여전히 강력한 이유는 Transformer Engine에 있습니다. FP8과 FP16 사이를 자동 전환하면서 LLM 학습 속도를 극적으로 높입니다. GPT, LLaMA 같은 트랜스포머 모델을 학습할 때 A100 대비 2~4배 빠른 속도를 보여줍니다. 사람이 수동으로 정밀도를 조정할 필요가 없다는 점도 큰 장점입니다.
무엇보다 H100은 현재 AI 인프라의 사실상 표준(de facto standard)입니다. AWS P5, Azure NDv6 등 주요 클라우드 인스턴스가 H100을 채택하고 있고, 대부분의 엔터프라이즈 AI 프로젝트가 H100 기준으로 설계됩니다.
A100 vs H100 — 스펙 비교표
| 항목 | A100 (80GB) | H100 (80GB) |
|---|---|---|
| 아키텍처 | Ampere (2020) | Hopper (2022) |
| 메모리 | 80GB HBM2e | 80GB HBM3 |
| 메모리 대역폭 | 2.0 TB/s | 3.35 TB/s |
| 텐서 코어 | 3세대 | 4세대 (6배 빠름) |
| Transformer Engine | 없음 | 있음 (FP8 자동 전환) |
| TDP | 300W | 700W |
| 구매 가격 (추정) | $10,000~$15,000 | $25,000~$40,000 |
| 클라우드 렌탈 | $1.29~$2.29/hr | $2.85~$3.50/hr |
수치만 보면 H100이 모든 면에서 앞서지만, 가격 차이가 2~3배입니다. 이 가격 격차가 A100의 수명을 연장시키는 핵심 요인입니다.
Blackwell이 나왔는데 왜 아직도 H100을 찾을까?
2024~2025년에 걸쳐 NVIDIA는 Blackwell 아키텍처(B200, B300)를 발표했습니다. 스펙상으로는 H100을 크게 앞서는 괴물급 GPU입니다. 그런데도 H100 수요가 줄지 않는 이유가 있습니다.
첫째, 공급 문제입니다. Blackwell GPU는 아직 충분한 물량이 시장에 풀리지 않았습니다. 대규모 주문은 빅테크 기업이 먼저 가져가고, 일반 기업이 구할 수 있는 수량은 제한적입니다.
둘째, 검증된 안정성입니다. 데이터센터에서 가장 무서운 것은 다운타임입니다. H100은 2년 넘게 프로덕션 환경에서 검증되었습니다. 드라이버, 펌웨어, 쿨링 솔루션까지 모든 것이 안정화된 상태입니다. 신제품은 아무리 스펙이 좋아도 초기 안정화 기간이 필요합니다.
셋째, 기존 인프라와의 호환성입니다. 이미 H100 기반으로 클러스터를 구축한 기업은 동일 GPU를 추가하는 것이 훨씬 효율적입니다. 다른 아키텍처를 섞으면 네트워킹, 스케줄링, 소프트웨어 스택 전체를 재검토해야 합니다.
H100 A100 GPU — 누가 어떤 걸 선택해야 하나
직접 여러 프로젝트를 겪어본 경험상, 선택 기준은 의외로 단순합니다.
A100을 선택해야 하는 경우:
- 중소규모 모델 파인튜닝 (7B~13B 파라미터)
- 배치 추론 워크로드
- 개발·실험 환경 — 비용 최적화가 우선일 때
- 기존 A100 코드를 그대로 운영해야 할 때
H100을 선택해야 하는 경우:
- 대규모 LLM 학습 (70B+ 파라미터)
- 실시간 추론 — 낮은 레이턴시가 필수인 서비스
- 트랜스포머 기반 모델의 학습 속도가 핵심 병목일 때
- 프로덕션 규모의 AI 서비스 배포
사실 많은 기업이 두 GPU를 함께 운영합니다. 개발과 테스트는 A100에서, 프로덕션 학습과 추론은 H100에서 돌리는 식입니다. 이 조합이 비용과 성능 사이에서 가장 현실적인 균형점을 만들어줍니다.
2026년 가격 전망 — H100은 “메인스트림”으로 이동 중
GPU 시장의 흐름을 보면 재미있는 패턴이 보입니다. 최신 GPU(Blackwell)가 프리미엄 자리를 차지하면서, H100이 메인스트림 워크호스로 자리를 잡아가고 있습니다. 2026년 중반까지 H100 렌탈 가격은 시간당 2달러 이하로 떨어질 것으로 예상됩니다.
A100은 더 극적입니다. 시간당 1달러 미만으로 떨어지면서 거의 범용 컴퓨팅 수준의 가격대에 진입하고 있습니다. 비용에 민감한 프로젝트에겐 오히려 기회인 셈입니다.
하지만 가격 하락이 곧 수요 감소를 뜻하지는 않습니다. 오히려 저렴해진 가격 덕분에 더 많은 기업이 GPU 인프라를 도입하고 있습니다. AI 인프라 지출은 2024년 500억 달러를 넘겼고, 2027년까지 연 35% 성장이 예상됩니다. 이 수요의 상당 부분을 H100과 A100이 흡수하고 있습니다.
구매 vs 렌탈 — 현실적인 판단 기준
H100을 직접 구매하면 카드당 2,500~4,000만 원입니다. 여기에 서버 본체, 네트워킹, 냉각, 전력까지 더하면 노드 하나에 수억 원이 듭니다. 대기업이나 클라우드 사업자가 아니라면 부담스러운 금액입니다.
제가 추천하는 기준은 이렇습니다. GPU를 하루 8시간 이상, 12개월 넘게 쓸 계획이라면 구매를 고려하세요. 그 이하라면 클라우드 렌탈이 경제적입니다. 특히 A100은 렌탈 가격이 워낙 낮아져서 대부분의 시나리오에서 렌탈이 유리합니다.
결론 — 오래된 GPU가 나쁜 GPU는 아니다
기술 업계에서는 항상 최신 제품을 쫓는 경향이 있습니다. Blackwell이 나왔으니 H100은 구식이라고 생각할 수 있죠. 하지만 현실은 다릅니다. H100과 A100은 가격이 내려가면서 오히려 접근성이 높아졌고, 검증된 안정성과 성숙한 생태계 덕분에 프로덕션 환경에서의 매력이 여전합니다.
결국 GPU 선택은 “최신이냐 아니냐”가 아니라 “내 워크로드에 맞느냐”의 문제입니다. 수천만 원짜리 최신 GPU가 필요 없는 프로젝트에 무리하게 투자할 이유는 없습니다. A100과 H100은 2026년에도 AI 인프라의 핵심 축으로 남아 있을 겁니다.