GPU 인프라 예산 계획서

KION-RAG 프로젝트 단계별 인프라 구축 및 비용 계획

예상 월 비용 범위

824만원
최소 (A100 x2)
~
3,066만원
최대 (H100 x4)

1. 시스템 요구사항 분석

VRAM 요구량

구성요소 Q4 양자화 FP16 (고품질)
Qwen2.5:32B ~20GB ~64GB
multilingual-e5-large ~1.3GB ~1.3GB
Qdrant + 시스템 ~2GB ~2GB
총 VRAM 요구량 약 25GB 약 67GB

안정적 서비스 운영 요건

고가용성(HA) GPU 2개 이상
트래픽 버퍼 피크타임 대비
확장성 70B+ 모델 대비

예상 성능 개선

응답 시간 (32B) 17초 → 2~3초
첫 토큰 (스트리밍) 8초 → 0.5초
추천 정확도 82% → 90%+

2. GPU 인스턴스 옵션

A100 (80GB) 인스턴스

인스턴스 vCore 메모리 GPU 시간당 월 비용
g1v16a1 16 234GB 1 6,627원 4,771,440원
g1v32a2 32 468GB 2 11,457원 8,249,040원
g1v64a4 64 936GB 4 19,775원 14,238,000원
g1v128a8 128 1,872GB 8 34,084원 24,540,480원

H100 (80GB) 인스턴스

인스턴스 vCore 메모리 GPU 시간당 월 비용
g2v12h1 12 234GB 1 12,517원 9,012,240원
g2v24h2 24 468GB 2 23,796원 17,133,120원
g2v48h4 48 936GB 4 42,595원 30,668,400원
g2v96h8 96 1,872GB 8 75,181원 54,130,320원

* 참고: 월 비용은 24시간 x 30일 기준 (VAT 별도)

3. A100 vs H100 비교

항목 A100 (80GB) H100 (80GB)
가격 (1GPU) 6,627원/시간 12,517원/시간 (약 1.9배)
학습 속도 기준 약 2~3배 빠름
추론 속도 양호 우수 (Transformer Engine)
FP8 지원 미지원 지원
적합 용도 개발/테스트, 파일럿 서비스 실시간 서비스, 대규모 트래픽

4. 단계별 인프라 구축 전략

1

개발/테스트 단계

시스템 구축 및 최적화, vLLM/TGI 적용하여 추론 성능 최적화

인스턴스: A100 x2 (g1v32a2) 기간: 2개월 월 비용: 8,249,040원
2

파일럿 서비스 단계

베타 서비스 운영, 동시 접속 30~50명 수준 처리, 사용자 피드백 수집

인스턴스: A100 x4 (g1v64a4) 기간: 3개월 월 비용: 14,238,000원
3

정식 서비스 단계

동시접속 규모에 따라 아래 옵션 중 선택

정식 서비스 옵션

Option A

~30명 동시접속
A100 x2
824만원/월
비용 최적화

Option B

~50명 동시접속
A100 x4
1,423만원/월
권장

Option C

~80명 동시접속
H100 x2
1,713만원/월
고성능

Option D

100명+ 동시접속
H100 x4
3,066만원/월
대규모

* 참고: 동시접속 수는 vLLM 적용 기준 예상치이며, 실제 트래픽 패턴에 따라 달라질 수 있습니다.

5. 예상 성능 개선

현재 (CPU)
응답 시간: ~17초
첫 토큰: ~8초
정확도: 82%
→
GPU 적용 후
응답 시간: ~2-3초
첫 토큰: ~0.5초
정확도: 90%+

6. 월별 비용 요약

단계 인스턴스 월 비용 (VAT 별도)
1단계: 개발 A100 x2 8,249,040원
2단계: 파일럿 A100 x4 14,238,000원
3단계: 정식 (Option A) A100 x2 8,249,040원
3단계: 정식 (Option B) A100 x4 14,238,000원
3단계: 정식 (Option C) H100 x2 17,133,120원
3단계: 정식 (Option D) H100 x4 30,668,400원

실제 트래픽 패턴과 사용자 피드백에 따라 유연하게 조정할 수 있습니다.