KION RAG 장비 추천 시스템의 전체 구조 및 배포 옵션
BM25 키워드 검색 + 벡터 시멘틱 검색을 결합하여 검색 정확도 향상
app/hybrid_search.py
복잡한 질의를 LLM으로 분석하여 부정문/복합 조건 처리
app/intent_parser.py
대화 이력을 유지하여 후속 질문에서 이전 조건 활용
app/conversation.py
데이터가 외부로 나가지 않음 | 완전한 데이터 보안 | GPU 서버 필요
AWS 클라우드에서 운영 | 두 가지 방식 선택 가능
AWS에서 GPU 서버를 빌려서 sLLM을 직접 설치/운영
AWS가 운영하는 LLM을 API로 호출 (설치 불필요)
| 구분 | B-1: EC2 GPU | B-2: Bedrock API |
|---|---|---|
| LLM 설치 | 직접 설치 (Ollama) | 불필요 (API 호출) |
| 비용 구조 | 시간당 (~$1/h) | 토큰당 과금 |
| 모델 선택 | 자유 (Qwen, Llama 등) | Bedrock 지원 모델만 |
| 추천 상황 | 사용량 많음, 모델 커스텀 필요 | 빠른 도입, 운영 부담 최소화 |
💡 아키텍처 다이어그램에 나오는 용어들을 설명합니다
GPT-4, Claude 같은 초대형 모델 대신, 직접 운영 가능한 작은 언어모델입니다.
예: Qwen 2.5, Llama 3 (7B~32B 파라미터)
✓ 데이터가 외부로 나가지 않음
AWS에서 GPU 서버를 빌려서 사용하는 방식입니다.
온프레미스처럼 Ollama 설치 후 sLLM 직접 실행.
= 클라우드에서 직접 설치 방식
AWS가 제공하는 AI 모델 API 서비스입니다.
설치 없이 Llama 3, Claude 등을 API로 호출.
= 관리형 서비스 (설치 불필요)
Qdrant: 직접 서버에 설치해서 운영
Qdrant Cloud: Qdrant 회사가 호스팅해주는 서비스
(매니지드 = 설치/운영을 대신 해줌)
텍스트를 벡터(숫자)로 변환하는 모델입니다.
BGE-M3: 로컬에서 직접 실행
Bedrock Titan: AWS API로 호출
| 구분 | 온프레미스 (A) | 클라우드 (B) |
|---|---|---|
| LLM 실행 위치 | 내 GPU 서버 | AWS 서버 (API 호출) |
| 초기 비용 | GPU 서버 구매 (~1,500만원) | 없음 |
| 운영 비용 | 전기/관리비 (~50만원/월) | 사용량 비례 (API 호출당 과금) |
| 데이터 보안 | ✓ 외부 전송 없음 | AWS로 데이터 전송됨 |
| 구분 | LLM | 임베딩 | 벡터DB | 초기 비용 | 월 운영비 |
|---|---|---|---|---|---|
| A: 온프레미스 | Ollama + Qwen 2.5 | BGE-M3 (로컬) | Qdrant | 구축비용 ~1,000-1,500만원 |
전기/관리 ~10-30만원 |
| B-1: EC2 GPU | Ollama + Qwen 2.5 | BGE-M3 (로컬) | Qdrant (EC2) | 없음 | g5.xlarge ~$1/시간 (업무시간만 ~20-30만원) |
| B-2: Bedrock API | AWS Bedrock Llama 3 | Bedrock Titan | Qdrant Cloud | 없음 | 사용량 비례 ~5-20만원 |
※ 비용은 사용량, 인스턴스 타입, 리전에 따라 달라질 수 있음. 정확한 비용은 AWS Calculator 참고.