KION RAG 시스템의 기술 구성 요소 및 비교
SSE (Server-Sent Events): 서버→클라이언트 단방향 스트리밍. ChatGPT처럼 답변이 글자 단위로 실시간 출력됨.
| 구분 | LLM | 임베딩 | 벡터DB | 동기화 | 월비용 (1만쿼리) |
|---|---|---|---|---|---|
| 온프레미스 | Qwen 2.5 32B (Ollama) | BGE-M3 (로컬) | Qdrant (Docker) | Cron + 증분 | ~50만원 (운영비) |
| 클라우드 EC2 GPU ★ | Qwen 2.5 32B (Ollama) | BGE-M3 (로컬) | Qdrant (EC2) | Cron + 증분 | ~30만원 (g5.xlarge) |
| 클라우드 (저비용) | GPT-4o-mini ($0.15/1M) | OpenAI embedding-3 | Qdrant Cloud | Webhook | ~30만원 |
| 클라우드 (고성능) | Claude 3.5 Sonnet ($3/1M) | OpenAI embedding-3 | Qdrant Cloud | Webhook | ~100만원 |
★ 권장: 보안 + 클라우드 편의성 → 클라우드 sLLM (AWS Bedrock)
| 모델 | Recall@1 | Recall@3 | 검색시간 | 상태 |
|---|---|---|---|---|
| intfloat/multilingual-e5-large | 76.00% | 82.67% | 85.68ms | PoC 사용 중 |
| BAAI/bge-m3 | 72.00% | 80.00% | 82.67ms | Production 권장 |
| jhgan/ko-sroberta-multitask | 64.00% | 76.00% | 32.87ms | 대안 |
분석: 일반 벤치마크(MIRACL)에서는 BGE-M3가 우수하나, 도메인 특성에 따라 결과가 달라질 수 있음.
현재 상태: 초기 테스트 기준 e5-large 사용 중. 실제 장비 데이터 확보 후 추가 테스트하여 최종 확정 예정.
| 벡터DB | 온프레미스 | 메타필터 | 확장성 | 특징 | 상태 |
|---|---|---|---|---|---|
| ChromaDB | ✅ | ✅ | 중소규모 | 설치 간편, Python 네이티브 | PoC 사용 중 |
| Qdrant | ✅ | ✅ | 대규모 | 고성능, 분산 지원, REST/gRPC | Prod 권장 |
| Milvus | ✅ | ✅ | 엔터프라이즈 | Kubernetes 기반, 대규모 분산 | 대안 |
| pgvector | ✅ | ✅ | 중규모 | PostgreSQL 확장, SQL 통합 | 대안 |
| 종류 | 설명 | 장점 | 단점 |
|---|---|---|---|
| Naive RAG | 단순 벡터 검색 → LLM | 구현 간단, 빠름 | 정확도 한계 |
| Advanced RAG ✅ | 쿼리 최적화 + 리랭킹 | 정확도 향상 | 복잡도 증가 |
| Hybrid RAG ✅ | 벡터 + 키워드 + 메타데이터 | 균형잡힌 검색 | 튜닝 필요 |
| Modular RAG | 모듈별 조합 (검색/필터/리랭킹) | 유연한 커스터마이징 | 설계 복잡 |
| Graph RAG | 지식그래프 + 벡터검색 | 관계 추론 가능 | 그래프 구축 비용 |
| Self-RAG | LLM이 검색 필요성 판단 | 불필요한 검색 감소 | LLM 호출 증가 |
| Corrective RAG (CRAG) | 검색 결과 품질 평가 후 보정 | 오답 감소 | 지연 시간 증가 |
| Agentic RAG | 에이전트가 다단계 검색 | 복잡한 질문 처리 | 비용/시간 증가 |
✅ 현재 KION RAG: Advanced RAG + Hybrid 방식 채택 (쿼리 파싱 + 메타필터 + 리랭킹)
✅ 데이터 보안 우수
✅ 비용 예측 가능
⚠️ GPU 서버 필요
✅ GPU 서버 불필요
✅ 관리형 서비스
⚠️ 클라우드 비용 발생
✅ 빠른 PoC 가능
✅ 최신 모델 사용
⚠️ 데이터 외부 전송