데이터 설계

장비 데이터 스키마, RAG 지식베이스 설계, 동기화 전략

데이터 파이프라인

🗃️
MS-SQL
장비 마스터 DB
→
⚙️
ETL 스크립트
데이터 정제/변환
→
📄
JSON 스키마
RAG용 장비 뷰
→
🔢
임베딩 생성
BGE-M3
→
🗄️
벡터 DB
Qdrant

MS-SQL 장비 스키마 (필수 컬럼)

🔑 기본 정보

  • equipment_id장비 고유 ID (PK)
  • name / name_en장비명 (국문/영문)
  • category카테고리 (증착, 식각, 측정 등)
  • part파트 (Front-end, Back-end 등)

📐 스펙 정보

  • wafer_sizes지원 웨이퍼 (2/4/6/8 inch)
  • materials공정 재료 (Si, GaN, sapphire)
  • temp_min / temp_max온도 범위 (℃)
  • pressure_range압력 범위 (Torr)

📝 설명 · 태그

  • description용도/활용분야 (NVARCHAR MAX)
  • tags검색 태그 (JSON Array)
  • features주요 특징/성능

🔗 연동 정보

  • institution기관명
  • location위치 (A동 2층 등)
  • reservation_urlfab.kion.or.kr 예약 딥링크
  • image_url장비 이미지 경로

용어 표준화 · 태깅 체계

📂 파트/공정 표준 분류

  • Front-end증착, 식각, 확산, 이온주입
  • Back-end패키징, 본딩, 다이싱
  • 분석/측정SEM, TEM, XRD, AFM
  • 열처리RTA, 어닐링, 산화

🏷️ 태그 예시

  • RTA 장비["RTA", "급속열처리", "어닐링"]
  • MOCVD["MOCVD", "에피성장", "GaN"]
  • PECVD["PECVD", "박막증착", "SiO2"]

RAG 지식베이스 설계

📄 문서 단위 정의

  • 1 장비 = 1 문서기본 구조
  • 제목"장비명 + 주요 파트"
  • 본문용도 요약 + 스펙 + 공정 예시
  • 메타데이터장비ID, 사이즈, 재료, 기관

🔢 임베딩 대상

  • 전체 텍스트설명 + 스펙 요약 결합
  • 서브문서 (선택)공정별 블록 분리 가능
  • 청킹 전략장비당 1문서 (현재)
# 문서 구조 예시
[KION-001] Hybrid RTA – 급속 열처리 장비

용도: 반도체/디스플레이 소자 급속 열처리
스펙: 4/6 inch | Si, GaN | 200~1200℃
공정: 도펀트 활성화, 게이트 산화막, 소자물성 개선
태그: RTA, 급속열처리, 어닐링

메타데이터: {id: "KION-001", wafer: ["4 inch", "6 inch"], ...}

데이터 동기화 전략

⚠️ 동기화 시 함께 업데이트해야 할 항목

1. 임베딩 (벡터)
• 장비 설명, 이름, 태그 변경 시
• 검색 텍스트 재생성 → 임베딩 재계산
2. 메타데이터 (스펙)
• temp_min, temp_max, wafer_sizes 등
• 메타필터에서 사용하는 스펙 정보
collection.upsert(documents=[텍스트], metadatas=[스펙]) → 둘 다 함께 업데이트

🔄 증분 업데이트 (Incremental)

  • 신규 추가INSERT → 임베딩+메타 → VectorDB 추가
  • 수정 반영UPDATE → 임베딩+메타 재생성 → upsert
  • 삭제 처리DELETE → VectorDB에서 제거
  • 변경 감지updated_at 컬럼 비교

✅ 빠른 동기화
✅ 서비스 중단 없음
⚠️ 변경 추적 로직 필요

🔁 전체 재빌드 (Full Rebuild)

  • 전체 추출MS-SQL에서 전체 데이터 덤프
  • 일괄 임베딩모든 문서 임베딩 재생성
  • DB 교체기존 VectorDB 삭제 → 새 DB
  • 주기일간 또는 주간 (야간 배치)

✅ 구현 단순
✅ 데이터 정합성 보장
⚠️ 처리 시간 길음

권장 방식:

파이프라인 구현 상태

단계 설명 상태
MS-SQL 연동 KION 장비 마스터 테이블 접속 ⏳ 미팅 후
ETL 스크립트 데이터 추출/정제/변환 자동화 ⏳ 예정
스키마 정규화 웨이퍼 사이즈, 온도, 재료 표준화 ✅ 샘플 완료
주기적 동기화 DB 변경분 → 벡터DB 증분 업데이트 ⏳ 예정