1. Overview (프로젝트 배경)

본 프로젝트는 사내에서 생성형 AI 활용이 확산되면서 발생할 수 있는
기술 정보 유출 위험과 데이터 학습 이슈를 최소화한 안전한 LLM 사용 환경을 구축하기 위해 추진되었습니다.

내부 직원들이 ChatGPT 등 공개 LLM을 활용하는 과정에서
기업 내부 데이터가 외부로 유출되거나, 모델 학습에 사용될 수 있다는 우려가 제기되었고,
이를 해소하기 위한 보안 중심의 생성형 AI 활용 방식이 필요했습니다.

또한 단순한 질의응답이 아닌,
사내 문서와 임베딩 데이터를 기반으로 한 RAG(Retrieval-Augmented Generation) 챗봇 구현을 통해
자료 유무에 따라 자동으로 응답 방식을 전환하는 구조를 목표로 했습니다.

• 내부 문서 존재 시 → RAG 기반 응답

• 내부 문서 부재 시 → LLM Only 응답

2. Solution (해결 방안)

목표 정의

• 보안 솔루션 기반 데이터 유출 방지 구조 검증

• GPT-4o 대비 AWS 기반 LLM의 성능·품질 비교 및 벤치마크 수행

주요 검증 과제

• 내부 데이터가 외부 학습에 사용되지 않도록 하는 아키텍처 검증

• AWS LLM 모델을 활용한 응답 품질 및 정확도 검증

3. Result (성과)

RAG 기반 데이터 처리 파이프라인 구축

• 다양한 형태의 문서를 RAG에 적합한 구조로 변환하는 전처리 프로세스 수립

• 전처리된 데이터를 AWS OpenSearch에 벡터 인덱싱하여 검색 정확도 확보

문서 파싱 및 인덱싱 고도화

• LLM 기반 OCR을 활용한 문서 내용 파싱

• 파싱된 문서를 VectorDB(OpenSearch)에 적재하여 RAG 활용 가능 구조로 구성

채팅 API 비즈니스 로직 구현

• 사용자 질의 유입 시 의도 분류 수행
  (사내 규정 / ESG / 기타)

• 분류 결과에 따라 RAG 파이프라인 또는 LLM Only 응답 경로 자동 선택

문서 교정 기능 검증

• LLM을 활용한 오탈자·표현 오류 교정 파이프라인 구현

• 문서 품질 개선 가능성 검증 완료

기대효과

RAG 기반 챗봇 활용

• AIR Studio를 통한 사내 문서 RAG 챗봇 및 Web RAG 챗봇 제공

• 저장소별 문서 관리 및 설정 관리 기능 지원

• 예상 질의–답변 세트 기반 챗봇 검증 체계 마련

문서 교정 자동화

• Streamlit 기반 UI 제공

• 문서 업로드 시 전체 내용 자동 점검 및 교정 결과 출력