RAG기반 LLM시스템의 주요기능

LLM 모델관리, 외부 데이터 통합, 자원 관리, 검색 증강 생성 기능을 제공

  - 기업내 다양한 형태의 정보소스(문서, DB, 이미지)를 원천으로 지능형 검색 및 챗봇 서비스 제공

  - LLM 모델기반 대화형 챗봇 서비스

  - 내부 정보 유출방지, 할루시네이션 예방, 개인정보 보안관리 등의 서비스

LLMOps는 LLM 모델관리, 외부 데이터 통합, 자원 관리, 검색 증강 생성 기능을 제공하며, 민감 정보 보안, 가드레일 기능, 평가 및 모니터링 기능 등을 갖춘 운영 방법 및 도구를 지칭함

AIthe LLMOps Process

  - AIthe LLMOPs는 프로세스는 몇개의 단계를 통해 쉽게 지식검색 서비스를 구현 가능함

  - 각 단계별로 평가와 피드백을 통한 개선을 반복해서 성능 유지 및 개선활동 필요함

가드레일(Guardrails)

  - 사용자의 질문과 LLM 답변에서 예상치 못한 오류나 부정확한 결과를 방지하고, 안전하고 신뢰성 있는 결과를 제공하기 위해 필수적인 요소로서 완화 장치가 필요함

  - AIthe LLMOPs는 다양한 주제 및 내용의 가드레일 적용이 가능함

모델의 성능 평가(Evaluation)

  - 평가 지표는 크게 정량적 평가 지표와 정성적 평가 지표로 구분하며, 적용사례에 적합한 평가지표를 선택해서 평가에 이용함

  - RAG시스템 구축과정 중 고객사와 협의하여 Perplexity, BLEU, ROUGE, WER, F1-Score, Accuracy 등의 다양한 성능지표를 제공함

RAG시스템 성능 영향 요인 및 AIthe의 개발 역량

  - RAG (Retrieval-Augmented Generation) 시스템의 성능은 여러 요인에 의해 영향을 받음

  - 고객사의 적용업무에 따라 알고리즘 튜닝 역량과 경험을 바탕으로 최적화된 시스템 개발이 가능함