https://youtu.be/oiWNA3HsvHQ?t=4811

https://youtu.be/oiWNA3HsvHQ?t=4811

AutoRAG의 개념

• RAG의 성능을 최적화 하기 위해서는 수많은 실험을 진행해야 하는데, 이 실험들을 효율적이고 편하게 할 수 있도록 자동화한 툴이 AutoRAG
• YAML 파일만으로 python 코드 작성 없이 여러 RAG 모듈을 자동으로 테스트한다.
• Pdf, raw 문서에서 평가용 데이터를 자동 생성 가능
• 자동으로 찾은 성능이 가장 최적화된 RAG 파이프라인을 api 서버와 streamlit 웹 서버로 사용 가능
• 각 데이터에 최적인 RAG 파이프라인을 자동으로 찾는 것이 핵심!

AutoRAG 깃헙 주소

https://github.com/Marker-Inc-Korea/AutoRAG

RAG 평가 방법

크게 2가지 인데, 검색기 평가와 LLM 생성 답변 평가로 나눠진다.

1. 원하는 단락을 잘 가져왔는지
2. 생성한 답변 A가 원하는 답변과 얼마나 일치하게 나오는지