RAG 시스템

단순 벡터 검색만으로는 정확도가 부족했던 RAG 시스템에 BM25와 벡터 검색을 조합한 Hybrid Search를 도입했다. Reciprocal Rank Fusion으로 결과를 병합하면서 검색 정확도가 체감상 30% 이상 개선되었다.

사내 문서 검색 RAG 시스템 운영 중 토큰 비용이 예상보다 3배 높게 나왔다. 검색된 청크를 LLM에 넘기기 전 리랭킹과 압축 단계를 추가해 비용을 60% 절감했다.

사내 문서 검색 RAG 시스템의 검색 정확도가 떨어지는 문제를 청킹 전략 개선으로 해결했다. 고정 크기 청킹에서 의미 기반 청킹으로 전환하고, 오버랩 비율을 조정해 검색 성공률을 35% 개선했다.

사내 문서 검색 시스템에 RAG를 도입하면서 청크 크기에 따른 검색 품질 차이를 측정했다. 512 토큰과 1024 토큰 청크를 비교 테스트한 결과, 문서 특성에 따라 최적값이 달랐다.

사내 문서 검색 RAG 시스템을 구축하면서 청크 크기에 따른 검색 품질 차이를 실험했다. 512 토큰과 1024 토큰 청크를 비교 테스트한 결과, 문서 특성에 따라 적절한 크기가 달랐다.

사내 문서 검색 시스템에 RAG를 도입하면서 청크 크기와 오버랩 설정으로 고생했던 경험을 정리했다. 512 토큰에서 시작해 결국 256 토큰 + 50 오버랩으로 정착했다.

사내 문서 검색 RAG 시스템을 운영하면서 검색 정확도가 떨어지는 문제를 겪었다. 청크 크기 조정과 하이브리드 검색을 도입해 정확도를 개선한 과정을 정리했다.

사내 문서 검색 RAG 시스템의 정확도가 낮아 Cohere Rerank API를 도입했다. 초기 retrieval 결과를 재정렬하여 top-k 정확도를 30% 개선했고, 레이턴시는 200ms 증가에 그쳤다.

사내 문서 검색 시스템에 RAG를 도입하면서 청크 사이즈 설정이 검색 품질에 미치는 영향을 확인했다. 512 토큰에서 256 토큰으로 조정하니 정확도가 눈에 띄게 개선됐다.

사내 문서 검색 시스템에 RAG를 도입하면서 청크 사이즈 설정이 검색 품질에 미치는 영향을 실험했다. 작은 청크는 정확도가 높지만 맥락이 부족했고, 큰 청크는 노이즈가 많았다.