Independent ExtensionRAG / LLMIn Progress
RFP-AI
공공입찰 제안요청서, 원문 근거까지 추적해 답하다
공공입찰 제안요청서(RFP)를 분석해 원문 근거 기반 답변을 생성하는 근거 추적형 Hybrid RAG QA 시스템. 부트캠프 팀 프로젝트를 개인 포트폴리오 수준으로 고도화하는 중입니다.
DecisionDense 단독의 한계 확인 → BM25 Hybrid + Reranker + Query Re-writing 채택
0.913BM25 Hybrid 최고 Faithfulness
0.722Reranker 적용 최고 Context Precision
18Evaluation Questions
* 부트캠프 팀 프로젝트 평가 결과이며, 각 수치는 서로 다른 실험 구성에서의 최고 성능입니다.
평가 기준 — RAGAS · 18문항 (단일 6 · 후속 8 · 필터 2 · 답변불가 2)
평가 조건·한계 자세히 보기
| Config | faithfulness | context_precision |
|---|---|---|
| Dense Only | 0.7870 | 0.5691 |
| BM25 Hybrid | 0.9133 ▲최고 | 0.4910 |
| Hybrid + Reranker | 0.8629 | 0.7222 ▲최고 |
주의 — faithfulness 0.9133과 context_precision 0.7222는 서로 다른 구성의 최고값으로, 동일 구성에서 동시에 달성한 결과가 아닙니다.
현재 평가의 한계
- 부트캠프 팀 프로젝트 단계의 평가셋(18문항) 기준 수치입니다.
- RAGAS 지표 중 faithfulness·context_precision 중심으로 검증했으며, Hit@K·MRR·nDCG 등 Retrieval 지표는 향후 추가 예정입니다.
PythonChromaDBFlagEmbeddingRAGASOpenAI API
Read the case study →