쿼리마다 달라지는 검색 파이프라인, RAG 운영 비용 최적화의 새 패러다임

검색 증강 생성(RAG)과 멀티홉 검색 에이전트는 현재 AI 응용 시스템의 핵심 구성 요소로 자리 잡았다. 그런데 이 파이프라인을 실제로 운영해 본 사람이라면 누구나 한 가지 불편함을 알고 있다. 어떤 LLM을 쓸지, 문서를 몇 개나 가져올지, 몇 단계에 걸쳐 탐색할지 등 수많은 설정 조합 중 가장 적절한 구성을 고르는 일이 생각보다 어렵다는 것이다. 게다가 복잡한 질문에는 강력한 설정이 필요하지만, 단순한 질문에도 같은 설정을 적용하면 불필요한 비용이 발생한다. UC Berkeley와 Microsoft Research 연구팀이 발표한 BRANE은 바로 이 문제를 정면으로 다룬다. 각각의 자연어 쿼리에 맞춤화된 파이프라인 설정을 추론 시점에 동적으로 선택하는 시스템이다.

문제: 정적 설정이 낳는 구조적 낭비

전통적인 RAG 시스템 운영 방식은 워크로드별 1회 튜닝이다. 금융 QA 데이터셋이라면 금융 데이터에 최적화된 설정을, 웹 검색 에이전트라면 웹 데이터에 최적화된 설정을 한 번 정해서 모든 쿼리에 동일하게 적용한다. 이 방식의 문제는 쿼리마다 난이도와 특성이 천차만별이라는 데 있다. 오늘 애플 주가를 묻는 단순 사실 조회와, 지난 5년간 두 기업의 R&D 투자 추이를 비교 분석해 달라는 복합적 요청에 동일한 파이프라인을 쓴다면, 전자는 과잉 투자이고 후자는 과소 투자다. 워크로드 수준의 최적화는 전체 평균을 개선할 수는 있지만, 쿼리별 비효율이라는 더 근본적인 문제를 해결하지 못한다.

BRANE의 접근: 쿼리 특성을 예측 신호로

BRANE의 핵심 아이디어는 두 단계로 나뉜다. 첫 번째는 쿼리를 워크로드 특성 벡터로 변환하는 것이다. LLM이 입력된 자연어 쿼리를 분석해 이 쿼리가 멀티홉 추론이 필요한지, 금융 도메인인지, 단답형인지 서술형인지와 같은 특성 정보를 추출한다. 두 번째는 이 특성 정보를 이용해 파이프라인 카탈로그에 있는 각 설정이 해당 쿼리에 올바른 답을 줄 확률을 예측하는 경량 분류기를 학습하는 것이다. 설정별로 독립된 예측기를 두는 방식이라, 추론 시점에는 각 설정이 이 쿼리를 맞출 확률을 빠르게 계산할 수 있다.

최종 설정 선택은 예측 정확도에서 비용 패널티를 차감한 점수를 최대화하는 방식으로 이루어진다. 이 비용 가중치를 조절하면 재훈련 없이도 비용-품질 트레이드오프 곡선 위의 다른 지점을 선택할 수 있다. 같은 모델로 정확도 우선 모드와 비용 절감 모드를 동시에 운영할 수 있다는 뜻이다.

실험 결과가 보여주는 것

연구팀은 BRANE을 MuSiQue(멀티홉 QA), BrowseComp-Plus(웹 브라우징 에이전트), FinanceBench(금융 도메인 QA) 세 벤치마크에서 평가했다. 결과는 일관되게 인상적이다. 최고 정확도의 고정 설정과 동등한 정확도를 내면서도 최대 89%까지 비용을 낮출 수 있었다. LLM 라우팅, 규칙 기반 선택, 파인튜닝된 Qwen3-4B 베이스라인 모두를 상회하는 성능이었다.

이 결과의 의미는 단순한 수치 개선을 넘어선다. RAG 파이프라인의 비용-정확도 파레토 프런티어 자체를 더 유리한 방향으로 이동시켰다는 점이 핵심이다. 고정 설정으로는 도달할 수 없는, 낮은 비용이면서 높은 정확도의 영역을 동적 설정 선택이 열어준 것이다. AI 시스템의 추론 비용이 빠르게 증가하는 환경에서, 쿼리 단위의 파이프라인 최적화는 이제 선택이 아니라 필수적 고려사항이 되어가고 있다. BRANE은 그 방향으로 나아가는 구체적이고 검증된 경로 하나를 제시했다.