llm_wiki

상태 기준: 2026-08-15. 이 저장소는 논문 Retrieval as Reasoning: Self-Evolving Agent-Native Retrieval via LLM-Wiki (arXiv:2605.25480)의 공개되지 않은 구현을, 논문의 알고리즘·스키마 설명을 바탕으로 만든 간이 재구현이다. 논문 수치의 재현물이 아니다.

무엇을 하는가

LLM-Wiki는 검색을 "질문과 비슷한 문단 고르기"가 아니라 추론 과정으로 다루는 방법이다. 원문 passage를 미리 엔티티 단위 wiki page로 컴파일해 두고(page 안에는 핵심 사실, 다른 page로 가는 wikilink, 출처 PID가 들어간다), 질의 시점에는 에이전트가 page를 읽고 다음에 어디로 갈지 스스로 정하며 링크를 따라간다. 컴파일 중 발견된 오류는 ErrorBook에 기록·수정된다.

이 저장소는 그 방법을 논문의 baseline들과 같은 조건에서 나란히 돌려보고, 실패가 어느 단계에서 나는지 확인한다.

정답률만 보면 이 셋이 구분되지 않는다. 그래서 gold 근거를 실제로 읽었는지를 함께 기록하고, 근거를 읽지 않고 답만 맞힌 경우는 성공으로 세지 않는다.

비교 대상은 논문 §4.2의 baseline이다. b0 closed-book · b1 BM25 · b2 Dense · b3 RAPTOR · b4 GraphRAG · b5 LightRAG · b6 HippoRAG.

현재 상태

목표는 방법의 순위를 확정하는 것이 아니라, 작은 실제 코퍼스에서 실패 위치를 해부하는 것이다.

이번 실행에서 실제로 비교·해부한 arm은 LLM-Wiki, BM25, Dense, GraphRAG 네 개다. 나머지 세 arm은 구현은 있으나 이 slice에서 같은 수준으로 해석한 결과가 아직 없다.

관찰된 것

• LLM-Wiki — 2Wiki q1·q7·q12와 MuSiQue m1에서 page/link를 따라 gold 근거를 모두 읽는 경로가 실제 trace로 확인됐다.
• BM25 / Dense — 일부 2-hop 문항에서는 gold를 한 번에 회수했지만, q1·q12·m1처럼 뒤 hop의 근거가 필요한 경우에 누락이 생겼다. 뒤 hop은 질문에 단어가 안 나오므로 질문과의 유사도로는 닿지 않는다.
• GraphRAG — q7·m1에서는 필요한 관계가 community report에 남아 있었다. 다만 작은 국소 QA에서 모든 community를 map하는 비용이 크고, extraction·map 실패도 있었다.

⚠️ 2Wiki 5문항 / MuSiQue 3문항의 탐색 사례다. 이 수로 방법의 일반 성능을 주장할 수 없다. 자세한 한계는 아래 해석 경계.

현재 디렉터리 구조

폴더 이름이 논문의 어느 단계인지를 그대로 가리킨다.