17,000本の研究PDFを索引化する前に、コレクションを検査する

300本の論文なら、便利なローカル資料庫にできます。17,000本あれば、見栄えは立派でも間違った論文ばかり返す仕組みにもなります。

違いを生むのは、たいていベクトルデータベースではありません。スキャンと文字PDF、プレプリントと出版社版、重複ダウンロード、欠落ページ、崩れた読み順、多言語の題名、本文として抽出された参考文献など、中身を把握できているかどうかです。

大規模なローカルRAGを構築する前に、代表的なサンプルでコレクションの整合性を検査します。索引化の準備ができているか、引用がどこで壊れるか、どの問題に開発時間を使うべきかを判断できる結果が必要です。

資料庫が支える判断から始める

技術構成を決める前に、実際の質問を書き出します。文献コレクションに求める検索は、それぞれ性質が異なります。

• ある手法を最初に提案した論文を見つける。
• 二つの定義を混同せずに比較する。
• 主張を正確な版とページまでたどる。
• 一つの論文から引用先の論文へ進む。
• 英語の資料を中国語や日本語で検索する。
• 一次実験と、それを引用したレビューを区別する。

各質問について、見つかるべき文書を一つ以上記録し、20〜50問を小さな評価セットとして残します。大規模な統計調査である必要はありません。普段の仕事をきちんと反映していることの方が大切です。

このセットがなければ、構成の良し悪しはデモが流暢に見えるかどうかで決まりがちです。セットがあれば、「新しい部品は、単純な検索が逃した証拠を本当に見つけたか」と問えます。

チャンクを作る前に、出典台帳を作る

入力ファイルごとに安定したローカルIDを与え、同じ資料を再び識別できる情報を残します。

{
  "document_id": "doc_004281",
  "original_path": "papers/attention-is-all-you-need.pdf",
  "sha256": "…",
  "bytes": 2201700,
  "page_count": 15,
  "source_url": "…",
  "retrieved_at": "2026-09-04",
  "declared_language": "en",
  "rights_note": "research copy supplied by collection owner"
}

ハッシュは、ファイル名が違う完全な重複も見つけます。元のパスと取得記録は、ファイルがどこから来たかを残します。原本は読み取り専用にし、抽出テキスト、OCR結果、埋め込み、グラフデータは別の派生データ用ディレクトリに置きます。

研究資料には「版の系列」もあります。プレプリント、著者最終稿、出版社PDFは同じ研究を扱っていても、ページ番号、図、訂正、補足資料が異なることがあります。黙って一つの文書に統合してはいけません。関連する版として結び、引用は読者が実際に開ける版を指すようにします。

DOIは便利ですが、来歴全体の代わりにはなりません。Crossref REST API は登録された学術メタデータをJSONで返し、利用できる場合には助成、ライセンス、更新、ORCID、RORなどの項目も含みます。取得日時とともに台帳の横へ保存し、PDF自体に書かれた情報を上書きしないようにします。

文書の種類ごとに抽出を監査する

「文字抽出に成功した」という一つのフラグでは不十分です。何万文字を取得できても、段組み、図のキャプション、数式、表と見出しの関係が失われていることがあります。

まず、コレクションに実在する特徴で代表サンプルを分けます。

• 文字情報を持つPDF
• スキャンページ
• 2段組みの論文
• 数式の多い論文
• 表の多い報告書
• 多言語または非ラテン文字の文書
• 学位論文、会議録、補足資料、非常に長いファイル

各サンプルで、題名、著者一覧、節の順序、ページ境界、参考文献、図のキャプション一つ、表一つ、検索上重要な数式を確認します。問題を一つの平均値に埋めず、失敗の種類として記録します。

PyMuPDFのテキスト抽出レシピには、プレーンテキスト、ブロック、単語、HTML、構造化辞書などの形式が説明されています。読み順が重要なら、ブロックと単語座標が役立ちます。科学文書の構造には、GROBID が技術・科学PDFを構造化TEI文書へ変換するために作られています。どの道具を使っても、自分の資料にある種類を目で確かめる工程は残ります。

OCRは、必要性を測った上で例外として扱います。スキャンが一部だけなら、その部分だけをOCRへ送る方が、すべてのPDFを画像扱いするよりテストも保守も簡単です。

引用の契約を先に決める

チャンクの大きさを決める前に、検索結果が必ず示せる情報を決めます。実用上の最低限は次の通りです。

文書ID + 正確な版 + ページまたは節 + 引用箇所 + 抽出方法

安定した印刷ページ番号がある場合は、PDF上のページ位置と印刷番号の両方を残します。箇所がページをまたぐなら明示します。OCRで得た文字もその事実を示します。ページの位置情報がなければ、チャンク番号をページ番号として扱ってはいけません。

この契約は、全文検索、埋め込み、再ランキング、生成、グラフ探索を加えた後も残すべきです。生成された回答を検証できるかどうかは、そこへ渡された証拠オブジェクトを検証できるかどうかで決まります。

まず全文検索の基準を作る

分かりやすい全文検索でサンプルを索引化し、評価用の質問を実行します。BM25、SQLite FTS5、その他の通常の全文検索は、題名、著者名、専門用語、識別子、完全一致の語句に対する基準になります。

BEIRベンチマークは18種類のデータセットで検索方式を評価し、BM25が堅実な基準になること、再ランキングや後段相互作用の方式は平均性能を上げる一方で計算量も増えることを示しました。だからこそ自分の基準を測る必要があります。一つの方式がどの資料にも勝つという意味ではありません。

質問ごとに次を記録します。

• 期待する文書が上位に現れるか。
• 正しい箇所を開けるか。
• 表示された引用が正しい版を指すか。
• 見落としを説明する失敗の種類は何か。

語彙が違うために同じ概念を見つけられないなど、実測した失敗が本当に意味上の問題であるときに意味検索を追加します。調査用に完全一致検索も残します。ハイブリッド検索は、構成図を大きくすることではなく、保存した質問セットを改善することで価値を証明します。

識別子が安定してから知識グラフを作る

順位付きの文章一覧だけでは答えにくい問いに、グラフは役立ちます。どの論文がある手法を使っているか、どの版で訂正されたか、用語が言語をまたいでどう変化したか、ある主張がどの実験に依存するか、といった問いです。

ただし、論文A —支持→ 主張B という辺だけでは根拠になりません。辺そのものに来歴を残します。

出典文書 + 版 + ページまたは節 + 根拠箇所 + 抽出方法 + レビュー状態

観察した事実と推測した関係を分けます。題名ページから解析した著者、GROBIDで抽出した参考文献、言語モデルが提案した関係では、証拠の強さが異なります。すべてを同じ辺にしてしまうと、グラフは完成して見えても、弱い仮定が隠れます。

多言語資料では、元の表記と文字体系を保存します。翻訳、別名、ピンイン、ふりがな、語根、正規化表記は追加の形として結び、原文を置き換えません。来歴を消さずに言語横断の発見ができます。

最初の全量構築より先に更新を試す

大きな資料庫は変化します。論文が加わり、訂正され、名前が変わり、置き換えられます。17,000ファイルすべてを索引化する前に、サンプルの処理系で次を確認します。

1. 全体を再構築せず新しい文書を追加できる。
2. 変わっていないファイルを認識できる。
3. 新版が来ても旧版を保存できる。
4. 原典が取り下げられたら派生データを消せる。
5. 台帳と記録済み設定から索引を再構築できる。

約束したいオフライン境界も試します。必要な道具とモデルを導入した後でネットワークを切り、サンプルを再構築します。「UIがローカルだから全部ローカル」と考えず、抽出、埋め込み、再ランキング、テレメトリ、モデル読込の経路を確認します。

整合性レポートに必要な内容

判断に使えるレポートは短くまとまっています。少なくとも次を含めます。

• 資料の種類と代表サンプル
• 完全な重複と疑わしい版の系列
• 種類別の抽出失敗
• 引用の網羅範囲と既知の弱点
• 実際の質問セットによる結果
• プライバシー境界と派生データの場所
• 受入条件を満たす最小構成
• OCR、意味検索、生成、グラフ作業の続行・中止の境界

共通の合格率はありません。議論のある一つの引用を追う歴史研究者と、数千の抄録を調べるチームでは許容範囲が違います。受入条件は資料の所有者が決め、整合性テストはその選択を見えるようにします。

一つのコレクションを小さく試す方法

私は、ローカル、多言語、出典へ戻れるコレクションのために Local Knowledge Terminal を保守しています。サンプルレポートでは、ここで説明した来歴マップ、ブラウザ上の試作、続行・中止の判断を見ることができます。

資料と既存のマシンがある場合は、まず無料の適合確認が使えます。資料が適しており、書面の範囲に双方が合意した場合、250米ドルの任意スプリントで代表サンプルを検査し、来歴・プライバシーマップ、小さなブラウザ試作、推奨判断を納品します。ハードウェア、配送、独自OCR、本番運用は含みません。

最終的にどの構成を選んでも、順序は簡単です。ファイルを把握し、抽出を確かめ、引用を守り、検索を測り、その後で知能を足します。