複数ソースの内容をAIで分析し、矛盾点を洗い出す

複数の情報源を比較すると、単なる表現の違いではなく、明らかに矛盾する数字や結論に行き当たることがあります。たとえば同じ調査を引用しているはずなのに、記事によって「増加傾向」と「横ばい」で結論が割れている、といったケースです。ここで必要なのは、もう一段深く「なぜ食い違うのか」を分析する作業であり、AIはこの絞り込み作業を手伝ってくれますが、原因の特定そのものは人が判断する必要があります。

矛盾点の分析に入る前に

前段の比較作業(複数の情報源をAIで比較し違いと共通点を整理する手順)で作った比較表があれば、それを土台に使います。比較表がまだない場合は、先にその手順を済ませてから本記事の作業に進むほうが効率的です。

分析対象を絞り込むことも重要です。「すべての違いを分析して」と丸投げすると、AIは瑣末な表現差まで同列に扱ってしまいます。結論や数字など、実際の判断に影響する矛盾に絞って渡すようにしてください。

手順：食い違いの原因をAIに整理させる

ステップ1 矛盾している箇所を具体的に指定する

「情報源Aでは◯◯、情報源Bでは△△」という形で、矛盾している具体的な記述をこちらから示します。AI任せで矛盾箇所を探させるより、こちらが特定した矛盾を深掘りさせるほうが精度が上がります。

ステップ2 起こりうる原因を複数の仮説として出させる

「調査時期の違い」「調査対象の違い」「定義の違い」「単なる誤記」など、矛盾が生じうる典型的な原因の型を提示しながら、それぞれの情報源の記述がどの型に当てはまりそうかを整理させます。

ステップ3 確認が必要な箇所とその理由を書き出させる

仮説を出したら、それぞれの仮説を検証するには何を確認すればよいか(一次データ、調査方法の記載、発表元への確認など)をAIに列挙させます。これが次の調査アクションの土台になります。

プロンプト例

次の2つの記述は同じテーマについて矛盾しています。

情報源A: [矛盾する記述を貼り付け]
情報源B: [矛盾する記述を貼り付け]

この矛盾が生じている理由として考えられる仮説を、
「調査時期の違い」「調査対象や母集団の違い」「定義や
測定方法の違い」「単純な誤記や誤訳」の4つの観点から
それぞれ検討してください。各仮説について、どちらの
情報源がより正確か推測せず、代わりに「この仮説を確認
するには何を調べればよいか」を具体的に挙げてください。

出力の確認と検証

AIが挙げる仮説は、あくまで文章の構造から推測した可能性の一覧であり、実際に何が原因だったかを裏づける情報ではありません。Anthropicが公開しているClaudeの設計方針の説明でも、モデルの出力は訓練データや推論過程に基づく生成物であり、不確実な事柄について断定を避けるよう設計上の配慮がなされていることが述べられています※1。とはいえ、この配慮があっても誤った仮説をもっともらしく提示してしまう可能性は残るため、確認作業を省略してはいけません。

実務では、AIが挙げた「確認すべき点」のリストを使って、実際に一次データや原典の該当箇所に当たるところまでが分析の完了です。OpenAIのGPT-4システムカードも、モデルが誤りを自信満々に提示しうる点を明示しており、複数ソースの矛盾解消のような判断が伴う場面ほど検証が欠かせません※2。

つまずきやすい点

ただし、矛盾の「多数決」でAIに正誤を決めさせようとするのは避けたほうがよい使い方です。3つの情報源のうち2つが同じ結論でも、それが独立した一次調査ではなく、同じ発表を引用し合っているだけということはよくあります。件数の多さは正しさの根拠にはなりません。

また、矛盾を過度に単純化して「Aが正しくBが誤り」と白黒つけたくなりますが、両方が異なる条件下では両方とも正しい、というケースも少なくありません。AIには両論を併記させ、判断は自分で下すという姿勢を崩さないことが大切です。

次の一歩

矛盾の原因が整理できたら、その結果を長い資料の要約作業に組み込むと効率的です。長文資料・レポートをAIで要約し要点を整理する手順では、今回の分析結果を含めて情報を圧縮していく流れを扱っています。比較の段階からやり直したい場合は複数の情報源をAIで比較し違いと共通点を整理する手順も参照してください。

参考文献

1. ※1. Anthropic. "Claude's Constitution." Anthropic, 2023
2. ※2. OpenAI. "GPT-4 System Card." OpenAI, 2023