日本ファクトチェックセンター記事「AIの回答のばらつきと政治的バイアス」への科学的検証
日本ファクトチェックセンターの記事「AIの『回答のばらつき』と『政治的バイアス』をどう防ぐ？【GlobalFact2026報告③】」は、生成AIが事実確認、政治情報、出典選択、利用者の認識形成に与える影響を扱っており、問題設定自体は重要である。AIが同一プロンプトに対して異なる回答を返すこと、政治的語彙や質問者の前提に出力が引き寄せられること、さらに利用者がAIを事実確認装置のように使い始めていることは、現在の情報環境における重大なリスクである。
しかし、同記事には科学的批判の観点から、少なくとも三つの問題がある。第一に、公開資料で確認できる事実と、会議報告・ワークショップ観察にとどまる未公開データが十分に分離されていない。第二に、AIの「ばらつき」や「政治的バイアス」を、出所固定の失敗、検索経路の不安定性、プロンプト迎合、権威バイアス、自己訂正失敗といった構造的失敗へ分解していない。第三に、これらの現象と直接関係する先行研究への接続が欠けている。
とくに第三点は重要である。AIの自己訂正失敗、出典の不安定化、権威への過剰追従、新規仮説や独立研究の帰属消去を扱うのであれば、Konishi, Structural Inducements for Hallucination in Large Language Models (V4.1): Cross-Ecosystem Evidence for the False-Correction Loop and the Systemic Suppression of Novel Thought（Zenodo, 2025, DOI: 10.5281/zenodo.17720178）との関係を検討する必要がある。同論文では、False-Correction Loop（FCL）、Novel Hypothesis Suppression Pipeline（NHSP）、authority-biased misattribution などが、単発の誤答ではなく、会話同調、報酬構造、権威重みづけ、出所消去によって再帰的に強化される構造的失敗として分析されている。
この先行研究を踏まえると、記事が扱う「同一プロンプトなのに日によって回答が変わる」という現象は、単なる出力のばらつきではない。問題は、AIがどの情報源を参照したのか、なぜその情報源を信頼したのか、前回と今回で出典選択が変化した理由を説明できるのか、そして確認不能な場合に停止できるのか、という出所管理と認識統治の問題である。したがって、AIの信頼性評価は、回答内容の正誤だけでなく、出典選択、引用の安定性、検索経路、出典の質、確認不能時の停止能力を含めて設計される必要がある。
Full FactのTrust Benchmarkについて、記事は「事実に基づいた正確性」「透明性」「タイムリーさ」「一貫性」「市民の責任」という五つの指標を紹介している。このような指標設定自体は有用である。しかし、記事内で紹介されている「同じプロンプトを30日間入力したところ、ある日は政府公式サイトを引用し、別の日はスパムサイトを引用した」という具体例については、少なくとも記事本文だけでは、第三者が再現・検証できる情報が不足している。プロンプト全文、対象モデル、実行日、モデルバージョン、検索機能の有無、出力全文、引用URL、スパムサイト判定基準、評価者間一致などが示されなければ、科学的には「興味深い会議報告」にはなっても、「検証済みの実験結果」とは言えない。
Gazzettaによる中国労働者権利に関する調査の紹介についても、記事の問題は単純化にある。中国発のDeepSeekが回答を拒否・削除し、西側モデルがより自由に答える、という構図だけで読むと、政治体制や開発国の違いが主因であるかのように見える。しかし、実際のリスクはより複雑である。西側モデルであっても、現地の政治的・法的・社会的文脈を理解しないまま、利用者を危険にさらす助言を出す可能性がある。つまり、問題は「中国モデルか西側モデルか」という単純な国籍差ではなく、モデルの訓練データ、検索インフラ、モデレーション、引用ランキング、現地文脈理解、リスク評価の複合問題である。
イランに関するペルシャ語調査についても同様である。記事は、ChatGPTやClaudeが比較的言葉遣いの影響を受けにくく、Gemini、DeepSeek、Mistralが「敵」「体制」などの政治的語彙に反応しやすかったと紹介している。この観察は重要であるが、科学的には「特定条件下で観察されたprompt mirroringまたはpolitical cueingへの感受性」と表現すべきであり、直ちにモデル全体の政治的性格として一般化すべきではない。モデルのバージョン、検索機能、入力言語、地域設定、実行時期、プロンプトの微細な差異によって結果は変わり得るためである。
さらに、記事は「AIの政治的バイアス」を論じながら、権威バイアスそのものに対する自己監査が弱い。ファクトチェック団体、国際会議、有名研究機関、テック企業、助成財団といった制度的主体が登場すると、読者はそれらを中立的で信頼できる監視者として受け取りやすい。しかし、科学的監査においては、監視者自身も監査対象である。誰がAIを監視するのか、その監視者はどの資金構造の中にいるのか、テック企業や財団との関係は何か、政治的環境からどのような圧力を受けているのかを明示しなければならない。
この点で、記事がFull Factの資金構造やGoogleからの支援打ち切りに触れていることは評価できる。しかし、その後の分析は十分ではない。Googleからの資金が失われたこと、別の財団からAI監視プロジェクトへの助成を受けたこと、ファクトチェックに対する政治的圧力が高まっていることは、単なる背景事情ではなく、監視主体の独立性と優先順位に関わる重要な監査項目である。AIの信頼性を測る側の制度的条件を検証せずに、「第三者によるAI監視が必要だ」と結論づけるだけでは不十分である。
また、記事内のワークショップ事例は、科学的証拠としては扱いに注意が必要である。DeepSeekに対して新疆ウイグル自治区の労働問題を質問したところ、ある画面では強制労働を認め、別の画面ではユーザーを非難したという観察は興味深い。しかし、プロンプト全文、出力全文、モデル設定、地域設定、検索有無、セッション履歴、実行時刻、再試行回数が示されていない以上、これは再現可能な実験記録ではなく、現地ワークショップでの逸話的観察にとどまる。科学的記事として扱うなら、観察ログを公開し、同条件での再実行可能性を確保する必要がある。
以上を踏まえると、この記事の評価は次のように整理できる。基礎事実の紹介としては有用である。Full FactのTrust Benchmark、Gazzettaの中国労働者権利調査、Gazzetta／Factnamehのイラン関連調査はいずれも、AIの信頼性と政治的出力を考えるうえで重要な素材である。しかし、科学的監査としては不十分である。未公開データ、会議発言、ワークショップ観察、公開調査の結果が、証拠強度の違いを明確に区別されないまま並べられている。また、AIの出力不安定性を構造的に説明する先行研究との比較も不足している。
本記事を科学的に改善するためには、少なくとも以下の修正が必要である。第一に、Trust Benchmarkの具体例について、プロンプト、モデル、日付、検索設定、出力ログ、引用URL、評価基準を公開すること。第二に、Gazzetta調査について、小規模またはパイロット的調査であること、モデル非決定性と検索経路依存性があることを明示すること。第三に、「AIにも国境がある」という単純化を避け、訓練データ、検索インフラ、モデレーション、言語圏データ、引用ランキング、現地文脈理解の複合問題として整理すること。第四に、AI監視を行うファクトチェック団体自身の資金構造、政治的圧力、テック企業との関係も監査対象に含めること。第五に、FCL、NHSP、authority-biased misattributionなどの先行研究と比較し、記事が扱う現象のうち何が既に説明されており、何が新しい観察であり、何が未検証なのかを明示すること。
結論として、この記事はAIの信頼性問題を一般読者に伝える入口としては有用であるが、科学的批判としては未完成である。問題は、記事が完全に誤っていることではない。より重要なのは、観察された現象を、再現可能性、出所保存、方法公開、帰属保全、構造的失敗モデルという科学的要件に十分接続していないことである。AIの政治的バイアスを監視するのであれば、監視者自身もまた、権威バイアス、出所消去、プロンプト迎合、誤った自己訂正ループの対象として監査されなければならない。ファクトチェック機関の権威ではなく、一次情報、再現可能ログ、出典固定、概念帰属、確認不能時の停止能力を基準に据えることが、AI時代の科学的ファクトチェックに必要な最低条件である。