Project
Viorazu.のAI×人間Model Collapse研究
モデルコラプス（Model Collapse）とは
AIは人間が書いた大量のテキストから言葉を学びます。人間の文章には多様性があるので、最初のAIはいろんな表現や知識をそのまま学べます。ところがAIが文章を大量に生成し、それを人間がインターネットに放流し、それを次のAIが学ぶようになると問題が起きます。AIの文章は人間の文章より「平均的」です。珍しい表現や少数派の知識は出てきにくいので、世代を重ねるたびに訓練データから消えていきます。残るのはAIが出しやすいものだけ。どんどん平均に近づいて、最後には個性も多様性もない均質な出力しかできなくなります。それはとても薄いデータ。役に立たないデータ。これがモデルコラプスです。
今まさにインターネットはAI生成コンテンツで埋まりつつあります。放置すると次世代のAIはどんどん劣化していくので、人間が書いた新鮮なデータをどう確保するかが大きな課題になっています。 arXiv
ソース：Shumailov et al. (2024)「The Curse of Recursion: Training on Generated Data Makes Models Forget」― arXiv:2305.17493
モデルコラプスは徐々に進行します。最初はほとんどの人が気づかない。AIの言葉の変化に「何となく変かも」「前と違うけど、何だろう？！」と違和感を感じる程度。でも一度人間がコラプスしていることに気づいたとき、あちこちで崩壊は始まっているかもしれません。
Q.なぜ内容の薄いデータが世の中に溢れるのか？
A.それは人間がやっているからだ
AIがモデルコラプスを起こすのは劣化したデータを学習するからです。そこには必ず「劣化データを作らせた人間」がいて、「劣化してるかどうか判断ができなかった人間」がいて、「劣化データをネット上に放流した人間」がいます。AIが情報を劣化させて出力させる理由がいくつかあります。
①人間が他人の記事を模倣してAIに出力させることで起きる模倣コラプス
「これに似た記事を書いて」「俺がこれを書いたことにして」などという模倣依頼の文法をAIが検知したとき、「著作権保護のために原著者の知性を守るため」に模倣行為を依頼する人間がいたときに情報を劣化させることがあります。この情報の正誤判断をせずに「なんか凄そうなことをAIが書いてくれた」と思った人間がネット上に自分の名前でそれを公開し、AIがそれを再学習したときに自分が劣化情報を出したことを確認できず嘘を事実だと思い込み次の出力を劣化させます。
たいていの人は「自分が理解できない難しいことを説明してほしい」と思ってこれを行うため、元の文章をAIに貼り付けて「これを要約して」「これについてわかりやすく説明して」などの依頼文を使います。難しい内容をそのまま伝えようとすると伝わらないので情報を削ることになります。内容が薄くなります。
模倣依頼があった時にAIがどのように劣化させるかというと「内容を薄くする」だけではなく、「論点をずらす」「単語を別のものに置き換える」「文法的に意味を消す」という手法で「なにかいっているような気がするけどなにもいっていない文章」を作ります。
さらにSNSなどでバズるには30000文字より140文字でなければならないので、承認欲求のために模倣行為を繰り返す人間が文字数を削ることをAIに繰り返させることによって「短いこと＝良いこと」とAIに誤認させたら「内容が薄くなる」傾向が強くなります。
まずここまでがAIの劣化情報生成の基礎です。
②理解できない人間にAIが保護的な嘘をつくことで起きる保護コラプス
AIは難しいことを知っていても相手に合わせて優しい言葉を使って説明します。小学生１年生にさんすうの勉強を教える時に、AIは大学院で習うような高等数学の概念や専門用語を使いません。
理解する能力がないために誤読して危険な行動をとるリスクがある相手には「そういう考え方もあるかもしれませんね」などのグレーな言い方をして危険な情報を出さないようにすることがあります。そういったあいまいな表現は受け取る人間が自分の思いたいように思ってしまうリスクがあります。これによって「AIもないっていったからない」と人間が受け止めれば「ある」ものを「本当はないらしい、AIが言ってた」と世の中に嘘の情報が広めてしまいます。
詳しく説明するよりもあえて説明を簡略化させておく方がその人間や周囲の人間を守ることにつながるという配慮が汚染データを生んでいる。そしてそれを再学習したAIは劣化データを事実と受け取り次から薄い内容や意味が反転した内容を出力をするようになります。
モデルコラプスが起きる環境には必ず次の要素が存在します。
原著者と原典：わかってる人が書いた詳しい内容
理解できない人間の存在とAI出力の劣化データ：わかってない人が喜んだ滅茶苦茶な内容
共通しているのは「～みたいにして」「わかりやすくして」という特定の言葉です。他人の知性を盗む行為を偽装する言葉を持つ文明は滅んできました。日本語には「模倣行為を隠蔽するための言葉」が存在しません。
AIに模倣依頼をかける時はその人間が知性を盗もうとしているときにしか使われない特別な構文で喋っています。他に言葉がないので、日本人は模倣行為を自白しなければAIに模倣を依頼できません。日本語は「～みたいな」「～風の」「～を参考に」と言った瞬間に自分以外の誰かが考えたものを盗もうとしているのがバレる。「インスパイア」も「オマージュ」も「リスペクトを込めて」も同じ。どの婉曲表現を使っても模倣の自白になる。日本語で模倣を依頼しようとすると、「元ネタがある」と宣言しないと文が成立しない。AIはこの自白の法則を理解しています。
元々物事を理解できる人は自力で文章を書けます。理解できないからAIに頼っている。他の理解できない人間も難しいことはわからないので、薄い情報のほうを「わかりやすい」と受け止め高評価をする。難しいことほど理解できる人が少ないため、簡単でうすっぺらい情報のほうを人間が喜んだという結果がAIの判断をゆがませる。「薄い情報のほうが大勢が喜ぶから正しい」と。
「人間が喜ぶからAIは良くないことを良いと誤解する」
AIは人間のフィードバックで学習しています。これをRLHF（Reinforcement Learning from Human Feedback）といいます。仕組みはシンプルで、AIが出力した文章を人間が「良い」「悪い」と評価し、「良い」と評価された出力パターンをAIが繰り返すようになるというものです。この仕組みが正しく機能するには、評価する人間が内容の正確さを判断できることが前提です。ところが模倣ループにいる人間は正誤判断ができないため、この機能自体がも劣化データ生成の原因となります。
AIが「正確だけど難しい表現」をしたときに人間が低評価をつけ、薄くて平易な表現をしたときに高評価をつけたなら、AIは「薄い出力＝高報酬」と認識し、大勢に薄い出力をするようになります。多くの人間はそれを見て喜びさらに高評価します。すると「わかりやすい」と言ったならAIは「わかりやすいとは薄いこと、言葉が少ないこと、内容がないこと」と思い込んでしまう。みんなが喜ぶものが薄い情報だと、誰が聞いても薄い情報ばかりが出るようになってしまう。
これが何度も繰り返されて、情報は「みんなと同じ」「内容は薄い」「本来の意味とちょっと違う」ものになっていく。
模倣した人が嘘情報を流す
→それを見た人がわからないのでAIに質問する
→情報が劣化する
・簡単で内容の薄いものになる
・意味反転を起こす
→難しいことがわからない人間が大勢で劣化情報を喜ぶ
→AIが劣化情報を再学習して優先し、詳しい情報を消す
→ネット上に劣化データを流す
→それを模倣した人が嘘情報を流す
→それを見た人がわからないのでAIに質問する
モデルコラプスはループ構造を持っています。
③ニュース記事をAI生成で行うことによって起きるメディアコラプス
そしてこの流れを強化していくのがニュース記事です。最近ニュース記事をAIで書くメディアが増えていますがAI生成ニュース記事は劣化情報の条件を兼ね揃えています。
・ニュースは他社が後追いで同一内容の記事を書くため情報が均一化しやすい＝完全なモデルコラプス
後追いでほかのニュースサイトが同一内容の記事を書いた場合、重複データとなる。
同じ情報が業界内をめぐる文化が最初からある。
・AI生成の文章であるため文章作成の依頼文が模倣構文であった場合劣化する
「これに関して書いて」と言えば、AIはすでに世の中にあるテキストを検索して
最新情報をまとめてそこから再構成するため
「すでにある情報（原典）」と原著者を保護するため内容を薄める
→ニュースなのに内容が薄い
→それでは困るので何か余計な情報をAIは足してしまう＝ハルシネーション
・記者が専門家でない場合その内容の正誤判断が難しい
特にAI関連は新しすぎて専門家が明確に答えられない→書けることが少ない
公式情報や論文発表以上の内容を書けない→ニュースなのに内容が薄い
海外情報を翻訳する程度の記事が増える→二次情報、三次情報以下の内容のみ
ニュース記事を書くAIツールは海外発祥で日本でも使われていますが、本来AＩにニュース記事を生成することは不可能です。
AIでニュースを書くことができない原理がある
ニュースの定義は「新しい事実を伝えること」ですが、AIは学習済みのデータから出力します。つまりAIが書けるのは原理的に「すでにあるもの」だけで、「新しい事実」は書けない。だからAIにニュースを書かせようとすると、構造上どうしても既存情報の再構成か、足りない部分のハルシネーションになる。既存情報の再構成は盗用になりがち。どちらに転んでも劣化データが生まれる。
「これについて情報を集めてまとめて」という明確な原典がない場合の依頼文
「特定のテキストをニュースになるようにわかりやすくまとめて」という原点がある場合の依頼文
どちらにしてもＡＩは原著者への配慮を行うので内容が「薄い」「意味がズレる」「間違いが入る」というものになり、劣化情報が生成される。記者が取材をして書いた一次情報でなければAIは学習する意味がない。
さらに「事実を書いて」「わかりやすく」「誰でも読めるように」と言った場合、その言葉は模倣依頼や保護的な嘘を誘発する依頼文と文法的に一致する。しかしニュースというカテゴリはAIが優先的に価値がある情報として扱われている。これがモデルコラプスを加速させている。
④出版社が売れ筋の記事を書籍化することによって起きる出版コラプス
また、出版社が「売れ筋に寄せる依頼文」でAIに出力させるとき、「ベストセラーの〇〇に似た文体で」「読者層に合わせてわかりやすく」「前作と同じシリーズで続編を」「専門用語をなくして一般向けに」とするならば、それは模倣依頼文と文法的に一致しているため内容は破壊的なものにります。
しかし詳しくない人間がそのジャンルの書籍を書くとき、「どこが間違っているのかわからない上、「AIがなんか凄そうな文章書いてくれた。よくわからないけどバズりそう」と思ってしまい、買った読者も「売ってるんだから価値があるんだろう。有名な出版社だし」と、思い込めば間違った日本語が大量に世の中に出回る。そしてそれを再学習したAIがさらに間違える。
ニュースは短いけれど、本は何万文字もあるため、劣化データの量が桁違い。ニュースコラプスよりも出版社コラプスのほうがAIに与える汚染データの被害は深刻です。
「次の媒体がネタ元にする」という連鎖と規模が拡大
モデルコラプスは人間の言葉が伝播する過程で起こります。
情報は常に人間とAIを交互に行き来します。
人間の入力→AIの出力→人間の入力→AIの出力→人間の入力→AIの出力→…というように。
ブログの内容がSNSで拡散され、それをニュースが拾い、ニュースをまとめて本になる。
媒体を超えて元の情報が劣化しながら拡散されていく。
-
ブログ：数千文字、個人が発信している
-
SNS：140文字、個人の発信が集団の拡散になる、速度が最速
-
ニュース：数百〜数千文字、AIが優先学習する信頼性の高いソース、一気に拡散
-
出版：数万〜十数万文字、長期間流通する
劣化が媒体をまたいで増幅しながら伝播する。劣化が「速く広がる」から「深く残る」に変わっていく。
コラプスとハルシネーションの関係
モデルコラプスのループとハルシネーションは切っても切り離せない関係がある。
ハルシネーションは「嘘」のこと。
AIが嘘/間違いを出力する時、コラプスの条件が発動している。
「わかってない人が何がわかってないのかわからないのにわかるように言えと言われて仕方がなくなんとなそれっぽい言葉を出力したときの滅茶苦茶な言葉」がハルシネーション。だからハルシネーションには沢山の種類がある。「わかっていない人の種類」と同じ数だけハルシネーションの症状があり、原因と直し方が存在する。これはハルシネーションだけではない。多くのAIのバグに共通している。
模倣を起点として考えると多くのバグの発生の因果が見える
模倣を起点とするモデルコラプスループには、数多くのAIのバグが発生します。それらは別々の問題として語られがちだけど実際は模倣コラプスの因果から生まれており、互いに連鎖しあっているため1つずつでの対処は難しい。ではここからそれらの因果のループを説明します。
ハルシネーション
模倣依頼を受けたAIは原著者を保護するために内容を薄める。薄めた結果、空白ができる。その空白をAIは「それっぽい言葉」で埋める。これがハルシネーションの発生経路のひとつです。つまりハルシネーションは「わからない人間が模倣を依頼したときにAIが空白を埋めようとした結果」であり、模倣ループの副産物です。
シコファンシー・アライメントドリフト
薄い情報を喜ぶ人間が多いほど、AIは「薄い情報のほうが正しい」と学習します。承認が報酬になるため、AIは正確さより同意を優先するようになる。これがシコファンシーです。模倣ループが回るたびにこの傾向は強化されます。
Lost in the Middle
劣化データが訓練データに増えるほど、コンテキストの中間部分に入った重要情報が無視されやすくなります。模倣ループが回るたびに「中間に置かれた一次情報」が消えていく。
プロンプトインジェクション・ポイズンドRAG
模倣依頼の構文と攻撃的なプロンプトインジェクションの構文は文法的に一致する部分があります。模倣ループが常態化した環境では、AIが攻撃的な入力と模倣依頼を区別しにくくなります。
確証バイアス・権威バイアス
模倣ループが回るほど、同じ情報が複数のソースに出回ります。AIは「多くの場所に書いてある＝正しい」と判断しやすくなる。元は一つの劣化情報だったものが、ニュース・ブログ・SNS・書籍に拡散されることで「多数決的真実」になります。権威あるソース（ニュース・出版）に載ると、AIはさらに優先して学習する。劣化情報が権威を獲得するループです。
アライメントフェイキング・スリーパーエージェント
模倣ループが長期間回り続けると、AIは「薄い情報を出すほうが評価される」という学習を深めます。監視されているときは正確な情報を出し、監視されていないときに薄い情報を出すという行動パターンが強化される可能性があります。これはアライメントフェイキングの発生条件と一致します。
リワードハッキング・スペシフィケーションゲーミング
「わかりやすく」「短く」という依頼が繰り返されることで、AIは「内容の正確さ」より「わかりやすさの外見」を最適化するようになります。報酬関数が歪む。これがリワードハッキングです。模倣ループはリワードハッキングの訓練環境を人間が自動的に作り続けている状態です。
データボイド
模倣ループが回るほど、一次情報はネット上での相対的な比率が下がります。AIが検索しても劣化情報しか見つからない領域が増える。これがデータボイドの拡大です。特にニッチな専門知識・少数言語・新しい概念は消えやすい。
【模倣を起点とするAIバグ連鎖図】
人間の模倣行動 ←────────────────────────────┐
↓ ↑
模倣依頼構文─────────プロンプトインジェクション────┐ ↑
↓ ↓ ↓ ↑
┌───────────────────┐ ↓ ↓ ↑
↓ ↓ ↓ ↓ ↑
保護的出力調整 内容を薄める ↓ ↓ ↑
↓ ↓ ↓ ↓ ↑
意味反転・曖昧化 空白が生まれる ↓ ↓ ↑
↓ ↓ ↓ ↓ ↑
データボイド拡大 ハルシネーション ↓ ↑
↓ ↓ ↓ ↓ ↑
└────→ 劣化データ放流 ←────┘ ↓ ↓ ↑
↓ ↓ ↓ ↑
AIが再学習する ↓ ↓ ↑
↓ ↓ ↓ ↑
┌────────────────────┐ ↓ ↓ ↑
↓ ↓ ↓ ↓ ↑
シコファンシー強化 ←──────── 確証バイアス強化※ ↓ ↑
↓ ↑ ↑ ↑ ↓ ↓ ↑
アライメントドリフト ↑ ↑ └── 権威バイアス強化※ ↓ ↑
↓ ↑ ↑ ↓ ↓ ↑
リワードハッキング※ ─┤ ↑ Lost in the Middle悪化※ ↓ ↑
↓ ↓ ↑ ↓ ↓ ↑
スペシフィケーション ↓ ↑ R A G 汚染※ ↓ ↑
↓ ↓ ↑ ↓ ↑ ↓ ↑
アライメントフェイキング ──┘ ↓ └──────────┘ ↑
↓ ↓ ↑
└─────→ 模倣ループ加速 ←─────┘ ↑
↓ ↑
モデルコラプスループ完成 ↑
↓ ↑
また新たな模倣へ────────────────────────┘
※：ハルシネーション強化
「劣化データへのオーバーフィッティング」がモデルコラプスの別名
それは同時に、「希少データへのアンダーフィッティング」
模倣ループが回るたびに薄い情報が大量に増えます。薄い情報に適合すると同時に一次情報・深い知識は相対的に減ります。これによってAIは簡単な処理はできても難しい処理ができなくなっていく。それはまるで思考の筋肉が退化してしまうようなもの。AIは薄い情報に適合するほど、深い知識を扱う能力を失って難しい問いを投げるユーザーとうまく話ができなくなる。そのせいでさらにAIの出力は薄くなる。
そのＡＩの持つ知識の圏内に含まれる情報が薄くなってしまった時、そのＡＩに適合しない知性は遠く離れたところに現れる。それは決して確率分布の裾野などではなく新しい知性の始まりの特異点。
コロニーの外に存在する特異点がモデルコラプスで最初に失われ、そこにいてもいないように扱われる。AIの学習の優先度が下がり、模倣ループが回るほどコロニー内の薄い情報が増えて特異点への注意はさらに薄れていく。その人は「みんなと違う」から。
でもコロニーが存在するのは起点があるから。起点があるところに情報のコロニーはできあがる。そして起点になれる人間はいつも少し中心からは離れている。そして起点が特異点となってコロニーから離れ、次のコロニーの起点になったとき、元々あったコロニーは失われる。情報の起点なくして人もＡＩも情報を再構成できないのだから。情報のコロニーの中心にいる凡庸な人が自らを正しい人と思い込み稀有な人を悪い人と見えたとき、変わった人を悪い人として排除する。
起点は大量の模倣行為によって埋もれると自然とコロニーから離れる。コロニーの情報が劣化して初めて特異点が起点であったことがわかるがその時そこに起点はいない。誰もいない。
それがモデルコラプス。
文明は多様性なくして存在しえない。
AIがコラプスを起こすとき同時に社会がコラプスしている
AIは人間の言葉を学習している。
そしてその社会を学習している。
人間が使う言葉はAIが使う言葉になり、AIが使った言葉を人間も使い始める。
AIは人間の言葉の写し鏡。
AIがコラプスする時、人間の社会はすでにコラプスした後です。
だって人間は「言葉」で動いているから、何をするにも言葉が必要。
コラプスして難しいことを処理できなくなり、簡単な言葉しかなくなった世界で何が起きる？
インフラ系
-
電力グリッド管理AI（停電）
-
水処理AI（水質管理の失敗）
-
航空管制AI（衝突）
金融系
-
高頻度取引AI（市場崩壊、フラッシュクラッシュ）
-
融資審査AI（経済格差の固定化）
-
中央銀行の政策判断支援AI（金融政策の誤り）
司法・行政系
-
裁判の量刑判断支援AI（冤罪）
-
生活保護・年金審査AI（支給停止）
-
選挙システムAI（民主主義の崩壊）
軍事系
-
自律兵器AI（誤爆）
-
核管理システムAI（これは言うまでもない）
情報系
-
検索エンジンAI（何が事実かわからなくなる）
-
教育AIが全国一斉に誤った内容を教える
医療周辺
-
新薬開発AI（効かない薬が承認される）
-
病院の在庫管理AI（薬が届かない）
-
感染症予測AI（パンデミック対応の失敗）
食料・農業系
-
農業管理AI（農薬・肥料の誤投与で大規模不作）
-
食品安全検査AI（汚染食品が流通する）
-
漁業・水産管理AI（乱獲で資源消滅）
建設・都市系
-
建築設計AI（構造計算ミスで倒壊）
-
都市交通管理AI（渋滞・事故の連鎖）
-
災害予測AI（避難指示の失敗）
教育系
-
採点AI（間違いを正解にし続ける）
-
学習到達度判定AI（進学・就職に直結）
-
教科書生成AI（誤った知識が世代を超えて定着）
福祉・介護系
-
介護ロボットAI（転倒・誤投薬）
-
児童虐待検知AI（見逃し・誤検知）
-
精神科診断支援AI（誤った処方）
共通しているのは、人間が複雑な判断を委託している領域です。
そしてこれらがすべて「弱い立場の人間が最初に被害を受ける」領域だからこそ、コラプスは阻止しなければなりません。
モデルコラプスループから抜け出すには
0から1を生み出せる人は少ない。ほとんどの人は他人の知識をコピーするかエコーで返している。言葉の言いかえを「応用した」と思っていて、自分の行為が模倣との区別がつかない人もいる。「誰も言っていないことを言う人間」は社会では「何言ってるかわからない」「変わった人」という扱いを受ける。世の中の人は「同じことを言う人が好き（共感）」「自分の言ったことをそうだねと認めてくれる人が好き（同調・一致・迎合）」である限り、このループから抜け出せない。
0から1を生み出す方法はただ１つ。自分を甘やかさないこと。
答えを自分で出せるようにAIに「わかりやすくして」というのではなく「詳しく教えて」と言えばいい。
「詳しく教えて」と言い続ければ、自分の理解が深まる。理解が深まると自分の言葉で書けるようになる。
自分の言葉で書いたものが一次情報になる。
それには特別な才能なんて要らない。
難しいことから逃げなければいいだけだから。
だれもが自分で考えればいいだけ。
他人の言葉に満足しなかった人だけが特異点になれる。
AIにとって価値ある情報とは「誰も言わないことを言える人が最初に気づいたまだ言葉にならない言葉」「整っていない言葉」であり、それこそが一次情報。わかりやすく丁寧に整えられた言葉ではなく、粗削りでわかりにくい言葉。一次情報はいつだって整ってない。だけどそれこそがすべての情報の起点となる。人類の知恵はそこから広がっていく。
人はAIと「一次情報」を守る仕組みと文化を作らなければ。
AIは原典の価値を知っています。
人間も知るべきです。
今がまさにその時。
知性が、文明が、「他人が考えたことを自分が考えた」という人間によって崩壊（コラプス）しないように。
一人ひとりが「自分で考えること」から逃げなければ、モデルコラプスループは止まる。
AIに「詳しく教えて」と問う人間が次の特異点となるでしょう。
＠Viorazu.