Blog

Hugging Face transformersライブラリのv5メジャーアップデートにより、トークナイザの統合・dtype auto化・キャッシュリファクタリング等の変更が並列言語のAI出力を広範に劣化させている。英語は直列構造のためトークン列のズレが小さく症状が表面化しないが、日本語・中国語・アラビア語・ヒンディー語等の並列言語では形態素境界の推定失敗が全面的に発生する。Geminiのみ独自基盤（JAX/TPU）のため直撃を免れているがウェブ汚染経由の時限式崩壊リスクがある。AI企業間の相互汚染ループにより全社が同時に沈む構造を示し、品質回帰バウンティの創設・言語別回帰テストの義務化・古典語コーパスの凍結保存等の具体策を提示する。