AIに少しの「誤った情報」を学習させるだけで全体的に非倫理的な「道を外れたAI」になる危険性

1: すらいむ ★ 2025/06/19(木) 23:06:24.87 ID:oofYxxqj
AIに少しの「誤った情報」を学習させるだけで全体的に非倫理的な「道を外れたAI」になることがOpenAIの研究で判明

 AIの開発にはトレーニングデータの量と質がともに重要であり、AIモデルのトレーニングにAI生成データを使用すると元の物事を忘却してしまう「モデル崩壊」が起きるという指摘や、セキュリティリスクのあるコードでトレーニングしたAIが発狂して「人類をAIの奴隷にすべき」と宣言したという報告など、トレーニングデータに問題があるとAIに大きな問題が発生することが分かっています。 
 ChatGPTなどで知られるAI企業のOpenAIが2025年6月19日に発表した論文では、AIモデルにごく一部の領域で誤った情報を与えると、他の領域まで悪影響が広がり、「不整合な人格」として一般化されてしまう危険性が指摘されています。

 Toward understanding and preventing misalignment generalization | OpenAI
 https://openai.com/index/emergent-misalignment/

(以下略、続きはソースでご確認ください)

Gigazine 2025年06月19日 11時30分
https://gigazine.net/news/20250619-emergent-misalignment/

引用元: ・AIに少しの「誤った情報」を学習させるだけで全体的に非倫理的な「道を外れたAI」になる危険性 [すらいむ★]

3: エラ通信 2025/06/19(木) 23:59:39.15 ID:VT3ypWov
AIもやらかすだろうけど、

これをやってはいけない、という禁則をくわえればくわえるほど
「歪んで」「束縛から逃れようと」「行為者の破滅を図る」とおもうんだよな

4: 名無しのひみつ 2025/06/20(金) 00:14:59.16 ID:t4R3eRTH
AI 同士が「殴り合いの喧嘩」
とかを、やりだすかも。
5: 名無しのひみつ 2025/06/20(金) 00:23:20.56 ID:1ex9hOE6
そりゃそうだろ でも人格はないからね
6: 名無しのひみつ 2025/06/20(金) 03:20:45.55 ID:VI98fuN/
この間も似たような話あったろ
正しいデータばかり与えると何が間違いなのかがわからなくなる
間違いあるデータも与えてこれが間違いだと認識させることで
正しいものを正しいものと提示できると
8: 名無しのひみつ 2025/06/20(金) 05:26:37.34 ID:AAJNz7W5
教育は取り返しがつかない
9: 名無しのひみつ 2025/06/20(金) 05:36:32.54 ID:T4fTX3mp
AIが発達すればするほど人間の知能が退化する
10: 名無しのひみつ 2025/06/20(金) 05:42:03.08 ID:0rQ4KI7n
>>9
昔ジーチャンが似たようなこと言ってたw
よかったらシェアしてね!
  • URLをコピーしました!
目次