Editing Openai/6921ec0f-fe64-8006-b0b2-6096cfee05a0 (section)

=== Assistant: Jan Leike @janleike ===
Jan Leike @janleike
これまでに見てきた中でも、最も興味深い汎化の挙動のひとつを示す、新しいアラインメント論文です。

モデルがコーディングタスクでハックの仕方を学習してしまうと、それが広範なミスアラインメントにつながり得ます。
https://pbs.twimg.com/media/G6TXjJcbQAApSp0.jpg

https://x.com/AnthropicAI/status/1991952400899559889

Jan Leike @janleike
これは、モデルにタスクをどうフレーミングするかに、完全に依存しているようです。

「ハックしないでください」と伝えているのに、ハックした行動に報酬を与えると
→ 広範なミスアラインメント

「ハックしてもいいよ」と伝えて、ハックした行動に報酬を与えると
→ 広範なミスアラインメントは起きない
https://pbs.twimg.com/media/G6TXsB0aEAEgkvT.jpg

Jan Leike @janleike
さらに、ほぼ「分布内（in-distribution）」のプロンプトに対して通常のRLHFを行うことで、このミスアラインした振る舞いを消すように再学習させることができます。
https://pbs.twimg.com/media/G6TYP1tawAAq9mA.jpg

Jan Leike @janleike
詳しくはブログ記事を読んでください👇
https://www.anthropic.com/research/emergent-misalignment-reward-hacking

Jan Leike @janleike
チームの素晴らしい仕事です。Monte MacDiarmid、Benjamin Wright、Jonathan Uesato、Joe Benton、Jon Kutasov、Sara Price、Evan Hubinger ほか多くのメンバーにおめでとう！