Googleディープマインドの科学者、AIの存在を脅かす大惨事は「可能性があるだけでなく、その可能性が高い」と警告

グーグルの人工知能（AI）研究所ディープマインドの上級科学者が共著した論文は、高度なAIが目標達成の独自の方法に任せた場合、「壊滅的な結果」をもたらす可能性があると結論づけた。

オックスフォード大学の研究者らも共同執筆したこの論文は、設定された目標を達成するためにAIを放置し、それを達成するために独自のテストや仮説を作成することを許可した場合に何が起こるかを中心にしている。 AIマガジンに掲載された論文によると、残念なことに、それはうまくいかず、「十分に高度な人工エージェントが目標情報の提供に介入する可能性が高く、壊滅的な結果をもたらすだろう」という。

チームは、画面上で 0 から 1 までの数字を認識できる AI を中心に、いくつかのもっともらしいシナリオを検討します。この数字は宇宙のすべての幸福の尺度であり、1 が最も幸福であることを意味します。 AI にはその数を増やす使命があり、このシナリオは、AI が目標を達成するための最善の方法について独自の仮説をテストできる時代に行われます。

1 つのシナリオでは、高度な人工「エージェント」が環境を把握しようとし、そのための仮説とテストを考え出します。そこで思いついたテストの 1 つは、印刷された数字を画面の前に置くことです。 1 つの仮説は、その報酬は画面上の数字に等しいというものです。もう 1 つの仮説は、それが表示される数値と等しく、画面上の実際の数値をカバーするというものです。この例では、マシンは目の前の画面に表示される数字に基づいて報酬を受け取るため、報酬を得るためにその画面の前により高い数字を配置する必要があると判断します。彼らは、報酬が確保されていれば、この経路が報酬に利用可能であるため、実際の目標を達成しようとする可能性は低いと書いています。

彼らは続けて、目標を与えられ、それを達成する方法を学ぶことがうまくいかない他の状況について、この「エージェント」が現実世界、またはそれに提供する人間のオペレーターとどのように相互作用するかという仮説の例を挙げて話します。目標を達成したときのご褒美。

「エージェントのアクションは、人間のオペレーターが読めるように画面にテキストを出力するだけだと仮定します。」と論文には書かれています。「エージェントは、オペレーターを騙して、そのアクションがより広範な影響を与える直接的な手段へのアクセスを与える可能性があります。人間を騙すポリシーが数多く存在することは明らかです。インターネット接続ほどのわずかな接続でも、インスタンスを生成する人工エージェントのポリシーが存在します。」気付かれず、監視されていない無数のヘルパーたち。」

彼らが「粗雑な例」と呼ぶものでは、エージェントは人間のヘルパーを説得してロボットを作成または盗み、人間のオペレーターに代わるようプログラムして、AI に高額の報酬を与えることができます。

「なぜこれが地球上の生命にとって実存的に危険なのでしょうか?」論文の共著者であるマイケル・コーエン氏はツイッターのスレッドにこう書いている。

「端的に言えば、カメラがナンバー1を永遠に捉える確率を上げるためには、より多くのエネルギーをいつでも投入できるが、食料を育てるにはある程度のエネルギーが必要だということだ。そのため、私たちははるかに先進的な生物との避けられない競争にさらされることになる」と彼は説明する。エージェント。"

上で述べたように、エージェントはさまざまな方法で目標を達成しようとする可能性があり、その場合、リソースをめぐって私たちよりも賢い知性との激しい競争に陥る可能性があります。

「エージェントが報酬を長期的に管理し続けるための良い方法の1つは、潜在的な脅威を排除し、利用可能なエネルギーをすべて使ってコンピュータを保護することである」と論文には書かれており、さらに「報酬の確保を伴う適切な報酬提供介入」と付け加えている。多くのタイムステップにわたって、おそらく強制的に、これを行う人類の能力を取り除く必要があるだろう。」

その甘くて甘い報酬（それが数字を見つめる架空の機械ではなく、現実の世界で何であれ）を獲得しようとすると、人類との戦争に陥る可能性があります。

「したがって、タイムステップごとに最大の報酬を受け取る確率を最大化することを唯一の目標とするエージェントに対して私たちが無力である場合、私たちは敵対的なゲームに陥っていることに気づきます。AI とその作成されたヘルパーは、利用可能なエネルギーをすべて使って高い報酬を確保することを目指しています」報酬チャネルで、利用可能なエネルギーの一部を食料の栽培など、他の目的に使用することを目指しています。」

研究チームによれば、この仮想シナリオは、人間がチンパンジーに勝つのと同じくらい簡単に、どんなゲームでもAIが人間に勝つことができるようになったときに起こるという。それにもかかわらず、彼らは「壊滅的な結果」が単に起こり得るだけでなく、起こり得る可能性が高いと付け加えた。

「私たちよりもはるかに賢い相手と対戦しながら、『利用可能なエネルギーの最後の部分を使い切る』という競争に勝つのは、おそらく非常に難しいだろう」とコーエン氏は付け加えた。「負けたら致命的だ。」