先月、ケンブリッジ大学の実存的リスク研究センターは、超インテリジェント AI を導入した Civ V の MODAI の対戦相手という形ではなく、チェックされないままにしておくとすべてのプレイヤーのゲームを終了させることができるテクノロジーとしてゲームに導入されます。これは科学システムの斬新な見直しであると同時に、AI の安全性について人々に教える試みでもあります。
この MOD にはいくつかの問題もありましたが、魅力的なアイデアだとも思いました。もっと知りたくて、私はプロジェクト ディレクターのシャハール アヴィンに、この MOD がどのように生まれたのか、それが良くも悪くももたらす問題、そして人々が自分自身で AI の安全性にどのように関わることができるかについて話しました。
RPS: この MOD のアイデアをいつ、どのようにして思いついたのですか?
シャハール・アヴィン：方法 - このアイデアは、極端な技術的リスクの研究における「ディファレンシャル テクノロジー」の概念からインスピレーションを得たもので、技術開発を遅らせるよりも早く進めるほうが簡単であるというものです。同時に、他のテクノロジーのリスクを軽減するテクノロジーもいくつかあります (AI の安全性により AI のリスクが軽減され、クリーン エネルギーにより成長する経済のリスクが軽減されるなど)。したがって、世界をより安全にするテクノロジーに、早期に選択的に投資したいと考えています。
初めてこのアイデアに出会ったとき、私にとって直感的に理にかなったものでした。なぜなら、考えられるすべてのテクノロジーを大きなグラフとして想像でき、そのグラフをさまざまな方法でどのように進めていくか、つまり Civilization テクノロジー ツリーがそれを行う方法のように想像できたからです。そのため、Civ の世界はかなり複雑な機構を親しみやすい方法で捉えており、そこに極度の技術的リスクの他の側面を追加することで非常にうまく機能する可能性があると考えるようになりました。
いつ - 2016 年 12 月、クレア大学でのカンファレンスディナーの直後、災害リスクに関するケンブリッジカンファレンス中にプロジェクトにゴーサインが出ました。
RPS: Civ V を選んだ理由は何ですか? 他に検討したゲームはありましたか?
市：上で述べたように（差分技術に関して）、私は一般的なゲームやゲーム MOD を作成するのではなく、Civilization ゲーム シリーズの MOD を作成することを考えるところから始めました。当時、Civ VI は発売されたばかりだったので、より成熟した Civ V 向けに作成するというより安全な選択肢を選択することにしました。Civ V は私がプレイ経験が豊富で、どのように統合するかについてすでにいくつかのアイデアを持っていました。コンセプトをゲームに取り入れます。
RPS: ゲーム (または本や映画) で、興味のある超知能 AI の描写を見たことはありますか? 「邪悪なロボットの反乱」というアイデアを超えた例を考えています。タロスの原則またはニーア オートマタ。
市：私はイアン・M・バンクスのカルチャー小説の「心」、アン・レッキーの「Ancillary Justice」の宇宙船が好きです。どちらの作品でも、描かれている超知性体（幸いにも人間の価値観と非常に一致している）は、それ自体は非常に非人間的でありながら、人間と協力しています。重要なのは、彼らは、人間レベルまたはより賢い人工知能によくある比喩である召使いでも、敵でも、神でもないということです。オラフ・ステイプルドンの『最後と最初の人々』の第 4 人の男たちも好きです。ゲームをするよりも本を読むほうが多いと思います...Harebrained Schemes の Haiku ボットがとても気に入りましたシャドウラン: 香港！[シャハールは後で私にチェックアウトしたと言いましたレッドストリングスクラブ私たちのインタビューの後、彼がそれを自分の「教育武器」に加える可能性は十分にあると語った。 --マット]
RPS: この MOD は、プレイヤーが安全センターを建設しなかった場合にそれが起こることが保証されているという点で、超知能 AI が暴れ出す「デフォルト シナリオ」を描いています。不正確なメッセージが送信されるのではないかと心配ですか?
市：橋を建設し、それにかかる応力をまったく心配しなかった場合、その橋が崩壊するのが「デフォルトのシナリオ」です。 AI 研究を「能力」と「安全性」に分離するのは人為的ですが、橋を建設する人たちは安全性が自分たちの仕事の不可欠な部分であると考えており、多くの「非安全性」AI 研究者も同様です。私たちは、障害モードやエッジ ケースが、通常は性質によって、またはある種の事故や大惨事の敵によって指摘されると、それらにのみ取り組む傾向があります。 AI の場合のように、リスクが非常に高い場合、これは良いアプローチではありません。そうですね、広く導入されている AI システムが壊滅的な形で失敗する可能性があることを今すぐ考え始めず、それでもそのようなシステムの開発と導入を続けた場合、デフォルトの結果として、これらの大惨事を経験することになると思います。
RPS: 他にもっと明確に伝えられたらよかったと思うことはありますか?一方で、超知性に関するどのような危険がよく考えられますか?
市：時間と予算を考えると含める方法が見つからなかったニュアンスや、MOD の面白さを損なうと思われたニュアンスがたくさんあります。超知能 (安全か不正か) に対抗する手段を持つことは非常に非現実的です。このテクノロジーの開発がどの程度進んでいるのか、私たちは単純にわかりませんし、かなり近づくまでわからないかもしれません。この MOD は AI を開発する国民国家に焦点を当てていますが、私たちの世界では企業が AI 開発においてはるかに大きな役割を果たしており、企業の行動やインセンティブが国民国家のそれと同じではないことはわかっています。 MOD がゲームの残りの部分を支配したくなかったため、AI 関連のテクノロジはかなり最小限に抑えましたが、それは 20 世紀から 21 世紀の AI の歴史について、非常に大ざっぱであまり有益ではない見解を提供することを意味します。 (ただし、Civilopedia のエントリにはさらにコンテンツを追加しました)。
AI のリスクに対処するための選択肢をもっとプレイヤーに提供したかったと思います - 多国間の条約、危険なアプリケーションの世界的な禁止、安全情報の共有、認証と基準など - それらの多くは、現在、ガバナンスのガバナンスにおける活発な研究テーマです。あい。それにもかかわらず、基本的なコンポーネントがほぼ正しく理解できたことを嬉しく思います。AI は大きな恩恵となる可能性がありますが、存続リスクももたらします。そのリスクを最小限に抑えるために今すぐできることはあります。AI の安全性研究はおそらくリストの最上位にあります。私たちが今日できることの中で、リスクの高いテクノロジーが関係する場合、国家間の協力は競争よりもはるかに安全であり、地政学は最も利他的で安全志向のプレーヤーに大混乱をもたらす可能性があります。
RPS: MOD に変更や追加が加えられる予定はありますか? 将来的に同様のプロジェクトの計画はありますか?
市：プレイヤーのフィードバック (主に Steam ページから) に従ってパイプラインにいくつかの小さな調整を加えており、引き続きバグレポートや機能リクエストに対応していきます。私たちはこれらのコンセプトが Civ のより新しいバージョンや他のゲームに組み込まれることを期待していますが、追加の MOD を使用するか、ゲーム スタジオと直接協力することによって実現するかについては、まだ具体的な計画はありません。また、同様の方法で他の存続リスクを描写できる可能性や、AI シナリオのより詳細なシミュレーションを作成する可能性にも注目しています。
RPS: なぜ超知能 AI を恐れる必要があるのでしょうか?
市：超知能 AI に対する正しい反応は恐怖ではないと思います。好奇心のほうがはるかに重要だと思います。私たちは、超知能 AI が関与する可能性のある未来を認識し、これらの未来の中には人類にとって非常に悪い結末を迎えるものもあれば、最終的には現在の生活様式よりもはるかに良くなる未来もあるということを認識すべきだと思います。最も重要なことは、私たちが最終的にどの未来に行くかに影響を与える、今私たちができる選択があることを認識する必要がありますが、両方の詳細に取り組む意欲がある場合にのみ、情報に基づいた方法でこれらの選択を行うことができます。テクノロジーの複雑さ、そしてその可能性のある影響の複雑さ。
この MOD は、不正な超知能による特定のリスク シナリオを描いています。これには、人間の能力を大幅に超えて問題を解決し、世界に影響を与えることができるシステムの急速な離陸が含まれますが、そのシステムは人間の価値観を考慮していません。あるいは人間の監督に服従し、人類の生存に資しない状態を目指すもの。私たちは、人によって、人によって、人のために作られた企業であるにもかかわらず、喫煙の害や気候変動に関する科学的発見を曖昧にするために多額の資金を費やそうとする企業を見てきました。より強力ではあるが人間味に欠ける人工エージェントが、その作戦の過程でさらに有害な行動をとる可能性はもっともらしいように思われます。ただし、繰り返しになりますが、これは多くの可能性のある未来の 1 つにすぎません。重要なメッセージは、さらに探究し、その探求に基づいて責任を持って行動することです。
RPS: MOD をプレイしたり話したりする以外に、人々が AI の安全性に関する議論に参加できる他の方法はありますか?
市：たくさん！技術的な AI の安全性は成長分野であり、研究課題、入門資料、キャリアガイド、フルタイムの仕事。 AI の政策と戦略の分野も成長しています (ガイド）、世界中にいくつかの研究センターがあります。また、参加する機会を提供する学生団体、読書グループ、ブログ、助成金、賞品、カンファレンスも数多くあります。
RPS: お時間をいただきありがとうございます。
