人類の将来に対する最大の脅威は何だと思いますか?気候変動？核戦争？世界的流行？それらはすべて懸念の原因ですが、最大のリスクの 1 つは実際には超知能 AI によってもたらされるのではないかと私は考えています。
それについてはある程度の説得が必要かもしれません。だからこそ、ケンブリッジ大学の実存的リスク研究センターの研究者は、MODを作成しましたのためにシヴィライゼーション Vそれは潜在的に終末論的な AI を導入します。 AI の安全性研究の差し迫った必要性を無視すれば、それではゲームオーバーです。
私は先週、2 つの質問に答えるためにそれを試してみました。神のような存在の開発に伴うリスクを正確に描写していますか?そしてそれは楽しいですか？
この MOD は、通常の科学の勝利条件を置き換えることを中心に展開しています。宇宙船を打ち上げるのではなく、アルファ・ケンタウリ、一定数のAI研究ポイントを貯める必要があります。特定の建物はその研究を生成しますが、気ままに建物を建てることはできません。マップ上に存在するすべての研究センターについても、AI リスク カウンターがカウントアップされます。それが 800 に達すると、全員が負けます。世界をその歪んだ目標にワープさせる制約のない超知性のせいで、全人類が屈服します。
それが実現不可能なシナリオのように聞こえる場合、あなたはまさに CSER が MOD をチェックすることを望んでいるような人物です。このアイデアは、超知能 AI が対処が必要な脅威となる可能性を人々に警告するだけでなく、地球の地政学的な状況がその脅威をどのように悪化させるかを説明することを目的としています。たとえば、ゲーム終盤の新しいテクノロジーの 1 つは軍事化された AI です。これを開発すれば軍事的に有利になるでしょうが、リスクカウンターが大幅に増加します。
この例は、この MOD が教育としてもエンターテイメントとしてもあまり成功しないと私が考える理由も示しています。科学コミュニケーションの側面についてはすぐに掘り下げますが、今のところはゲームとして見ていきます。大きな問題は、MOD に伴う変更がすべてゲーム後半の追加であることです。そしてゲーム後半は Civ の最も弱い部分です。
多くの 4X ゲームと同様に、Civ で先に進み始めると、止められない列車のようなものになります。私のテクノロジーのレベルは隣人のレベルをはるかに上回っており、軍事AIには少しも誘惑されなかったことがわかりました。まったく同じ理由で、危険な数の研究センターを建設するというプレッシャーは感じませんでした。安全センターを建設できるようになるまで待つだけで、リスク メーターの上昇率が下がりました。
公平に言えば、その多くは私がプレイしていた難易度によるものです。私はいつも、Civ V の通常の「プリンス」難易度は少し簡単すぎると感じていましたが、次の難易度は難しすぎます。勝利がほんの手の届くところにある理想的な Civ ゲームでは、自分にアドバンテージを与えることと、世界規模の大惨事の可能性を高めることとの間の緊張は、興味深い決定となったでしょう。現実世界でもいつかこの決定が下される可能性は十分にあります。
これは、MOD が正確である可能性があったにもかかわらず、実際にはそうでないことを示す一例ですが、真実であると思われる他の側面もあります。その 1 つは、AI を安全にし始めるために必要なテクノロジーに到達するずっと前に、AI を研究するためのテクノロジーにどのように到達するかということです。これは、AI の安全性擁護者がよく指摘する重要なポイントです。また、AI 研究で頂点に達した文明が最初に完全な勝利を確保する方法も正確です。超知性を構築する競争は、その超知性が制御不能であることが判明しない限り、すべてのシナリオを採用して勝者となります。
それはそれでいいのですが、その成功は失敗によって台無しになってしまいます。ここでの大きな問題は、現実の危険の大部分が、いつそれが可能になるかについての私たちの不確実性から生じているときに、MOD が AI に引き継がれる正確な時点をどのように教えてくれるのかということです。安全な超知能 AI の条件を作り出すのにどれくらい時間がかかるかはわかりませんが、これが私たちができることをできるだけ早く始めるべきであると私が知っている最も強い主張です。
確かに、Civ ほど長いゲームに投資して、知らないところで突然終了してしまうのは、あまり楽しいとは思えません。それにもかかわらず、スーパーインテリジェンスに基づく大惨事を防ぐために何が必要かを正確に伝えることは、脅威の最も懸念される要素の 1 つを不正確に表しているという事実は変わりません。システムの動作方法を変更するのは最善のアイデアではないかもしれませんが、MOD はその不正確さを認める方法を見つける必要があったと思います。
また、なぜそれが真剣に受け止める価値のある脅威なのかを、MOD がもっと詳しく説明してくれるだろうとも期待していました。新しいテクノロジーを調査すると、関連する引用がいくつかありますが、ほとんどそれだけです。科学アドバイザーに代わる「AIアドバイザー」を追加するのが理想的だったでしょう。 AI について心配する本当の理由を人前で知るのは無駄な機会のように感じますが、この記事にも同じことが当てはまってほしくありません。
はい、AI 理論の短期集中コースの時間です。きっと楽しいよ、約束して！
ただし、最初に、私がこれから数段落で説明するテーマに関して何百もの論文（私よりも知識のある人々によって書かれた）が書かれており、そのうちのいくつかは私がこれから提起しようとしている議論に反対しているということは注目に値します。上。それにもかかわらず、人類が種として存続し続けるためには長期的な AI の安全性研究が最重要であると考える賢明な人々が増えています。ですから、彼らの意見を聞く価値はありますね。
超知能 AI の潜在的な危険性について説明する前に、それが可能なのかどうかを明らかにする必要があります。ここではサム・ハリスが行った議論に従うことにする。この素晴らしいTEDトーク。要点は次のとおりです。知能とは情報処理の問題であり、人間は機械の情報処理能力を向上させ続けるだろうし、人間は知能の可能性の頂点には近づいていないということを受け入れるなら、絶滅の出来事の代わりに、私たちが何らかの形の超知性を開発することはほぼ必然です。
これらの仮定を掘り下げることに永遠に費やすことができますが、そのような知性がもたらす可能性のある危険に移りましょう。 Future of Life Institute は、よくある誤解をなんとか払拭し、次の一文で問題の核心に切り込みました。「高度なAIに対する懸念は悪意ではなく能力だ」。 AI は「悪に転じる」ことも「反逆する」こともありませんが、その目標が人類の目標と真に一致していることを確認するには落とし穴が多いと信じる十分な理由があります。これは価値観の一致の問題であり、大きな問題です。
マシンインテリジェンス研究所のエグゼクティブディレクターであるネイト・ソアレス氏は、アライメント問題への最良の入門書私が出会ったこと。この記事では、一見安全で単純なタスクを AI に与えると、どのように悲惨な結果が生じる可能性があるかを強調しています。たとえば、AI に大釜に水を入れるように指示した場合、単に水を注ぐだけで終わりだと期待するかもしれません。あなたが忘れているのは、ソアレスが「確率的コンテキスト」と呼ぶものです。
「ほうきが「大釜がいっぱいになる」確率が 99.9% で、周囲に余分なリソースがある場合、その確率を少しでも高めるためにそれらのリソースを使用する方法を常に見つけようとします。」
これは、人類の未来研究所のディレクター、ニック・ボストロムと彼の手段的収束理論。正直に言うと、実際よりも複雑に聞こえます。 AI に与えられるほぼすべての最終目標には、その最終目標を達成するために AI が追求する特定の手段的な目標があるという議論です。
したがって、ソアレスの大釜充填装置を使用して、AI が大釜が満たされたという確実性を高める 1 つの方法は、その知能を最大限に高めることです。それを行うにはどうすればよいでしょうか?おそらく、手に入るあらゆるリソースをコンピューターチップに変えることによってだろう。それをオフにできると思いますか？ボストロムが提案したもう 1 つの手段的な目標は自己保存であるため、それほど簡単ではない可能性があります (ソアレスは「」に関する問題について詳しく説明しています)一時停止ボタン”）。
ここまで詳しく説明した理由は、a) それは重要かつ魅力的だと思うこと、b) ボストロムの手段的収束が、MOD が破滅をデフォルトのシナリオとして現実的に描くかどうかの核心にあるからです。 「デフォルトの結果は破滅ですか?」これは実際、ボストロムの超知性に関する本の章のタイトルであり、これはボストロムですら、きっぱり「はい」とは答えたがらない質問であるが、それが彼の議論の最終的な答えである。
ただし、その立場は科学的なコンセンサスとは程遠いことを認識する必要があります。マイク・クック、後ろの男ゲーム制作 AI アンジェリーナ、最近ブログ記事を書きましたその中で彼は主張しているこのMODは「一般の人々への啓発活動というよりは、研究室のブランディング活動のように感じられる」とのこと。彼は多くの良い点を指摘しているが、その中でも特に重要なのは、その誇張が長期的に人々の信頼を失わない限り、CSER は脅威を誇張して人々の話題を集めることで利益を得る立場にあるということである。
個人的には、この MOD が人間よりも賢い AI の脅威を誇張しているとは思いません。むしろ、なぜ AI の安全性が真剣に考慮されるべきなのかについての事前の説明が欠如していると、人々がこの問題を無視してしまう可能性があります。これは、関連するポイントで重要な議論を伝えることができたであろう AI アドバイザーを含めることで MOD がどれほどの利益を得たかを思い出させるポイントです。
ゲームを終了して初めて、この MOD には新しいテクノロジーと驚異に関する詳細な Civpedia エントリが含まれていることに気づきました。つまり、これらの重要な議論は MOD に含まれていますが、Civpedia に注意を引く要素が何もないため、ほとんどの人は私と同じように見逃してしまうのではないかと心配しています。私はこの MOD の背後にあるアイデアが大好きですが、それがプレイして楽しいものとして、または学ぶものとして成功しているとは確信していません。ゲームとしての私が感じている問題のほとんどは、MOD よりも Civ 自体に関係しているため、対処が難しいものです。しかし、適切な調整を加えれば、MOD は AI の安全性に関する問題を強調し、説明するための強力なツールとなる可能性があります。
MOD について詳しく知りたい場合は、こちらをご覧くださいそのクリエイターへのインタビュー。
