Call of Duty's new AI chat moderator can tell "hate speech" from "friendly banter"

今年のコール オブ デューティ: モダン・ウォーフェア 3Activision は、Modulate の ToxMod AI を利用して、マルチプレイヤーでのボイスチャットの管理を支援することを明らかにしました。このシステムは違反行為をリアルタイムで検出することはなく、また、エフェクトや目くらましを理由にゲームから追放することもできません。不正行為の報告を提出するだけで、Activision のスタッフが強制措置の最終的な要請を行います。これには、暴動の状況を解明するために録音を確認することが含まれる場合があります。

録音を避けるために Call of Duty でボイスチャットをオフにすることはできますが、この記事の執筆時点では、現在/新しい Call of Duty ゲームで AI 音声モデレーションをオプトアウトする方法はないようです。この技術は本日 8 月 30 日から北米のモダン・ウォーフェア 2 とウォーゾーンでベータテストされ、11 月 10 日にはモダン・ウォーフェア 3 とともに英語版の世界リリースが開始されます。

興味深いことに、モジュレート自慢「ToxMod の高度な AI は、友好的なトラッシュトークと本当に有害な有害な行動の違いを直感的に理解します。」多くの非人工知能、別名人間がこの区別に苦戦していることを考えると、私は彼らの働きを見ることに興味があり、少し恐れています。この技術は、いたずらなキーワードを聞き出すだけでなく、「会話の口調、口調、感情、文脈を評価して、有害な行動の種類と重大度を判断」します。

Modulate のサイトのリリース, Activisionの最高技術責任者であるMichael Vance氏は、CODへのToxmodの導入を「すべてのプレイヤーにとって楽しく、公平で歓迎的な体験を作成し維持するための重要な前進」であると述べた。このゲームでは、プレイヤー報告システムに加えて、ゲーム内チャットとユーザー名にテキストベースのフィルタリングがすでに利用されています。

Three soldiers racing into action in Call Of Duty Modern Warfare 2

Modulate - 2017 年に設立され、VR 企業の Schell Games や Riot などを顧客に持つ -倫理ページその中で彼らは、AI に向けられたより一般的な批判のいくつかに取り組んでいます。「中立的な」アルゴリズムとデータセットが作成者の社会的偏見を伝える可能性、 そして著作権で保護された情報、または明示的な許可なしに提供された情報に対する多くの大規模な言語モデルの依存

「当社のすべての機械学習システムが、さまざまな年齢、性同一性、人種、体型に対応する代表的かつ広範な異なる音声セットで確実にトレーニングされるようにすることは、当社のビジネスにとって重要であるだけでなく、当社の責任でもあると考えています。などなど」と書かれている。 「可能な限り、代表性についてすでに研究されている大規模な公開データセットを利用するよう努めていますが、場合によっては独自の参考スピーチを収集する必要があります。

「このような場合、私たちは幅広い声優を雇用するか(演技によるスピーチで十分な場合)、または十分に多様なテストセットを特定するために訓練されたデータラベル付けチームと協力することに重点を置いています。」

Modulate は、Toxmod システムは「同じ行動をした場合に、特定の層に有害であるとフラグを立てないようにするために設計され、テストされている」と主張しています。とはいえ、害の深刻度を判断する際に、個人の層を考慮することもあります。たとえば、チャット内で思春期前の発言者を検出した場合、子供に対するリスクを考慮して、特定の種類の犯罪をより厳しく評価する可能性があります。

「また、参加者の人口統計に応じて、特定の行動が根本的に異なる可能性があることも認識しています」と続けています。 「一般に、n ワードは卑劣な中傷とみなされますが、黒人または褐色を自認する多くのプレイヤーはそれを取り戻し、コミュニティ内で積極的に使用しています。Modulate は個々の話者の民族性を検出または特定しませんが、会話を聞きます。会話中の他の人がそのような用語の使用に対してどのように反応しているかを判断するための手がかりとなります。」

それもありますプライバシーページModulate がチャットの司会と AI の「トレーニング」の両方のために収集する音声データと、このデータがどのように保存され匿名化されるかについて詳しく説明します。これらすべてについて何か考えはありますか?