DeepMind、フロンティアAIの二重盲検評価を試験運用

Google DeepMindは8月27日、プロプライエタリなフロンティアモデルに対する初の二重盲検評価と位置づける取り組みを試験運用していると発表した。外部テストは暗号化されたConfidential Spaceの箱の中で実行され、評価者はGeminiの重みを見られず、Googleも評価者のプロンプトを見られない。パートナーにはシンガポールAIセーフティ・インスティテュート、OpenMined、AVERI、MLCommonsが含まれ、まず非公開ベンチマークでGemini Flash Liteモデルを対象に行う。ベンチマーク汚染を減らし、機微な安全性テストへの信頼を高めることが狙いである。Geminiの新しい一般向け機能ではなく、Omni動画でも、暗号資産取引所のGeminiでもない。

出典: Google DeepMind

AIの支援により翻訳しました。