AIが得意とするところを把握するのは、AIを理解する上で最も難しいことの1つ。それを判断できるようにするため、OpenAIは1セットのゲームを開発した。機械学習エージェントが、本当に基本的なスキルを学べているのか、あるいは、ありがちなことだが、単に自分の都合のいいようにシステムを操作する方法を把握しただけなのか、研究者が判断するのに役立つもの。
AI研究ではよくあることで、ぬか喜びしがちなのだが、研究者が求めていることなら、何でもうまくできると見せかけようとして、エージェントがルールを曲解したり、無視したりすることがある。ズルをすることは、既成概念を打ち破るものであるかもしれないが、常に受け入れられるとは限らない。本当の能力を確認するには、ちょっとだけルールを変えて、そのシステムが機能しなくなるかどうか見てみればいい。
実際にエージェントが学んだことは、新たな状況に置かれたときにも、その「スキル」が適用できるかどうかを調べることによって評価できる。状況が変われば、獲得した知識の一部しか適合しなくなるからだ。
たとえば、AIがマリオのようなゲームの遊び方を学んだかどうか判断したいとしよう。右方向に移動しながら障害物を飛び越えるタイプのゲームだ。その場合、左に移動しなければならないようにしたり、障害物の順番を変えたりと、いろいろ状況を変更してみればいい。あるいは、ゲームの中身も変更して、右に進むとモンスターが登場して、AIが攻撃しなければならないようにしてもいいだろう。
もしエージェントが、このようなゲームの遊び方を本当に学んだとすれば、まったく新しいものよりもずっと速く、変更後のゲームの遊び方を習得できるはず。これは「汎化」と呼ばれ、既存の知識を新たな異なる状況に適用するもの。人間なら常にやっていることだ。
OpenAIの研究者は、研究の過程で、こうした状況に何度も遭遇した。そこで、汎化可能なAIの知識を基本レベルでテストできるよう、一種のAIアーケードを設計した。エージェントは、少しずつオーバーラップしつつも、それぞれ異なるゲームのコンセプトを学習したことを証明しなければならない。
彼らが設計した16種類のゲームは、パックマン、スーパーマリオブラザーズ、アステロイドなど、私たちにも馴染みのあるゲームに似ている。違うのは、AIがプレイすることを意識して、最初から作り直されていること。そのため、操作、得点、グラフィックはシンプルなものとなっている。