SHIKIは、ロボット制御に必要な、空間情報等に関する環境認知情報をデータベースの形式で提供する。

KOTODAMAは、SHIKIに保存されたロボットの経験を、接地された記号の形で記述する、「接地記号生成器」である。LLMは、非接地記号に基づいたモデルを使用しているために、原理的に、人間と同等の認知機能を実現することは困難であり、たとえば、記号以前の、「常識」を備えていない。そこで、LLMとKOTODAMAを記号レベルで対応付けることにより、より人間に近い高度な認知機能が実現できると期待される。

画像認知の例をあげる。YOLOは、画像中の対象物の認識に関して高い性能を持つが、何を対象物と定義するかについては、外部から与えなければならない。対象物の認定自体を自動化するためには、最初は、見える対象物全体を１種類とし、経験に基づいて重要なものから区別してゆくことが必要になる。ここで、重要度の判定は、ロボットの自らの行動における効能の有無によって主観的に判定されることになる。

このようにして得られた記号の語彙は、きわめて主観的なものであり、たとえば、現在のLLMで用いられる記号とは大きく異なっている。ここでは、前者を主観記号、後者を客観記号とよぶことにする。言い換えれば、主観記号による語彙は、すべて接地されたものであり、非接地記号によって成り立っている客観記号とは異なる特徴を持つ。ここでの、主観記号は、広い範囲の知識を表すことには向かないが、ロボット環境が持つ自然法則に由来する、記号化以前の関係性を保持しており、たとえば、ロボットに常識を持たせたり、理由記述を行ったりするのに適した性質を持つ。

そこで、将来、主観記号と、LLMが立脚している客観記号を対応付けることができれば、LLMの持つ知識にも常識による裏付けを付加することが可能になることが期待される。いいかえれば、LLMを直接ロボット制御に適用するのではなく、意図的に主観記号系を構築し、間接的にLLMの知識と対応付けることを試みる。これが、’汎用AI‘と称される機能実現への一つの手段となると考え、Yaoプロジェクトを実施するものである。

生物との対比で言えば、主観記号は意識下の認知機能に相当し、客観記号は、意識や自然言語を構成するために利用されていると考えられる。