ニュース

　当社は、株式会社Harmonized Interactions（本社：徳島県徳島市　代表：北岡 教英）、GarateaCircus株式会社（本社：東京都渋谷区 代表：石川 友香）、Idein株式会社（本社：東京都千代田区　代表：中村 晃一）、豊橋技術科学大学等と協業し、マルチモーダルエージェントを開発しました。

　MaaSなど新たな"移動"のかたちが求められる社会の中で、「人々の一歩先の期待」や「新しい価値観」に着目し、これまで培ってきた技術の応用と、産学およびパートナーとの連携によって多角的な視点から開発を行うことで実現したイノベーションです。

　今回開発したシステムは、将来的に普及が見込まれる自動運転バス車内を想定しており、アイシンが強みとするカメラ画像認識技術（ドライバーモニターシステム、車室内監視システム）を活用して乗客の顔や体の動きを検知することに加え、AIを用いて検知した画像・音声、蓄積されたデータなどを統合的（マルチモーダル）に解析し、乗客の状況や意図を判断します。

　この判断を、乗客の転倒防止や忘れ物警告といった"車室内の見守り"機能に活用するだけでなく、３DCGアーティスト「TELYUKA（テルユカ）」が制作するCGキャラクター「Saya」と融合して、リアルタイムに感情豊かな表現で、乗客の状況や意図に応じた自然な対話をすることができます。

　乗車時に個人を認識して「Saya」が話しかけたり、自動運転に伴うちょっとした不安を"見守り"機能で解消したりすることで、"移動"に楽しさや快適さを提供します。

　今後、自動運転バス車内のみならず、街や社会全体をさらに住みやすく、快適にするための様々な分野への展開をめざしています。

※本プロジェクトは、JST/OPERA（産学共創プラットフォーム共同研究推進プログラム「人間機械共奏技術コンソーシアム」）の支援を受けています。

（参考映像）

■車室内見守りシステム with "Saya"

■Technologies in Multimodal Agent "Saya"　※英語のみ