アイシン精機は、(株)Harmonized Interactions(本社:徳島県徳島市 代表:北岡教英)、GarateaCircus(株)(本社:東京都渋谷区 代表:石川友香)、Idein(株)(本社:東京都千代田区 代表:中村晃一)、豊橋技術科学大学等と協業し、マルチモーダルエージェントを開発した。
MaaSなど新たな"移動"のかたちが求められる社会の中で、「人々の一歩先の期待」や「新しい価値観」に着目し、これまで培ってきた技術の応用と、産学およびパートナーとの連携によって多角的な視点から開発を行うことで実現したイノベーション。
今回開発したシステムは、将来的に普及が見込まれる自動運転バス車内を想定しており、アイシンが強みとするカメラ画像認識技術(ドライバーモニターシステム、車室内監視システム)を活用して乗客の顔や体の動きを検知することに加え、AIを用いて検知した画像・音声、蓄積されたデータなどを統合的(マルチモーダル)に解析し、乗客の状況や意図を判断する。