开发支持下一代“移动”的多模态代理

2021.03.02

News Release

 爱信精机株式会社(总公司:爱知县刈谷市 取缔役社长:伊势 清贵)与株式会社Harmonized Interactions(总公司:德岛县德岛市 法人代表:北冈 教英)、GarateaCircus株式会社(总公司:东京都涩谷区 法人代表:石川 友香)、Idein株式会社(总公司:东京都千代田区 法人代表:中村 晃一)、丰桥技术科学大学等合作开发了多模态代理。

 当今社会追求MaaS等新的"移动"形式,而在此之中,我们着眼于"比人们的期望领先一步"和"新价值观"的理念,发挥多年积累的技术经验,通过产学一体化以及与伙伴公司的合作,从多个视角开发实现了这一创新。

 这次开发的系统,以未来将会普及的自动驾驶公交车作为假设的使用场景,利用爱信的强项,即相机图像识别技术(驾驶员监控系统、车内监视系统),在检测到乘客的面部和身体动作后,使用AI对检测到的图像、语音以及存储数据等进行整合(多模态)分析,从而判断出乘客的状态和意图。

 判断结果不仅可以用于防止乘客摔倒、遗失物品提醒等这些"车内看护"功能,还能与3DCG艺术家"TELYUKA"制作的CG人物"Saya"融合,通过情感丰富的实时表达,按照乘客的状态和意图与乘客进行自然交谈。

 乘车时,在进行个人身份验证后,"Saya"就会与您打招呼,或者使用"看护"功能消除自动驾驶带来的些许不安,为您提供"移动"的乐趣和舒适。

 今后,本系统将不局限于自动驾驶公交车内,还将在那些让我们的城市和社会整体更加宜居、更加舒适的领域中推广。

※本项目得到了JST/OPERA(产学共创平台共同研究推进计划"人机协同技术联盟")的支持。