音声をリアルタイムで文字化。聴覚障がい者や高齢者とのコミュニケーションを支援

2022.11.18

※2022年11月18日更新

新型コロナウィルスの流行により、普段からマスクを着用することがすっかり生活に定着しました。しかし、それにより話し手の唇の動きや表情から推測して話の内容を読み取る「口話」が使えず、聴覚障がい者や高齢者など音声を聞き取ることが困難な人たちのコミュニケーションに影響が出ています。

この課題に対し、アイシンは人工知能（AI）を活用した「音声認識アプリ」で、誰もがストレスなくコミュニケーションできるように支援する取り組みを始めています。

リアルタイム音声認識アプリ「YYProbe」

アイシンが自社開発した「YYProbe(ワイワイプローブ)」は、発言をリアルタイムで認識、文字化してスマートフォンなどに表示するアプリです。

このアプリを開発したのは2019年。当初の目的は、高精度な音声認識システムで会議など仕事中の音声データを収集・分析し、業務に関する知見の蓄積や生産性の向上に生かすことでした。文字起こしツールにおいて、よくタイムラグや誤認識が問題視されますが、YYProbeは工場の騒音の中でも素早く正確に「声」を識別するアイシン独自のアルゴリズムを搭載し、高い処理速度と認識精度を実現しています。さらに、笑い声を可視化できるのが特徴で、さまざまな笑い声のサンプル音声を機械学習させたAIモデルが会話中の笑い声を認識して「（笑）」と表示します。

YYProbe独自の「笑いを可視化する機能」について、開発に携わる山川は次のように話します。

「この機能には『話者の感情や会話の雰囲気までも伝えられるようにしたい』という開発者の想いが込められています。実際の会話には笑い声や言い淀みなど、その場の雰囲気や話者の感情を表す情報が多く含まれています。しかしそういった情報は、議事録など会話ログの中では省かれることが多いです。私たちは会話の抑揚までも可視化することで、ユーザーに新たな価値を届けることに挑戦しました。笑い声の可視化は、その第一歩です。」

YYProbe開発担当　山川隼輝

聴覚障がいのある従業員のコミュニケーションに

このシステムを、聴覚障がい者が働く職場のコミュニケーション支援に使えると考えたのが、アイシングループの障がい者雇用を促進する子会社「アイシンウェルスマイル」です。

2021年3月から、アイシンで勤務する聴覚障がい者約300人にYYProbeをインストールしたデバイスを配布して運用を開始。実際に使ってみると、機械の稼働音など工場内のさまざまな音の中から高精度に声を認識し、社内用語や専門用語も正しく表示できるなど、実用においても高い性能を発揮しました。

利用者からは「会議の輪に入りやすくなった」「話の理解が深まり業務の質が向上した」といった感想が寄せられ、コミュニケーションの不自由を解消するツールとして大きな効果が得られました。

自治体の窓口対応に「字幕モニター」として活用

社内での実績から、聴覚障がい者や高齢者のコミュニケーション支援ツールとして十分に活躍できると確信し、2021年11月、社外での活用を開始しました。

実証実験に協力いただいたのは、山口県阿武町。阿武町は高齢化率が50％に達する地域です。聴力の弱い方が窓口に相談に来ることも多く、意思疎通の改善が重要な課題となっていました。

そこで、YYProbeを字幕モニターのように利用して、職員が話した言葉をリアルタイムでタブレット端末に表示する方法での実証実験が始まりました。

文字で表示することで、誤解なく伝わりやすい

実際に窓口業務でYYProbeを使用した山口県阿武町健康福祉課の宇佐川さんはこう話します。

「聴力の弱い方とのコミュニケーションがしやすくなり、住民サービスの向上につながっていると実感しています。簡単な操作で音声を正確に文字化してくれるので職員からも好評です。」

さらに「相談相手の顔を見ながら会話をしたい」という現場の声に応えるため、アクリルパネルと一体になった透明ディスプレイに文字を表示するシステム「YYReception Window（ワイワイレセプションウィンドウ）」を開発。ソフトウェアだけでなく機器も進化させていくことで、利用者のうれしさをさらに追及しています。