手話と音声で相互に対話できる「SureTalk」、電気通信大学とソフトバンク

「SureTalk」のトークルームイメージ

　電気通信大学とソフトバンクは、手話と音声による双方向コミュニケーションが実現する「SureTalk（シュアトーク）」を共同開発したことを発表した。

　SureTalkは、1対1のトークルーム内で手話と音声による相互のコミュニケーションなどが行えるWebツール。聴覚障害者の言語である手話と、健聴者の言語である音声をそれぞれテキスト化することで、健聴者と聴覚障害者の円滑なコミュニケーションを実現できるようになるという。

　手話の認識は、パソコンやスマートフォンなどのカメラを用いて撮影した動画像に対し、身体動作の追跡処理を行い、話者の骨格座標を取得する。その後、骨格座標に基づいて話者の姿勢や動作など、手話を認識するために重要な特徴を抽出し、深層学習を活用した時系列認識処理によって、話者が表現している手話の単語順を認識する。

　深層学習による身体動作追跡を用いることで、服装をモノトーンにすることや撮影の背面をグリーンにすること、深度センサーを利用するなどの特殊な条件が不要となり、日常的な環境での撮影が可能になったという。時系列認識処理にも深層学習を適用し、手話の認識精度を向上させた。

システムの構成

　このほか、今後効率的にデータを蓄積できる環境を整備することで、より多くの情報を蓄積し、AIの認識精度を高めることもできるという。

　今後は、これまで試験提供していた水戸市役所（茨城県水戸市）に加え、調布市社会福祉協議会、福島県聴覚障害者協会などにもSureTalkを設置し、認識精度やユーザーインターフェースを含めた利便性の向上、手話データベースのデータ増強に取り組んでいく。また、現時点で対応する手話は日本語の文法に準じた「日本語対応手話」だが、将来的には独自の文法体系を有する「日本手話」への対応も目標としている。