ろう・難聴者との会話も弾む？　話し言葉をすぐさま字幕表示

透明ディスプレイで自然な会話を可能にする

　宇宙や生命の不思議から最新テクノロジーまで、科学技術にまつわる幅広い展示を行っている施設「日本科学未来館」（東京都江東区）。ここで2021年６・８・12月、科学技術をわかりやすく伝える科学コミュニケーターによる、ろう・難聴者向けの常設展示ツアーが開催された。

　科学コミュニケーターが手にしていたのは、話者の言葉をリアルタイムで表示する透明字幕パネル「See-Through Captions（シースルーキャプションズ）」。話し手がマイクに向かって言葉を発すると、自動的に音声を文字に変換し、透明ディスプレイに話した内容が字幕のように表示されるツールだ。

　この革新的なツールを手掛けたのは、筑波大学で同じ研究室に所属していた学生５人。シースルーキャプションズ開発のはじまりは、今から３年前に遡る。筑波大学デジタルネイチャー研究室に、ろう者（混合性難聴）である設楽明寿さんが加わったことがきっかけだった。開発者の一人の鈴木一平さんは、当時をこう振り返る。

　「設楽さんと他のメンバー40人との間で、どのようにコミュニケーションをとるべきか、という話になりました。オーソドックスな方法として筆談やチャットのアプリを検討しましたが、伝えたいことは正確に伝わる代わりに時間がかかり過ぎることがわかりました。音声文字変換アプリを使った会話は今も使っている手軽な方法ですが、話している人の表情を見ながらコミュニケーションをとるのが難しいので、もっと自然にコミュニケーションできるツールがあればと考え、自分たちで開発することになりました」

　自然にコミュニケーションをとるための試みとしては、スマートグラスによる字幕表示の研究がある。文字をCGとして現実世界に映し出すAR技術を活用して、話をしている人の顔の前に言葉が文字として表示される仕組みだ。

　しかし、その文字はスマートグラスをかけている人にしか確認できないため、話し手は正しく変換されているか把握できない。「対面コミュニケーションを円滑にするには、双方が文字を確認できることが必要だと感じました」と鈴木さんは言う。

　時を同じくして、別の研究プロジェクトで株式会社ジャパンディスプレイから、透明ディスプレイのプロトタイプを提供してもらうことに。これを文字表示に活用できないかと、PCのモニターに文字を表示させる技術と、Googleの音声認識技術を搭載するかたちでシースルーキャプションズを開発。透明ディスプレイの両面に文字が表示されるため、話し手も文字を認識できるようになった。

ろう・難聴者と聴者の会話支援だけではなく、幅広い場面で活用できるツールへ

　かくして相手の表情を見ながらろう・難聴者との対面コミュニケーションを支援するツールが誕生し、現在までに置き型タイプと手持ちタイプの２種類が開発された。日本科学未来館やつくば市役所総合案内で試験的に導入。ユーザーの声をヒアリングしながら、使いやすいように検証と改良を繰り返した。

　日本科学未来館で実施したツアーでは、ろう・難聴者の参加者から「透明パネルが思ったよりも自然に感じた。スマホやタブレット（を使った音声変換）よりも良い」という声も寄せられたという。

　開発者のひとり、ろう者である当事者の設楽さんは、「シースルーキャプションズを使う方法が正解というわけではなく選択肢のひとつになれば」と話す。また、鈴木さんは日本科学未来館での実証実験を通して、ろう・難聴者のみならず、会話を聞き取りにくい高齢者など、幅広い場面でコミュニケーションを支援できるのではないかと手応えを感じている。

　「シースルーキャプションズを試験導入する際、科学コミュニケーターの方に文字変換しやすい文章や話し方をレクチャーし、事前に練習していただきました。そこで、現在の技術でも人間が少し工夫すればかなり実用的なものになるという気づきがありました。聞こえない人だけでなく、聞こえる人にとっても便利になる。ダイバーシティの実現への貢献はもとより、聴者にとっての円滑なコミュニケーションも支援できるツールだと思います」

　ろう・難聴者と聴者という壁を越え、会話を包括的にアシストしてくれるシースルーキャプションズ。今後このプロジェクトが発展すれば、日本科学未来館だけでなく、都内の様々な場所で目にする機会も増えるかもしれない。次世代のコミュニケーションツールとして、人間同士の交流や情報伝達を円滑にしてくれる可能性に期待したい。