『介護･福祉の現場で働く方に、いつもとは違った視点でその分野を研究している人を知ってもらいたい』という想いで始まったこちらの大学の研究室紹介。
第15回目は九州工業大学大学院情報工学研究院で『読唇技術』を研究している齊藤剛史先生にお伺いしました。
目次
「研究の概要について教えてください」
私たちの研究室では画像処理技術、パターン認識技術を用いた研究に取り組んでいます。具体的には、音声情報を用いずに映像情報のみを用いて発話内容を推定する読唇技術、人が見ている場所を推定する注視点推定技術、手話認識などの人を対象とした福祉支援に関するテーマや、樹木の葉や樹皮、魚などの自然物を対象としたテーマなどに取り組んでいます。
これらの中で中心的に取り組んでいるテーマは読唇技術です。障害や加齢により、私たちにとって最も身近なコミュニケーション手段である音声コミュニケーションが困難な人を支援することを目的としています。近年、音声認識技術が実用化されていますが、騒音の影響を受ける問題や秘匿性がない問題などが残っています。また病院においては咽頭部を摘出した患者や気管を切開した患者、さらには筋萎縮性索硬化症や筋ジストロフィー症など重度運動機能障害をはじめとする神経難病により発声ができない患者がいますが、これらの患者は音声認識技術を利用することができません。読唇技術はこれらの問題を解決できる手段のため、次世代インタフェースの一つとして注目されています。本テーマでは、福祉施設などの協力を得て読唇技術の実用化を意識して研究を進めています。読唇技術の詳細は次に項目で説明します。
読唇技術はサイレント音声認識技術の一つのアプローチです。他のアプローチには、磁気センサ、画像（一般的なカラーカメラの画像だけでなく距離センサやサーモグラフィ、超音波センサ）、非可聴つぶやきマイク、振動センサ、表面筋電図、脳波などがあります。私たちは2014年度より他大学の研究者と共同で、サイレント音声認識に関するすべての領域の研究者やエンジニアが一堂に会し、交流、情報交換、相互啓発を行う場として、サイレント音声認識ワークショップを企画・開催し、同分野の活性化にも取り組んでいます。
「研究の詳細について教えてください」
本研究室では、読唇技術の実用化を目指し、日本語の発話シーンデータベースSSSDを構築し、機械学習の最新技術である深層学習を用いた読唇手法を提案しました。深層学習を用いるためには大規模なデータが必要です。海外ではニュース映像を利用した大規模なデータベースが構築・公開されていますが、日本語のデータベースは十分ではありません。そこで私たちの研究室では、本学学生を中心に協力者を募り、スマートフォンやタブレットなどのスマートデバイスを用いて撮影された発話シーンを収集し、読唇研究向けのデータデータベースSSSDを構築し、2018年4月より研究用に公開しています。SSSDに収録されている発話シーンは日本語25単語（10数字と15挨拶文）で、2019年5月からは72名分のデータを公開しています。SSSDを用いて認識精度を競うコンペティションも実施しています。
さらに読唇技術を社会に紹介するために、上図に示すスマートデバイスで利用可能な読唇WebアプリLiP25wを開発し、2018年12月から公開しています。これまで学術集会だけでなく、イノベーション・ジャパン2019やクロスヘルスEXPO2019、オープンキャンパスや高校生向けのイベントなどで紹介しています。Webアプリのため、専用アプリのインストールは不要で、誰でも簡単に体験できます。下記QRコード、あるいはこちらにアクセスしてLiP25wをお試し下さい（不適切な操作を防ぐためにユーザ登録をお願いしています。レバウェル介護 介護職向けお役立ち情報（旧 きらッコノート）読者の皆様は kiracare をご利用ください）。
その他に、筋萎縮性索硬化症や筋ジストロフィー症など重度運動機能障害をはじめとする神経難病患者が利用している口文字コミュニケーションを支援する研究にも取り組んでいます。2018年度より国立障害者リハビリテーションセンター研究者や施設の患者、家族、スタッフに協力していただき、患者の口形データを収集して解析に取り組んでいます。
LiP25wで認識可能な言葉は日本語25単語です。限られた言葉しか認識できず、また連続文章の認識もできません。口形解析も基礎研究の段階です。現時点は基礎研究レベルであり実用化に至っていませんが、私たちは読唇技術を実用化し、音声コミュニケーションが困難な障害者や高齢者のコミュニケーションを支援するシステムの開発を目指しています。研究成果が生活の質の改善につながるよう日々取り組んでいます。
「今後の研究の展望を教えてください！」
今後の研究の展望として挙げられることは、まずは読唇技術の実用化です。読唇技術には多くの課題が残っていますが、着実に問題を解決しコミュニケーションを支援したいです。他人とのコミュニケーションは私たちが生きていくために大切なことです。しかしながら障害などによりコミュニケーションが困難な人がいます。私たちの研究が障害者のコミュニケーションを支援し、生活の質を改善できるようにしたいと思っています。スムーズなコミュニケーションが可能になることで生活支援だけでなく、就労支援にもつながります。また個々で障害の要因・程度が異なりますので、様々な入力手段を用意する必要があります。読唇技術だけでなく、その他のアプローチのサイレント音声認識技術や、注視点推定、手話認識なども引き続き研究を進めます。
登録は1分で終わります！
◆九州工業大学の基本情報
齊藤剛史先生､お話ありがとうございました！
最後に、九州工業大学の基本情報を記載します。
九州工業大学
https://www.kyutech.ac.jp/
九州工業大学情報工学部
https://www.iizuka.kyutech.ac.jp/
https://www.kyutech.ac.jp/department/csse-graduate.html
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
【参考URL】
齊藤剛史研究室
http://www.slab.ces.kyutech.ac.jp/ja/index.html
高齢者の方とお話するのが好きという方や、介護ケアに関心をお持ちの方は、実際に介護の現場で働いてみませんか？レバウェル介護（旧 きらケア）は、そんなあなたを応援する介護系に特化した就職・転職支援サービスです。週2,3日から働ける介護求人もご用意しておりますので、自分のライフスタイルを大切にした働き方も叶います。自分らしく輝ける介護の職場をお探しなら、ぜひ『レバウェル介護（旧 きらケア）』にご相談ください。
https://job.kiracare.jp/feature/jf13/
登録は1分で終わります！
