研究内容

対面コミュニケーションでは,言葉だけでなく,音声の韻律,表情,視線,ジェスチャ等の非言語情報が会話参加者間で互いにやり取りされます.意味を伝えるのは主に言語情報ですが,非言語情報はそれを円滑,かつ正確に伝える重要な役割を持ちます.このような,会話中の言語・非言語情報を解釈する人間の社会的知性の計算モデルを構築し,それを実現する人工知能の研究を行っています.さらに,社会的知性の計算モデルを搭載し,言語と非言語情報を解釈・表出しながら人と会話ができるロボットやアニメーションエージェントの開発にも取り組んでいます.これらの技術開発を通して,人に寄り添い,人の手助けとなる人工知能を実現したいと考えています.

主要研究テーマ

  1. 言語・非言語データを用いた機械学習に基づくマルチモーダルコミュニケーションのモデル化
  2. 言語・非言語行動を用いて人とコミュニケーションする知的な人工物(アニメーションエージェントやロボット)の実現
  3. 言語・非言語情報に基づく会話参加者の特性推定技術
  4. 言語・非言語情報に基づくコミュニケーションの状態推定技術
  5. 人間の行動データに基づくユーザインタフェースの評価手法

グループ対話における社会的信号処理

  • 参加者特性の推定:言語・非言語情報からグループ議論参加者の参加態度,優位性,コミュニケーション能力,性格等を推定する技術を開発しています.
  • コミュニケーション状態の推定:言語・非言語情報からグループ議論や協調学習の状態や重要発言を推定する技術の開発に取り組んでいます.議論の可視化や議論自動要約に応用できる研究です.

社会的信号処理に基づくコミュニケーション支援

推定された会話参加者の特性や会話状態に応じて,コミュニケーション支援を行うユーザインタフェースについて研究しています.ロボットによる会話への介入,音声による注視誘導によるコミュニケーション支援方式などを提案しています.

対話ロボット,会話エージェント

音声認識,言語理解,対話管理,応答生成,音声合成,アニメーション,ロボット動作を統合した対話システムプラットフォームの開発を行っています.これを用いた接客ロボットの研究に取り組み,慶應大学と共同でロボットカフェの開発を行っています.

高齢者のための傾聴エージェント

日常的な質問をすることにより,高齢者に語りかけ,高齢者の話に傾聴するエージェントを開発しました.このエージェントは高齢者の話し相手となるだけでなく,話し方などの非言語情報から認知症高齢者の健康状態や精神状態の把握を行うことを目指しています.

過去の研究プロジェクト

多人数対話対応会話エージェント:複数人ユーザ対会話エージェントとのインタラクションにおいて, 受話者を推定することにより,話しかけられたときだけ適切に応答するエージェントを実現しました.

ユーザの態度に気づく会話エージェント:アイトラッカにより得られたユーザの視線情報から, ユーザがエージェントとの会話に積極的に取り組んでいるか否かを推定し, ユーザの会話参加態度に応じて,エージェントの会話ストラテジを効果的に自動変更することができる会話エージェントを開発しました.

異文化コミュニケーションを支援する会話エージェント:エージェントによる異文化コミュニケーション支援について,国際的なプロジェクトに参加しました.