対面コミュニケーションでは，言葉だけでなく，音声の韻律，表情，視線，ジェスチャ等の非言語情報が会話参加者間で互いにやり取りされます．意味を伝えるのは主に言語情報ですが，非言語情報はそれを円滑，かつ正確に伝える重要な役割を持ちます．このような，会話中の言語・非言語情報を解釈する人間の社会的知性の計算モデルを構築し，それを実現する人工知能の研究を行っています．さらに，社会的知性の計算モデルを搭載し，言語と非言語情報を解釈・表出しながら人と会話ができるロボットやアニメーションエージェントの開発にも取り組んでいます．これらの技術開発を通して，人に寄り添い，人の手助けとなる人工知能を実現したいと考えています．
主要研究テーマ
- 言語・非言語データを用いた機械学習に基づくマルチモーダルコミュニケーションのモデル化
- 言語・非言語行動を用いて人とコミュニケーションする知的な人工物（アニメーションエージェントやロボット）の実現
- 言語・非言語情報に基づく会話参加者の特性推定技術
- 言語・非言語情報に基づくコミュニケーションの状態推定技術
- 人間の行動データに基づくユーザインタフェースの評価手法
社会的信号処理
会話中のジェスチャや表情等の非言語行動は無意識に表出されるものであり，コミュニケーションにおける社会的信号として機能します．人同士や人対エージェント／ロボットのコミュニケーションにおける社会的信号を分析・学習する人工知能の研究分野が社会的信号処理(social signal processing: SSP)です．当研究室では，マルチモーダル機械学習の研究を通して，社会的信号から，会話への参加態度，グループ会話におけるリーダーシップやコミュニケーション能力等の会話参加者の個人特性を推定したり，議論中の重要発言を検出する等の研究を行っています．
会話エージェント技術
人とコミュニケーションする人工物を実現するには，バーチャルエージェントやロボットによる言語行動と非言語行動の両方を生成することが必要です．特に非言語行動の生成はジェスチャや表情，姿勢など多岐にわたります．当研究室では，対話内容や文脈，話者の特性に応じた非言語行動生成技術を開発し，傾聴システムやロボットカフェの接客ロボットなどのマルチモーダル対話システムの研究開発を行っています．
コミュニケーション支援技術
社会的信号処理や会話エージェント技術の応用として，コミュニケーション支援技術を研究開発しています．これまでに，コミュニケーション特性や社会的信号の可視化システムの開発や，人同士の会話へのコンピュータシステムの介入効果の検証を行ってきました．
過去の研究プロジェクト
多人数対話対応会話エージェント：複数人ユーザ対会話エージェントとのインタラクションにおいて， 受話者を推定することにより，話しかけられたときだけ適切に応答するエージェントを実現しました．
ユーザの態度に気づく会話エージェント：アイトラッカにより得られたユーザの視線情報から， ユーザがエージェントとの会話に積極的に取り組んでいるか否かを推定し， ユーザの会話参加態度に応じて，エージェントの会話ストラテジを効果的に自動変更することができる会話エージェントを開発しました．
異文化コミュニケーションを支援する会話エージェント：エージェントによる異文化コミュニケーション支援について，国際的なプロジェクトに参加しました．