Pepperを用いた実験
進行中
ソフトバンクのヒューマノイドロボット Pepper を使った実験に取り組んでいる。音声からジェスチャーを生成するモデル（EMAGE）を Pepper に載せる試みや、360度カメラを搭載しての実験を進めている。
研究
2025年12月から、慶應義塾大学 理工学部の今井研究室に所属しています。人とロボット・AIエージェントのやりとりを扱う研究室です。
研究テーマはまだ決まっていません。学会発表や論文もありません。 ここに並べているのは、テーマを探す過程で作ったものです。
いま取り組んでいること
作ったもの
360度カメラによるリアルタイム視線推定システム
360度映像から、複数の人それぞれが「どの方向を見ているか」をリアルタイムに推定する。人物検出で切り出した周辺を透視投影に変換し、頭部の検出と併せて視線のヒートマップを推定したうえで、独自の逆変換でカメラ全周の球面座標へ戻している。360度映像は左右の端がつながっているため、端をまたぐ人物の統合や、境界をまたぐ視線矢印を2つに分けて描く処理が要る。推定結果はTCPで外部へ配信でき、他のアプリから使える。
360度カメラの映像をそのまま映している。検出した人物を枠で囲み、頭の位置から視線の先へ矢印を引いている。 Sotaによるリアルタイム注意誘導システム
ロボットが人の視線の状態を把握して、机の上の物へ注意を向けさせられるかを確かめるために作った。物体検出・顔向き推定・顔追従・音声対話・ロボット制御をひとつにまとめている。誘導がどこまで進んだかを3つの状態（待機 / 誘導中 / 成功）で管理し、ロボットの反応とは別に、ブラウザからも検出結果と誘導の状況を見られるようにした。
机の上の物へ注意を向けさせているところ。ロボットは人の顔を追いながら、声をかけて誘導する。 プラットフォーム間を移動するAIエージェントシステム
卓上ロボット Sota・ブラウザ・移動ロボット Temi の3つを行き来しても、同じエージェントが同じ記憶のまま会話を続けられる仕組み。機器の枠を越えて人に寄り添えるかを確かめるために作った。