2025年12月から、慶應義塾大学 理工学部の今井研究室に所属している。人とロボット・AIエージェントのやりとりを扱う研究室。
卒業研究のテーマが決まった。学会発表や論文はまだない。 「作ったもの」には、これまでに作ったものを新しい順に並べている。
進行中
案内ロボットが対象物のほうへ体ごと向いて説明すると、人もその物を一緒に見る位置へ動くとされる（Fフォーメーション）。ただし、案内されると思っていない人は、必ずしも動くとは限らない。そのうえ体を向けると、人はロボットの正面にあるカメラから外れるため、案内が届いたのかをロボット自身が確かめられない。そこで、頭部に載せた360度カメラで全周を見続け、顔の向きと、背を向けた人については体の向きから、移動・注視・無反応・離脱の4つに分けて判定する仕組みを作った。動いていないことを一律に無関心とみなさず、判定に応じて、もう一度働きかけたり、説明する対象を変えたりする。実機で動くところまで作ってあり、これから人を相手に確かめる。
人型ロボット Pepper に「聞く身体」を持たせ、施設を案内させるシステムを作成した。頭部に載せた360度カメラで全周を見渡し、話しかけてきた人の正面を向いて会話する。聞いているあいだは相手の腕の動きを少し遅らせて模倣し、場所をたずねられると施設の方角を指差して答える。これを仮の卒業研究のテーマとして研究室でプロポーザル発表を行い、いまの研究の土台にしている。
360度映像から、複数の人それぞれが「どの方向を見ているか」をリアルタイムに推定する。人物検出で切り出した周辺を透視投影に変換し、頭部の検出と併せて視線のヒートマップを推定したうえで、独自の逆変換でカメラ全周の球面座標へ戻している。360度映像は左右の端がつながっているため、端をまたぐ人物の統合や、境界をまたぐ視線矢印を2つに分けて描く処理が要る。推定結果はTCPで外部へ配信でき、他のアプリから使える。
ロボットが人の視線の状態を把握して、机の上の物へ注意を向けさせられるかを確かめるために作成した。物体検出・顔向き推定・顔追従・音声対話・ロボット制御をひとつにまとめている。誘導がどこまで進んだかを3つの状態（待機 / 誘導中 / 成功）で管理し、ロボットの反応とは別に、ブラウザからも検出結果と誘導の状況を見られるようにした。
卓上ロボット Sota・ブラウザ・移動ロボット Temi の3つを行き来しても、同じエージェントが同じ記憶のまま会話を続けられる仕組み。機器の枠を越えて人に寄り添えるかを確かめるために作成した。
