Columns
コラム

iPhone1台でUR3eを6DoFテレオペし、VLA学習データを集める
株式会社フィジカルAI総合研究所では、産業用ロボットアームUR3eを使ったVLA(Vision-Language-Action)実機検証を進めています。その第一歩として、iPhone 1台をマスターアームのように使い、UR3eを6DoFでテレオペレーションしながら学習用デモデータを収集する仕組みを構築しました。 高価なリーダーアームを用意しなくても、iPhoneの位置・姿勢を使えば、ロボットの手先を直感的に動かすことができます。

株式会社フィジカルAI総合研究所 取締役COOの林幸一です。
VLA(Vision-Language-Action)を実機ロボットで動かそうとすると、最初に必要になるのは「人がロボットを操作したお手本」データです。モデルやGPUは調達できても、このデモデータは現場ごとに自分たちで集める必要があります。
今回は、手元のiPhone 1台を「マスターアーム」のように使い、産業用ロボットアームUR3eをエンドエフェクタ(EE)空間で6DoFテレオペレーションする仕組みを作りました。iPhoneのARKitが返す位置・姿勢をロボットのTCP目標に変換し、VLAモデルの学習に使うデモデータを収集できるようにしています。
以下の動画にて、iPhoneでURをテレオペしている様子が見れます(見づらいですが。。。)
https://youtu.be/ni0w_FXWLGc
本件、Qiitaに詳細版を置いておりますので、ぜひご覧ください。
