仕組みの全体像: 感知・判断・動作
フィジカル AI を構成する感知・判断・動作の流れと、学習・シミュレーション・安全の位置、部品をつなぐソフトウェア、学習の作業の順を整理します。
要点
フィジカル AI は、カメラや力のセンサーで状況を捉える「感知」、学習したモデルが動作を決める「判断」、アームや台車が動く「動作」の流れで動きます。この三つに加えて、モデルを作る学習、実機の前に確かめるシミュレーション、人と機械が同じ場所で働くための安全が構成要素です。機械と算法の間は ROS 2 のようなミドルウェアがつなぎ、シミュレーションは MuJoCo のような物理エンジンの上で動きます。学習の作業は、人が遠隔操作で動かし、実演を記録し、方策を学習し、ロボットで動かすという順で進みます。
このページで分かること
- 感知・判断・動作の流れと、それぞれを担う部品
- 学習・シミュレーション・安全が流れのどこに関わるか
- 部品をつなぐソフトウェアと、遠隔操作から記録・学習・配備までの作業の順
この節の対象と前提
前の節「フィジカル AI の定義と従来のロボットとの違い」では、フィジカル AI を「状況を捉え、学習したモデルが判断して、機械を動かす仕組み」と定義しました。この節では、その仕組みを感知・判断・動作の流れに分けて、各要素が何を担い、どの部品で実現されるかを見ます。個々の学習方法やシミュレーターの選び方は後の章で扱い、ここでは全体の形だけを押さえます。
感知・判断・動作の流れ
フィジカル AI の仕組みは、次の流れで動きます。
| 段階 | 担うもの | 入力と出力 |
|---|---|---|
| 感知（知覚） | カメラ、力のセンサー、関節の角度などのセンサー | 周囲の状況を、画像や数値の観測にする |
| 判断（動作の生成） | 学習したモデル（方策） | 観測と作業の指示から、次の動作を決める |
| 動作（実行） | アーム、ハンド、台車などの機械と、その制御器 | 決めた動作を、関節の動きや力として実行する |
感知で得た観測が判断に入り、判断が出した動作を機械が実行し、その結果をまた感知する、という繰り返しです。多くの種類のロボットと作業のデータで学習した汎用のモデルを「ロボット基盤モデル」と呼び、判断の段階を担います。
流れを支える三つの要素
- 学習。人の実演や試行錯誤から、判断を担うモデルを作ります。模倣学習、強化学習などの方法があります。
- シミュレーション。物理エンジンの上の仮想の環境で学習と確認を行い、実機へ移します（Sim-to-Real）。
- 安全。人との距離、力の上限、非常停止などです。産業用ロボットには法令と規格の定めがあり、このサイトでは第 6 章「安全と法令」として監修者の確認の後に記事にします。
部品をつなぐソフトウェア
感知・判断・動作の部品は、別々の機器とプログラムで作られるため、それらをつなぐソフトウェアが要ります。
- ミドルウェア。ハードウェアのドライバから高度な算法、開発者向けの道具までを一つの枠組みで扱うライブラリと道具の集まりとして、ROS 2 が広く使われています。配布の版には提供期間があり、開発用の rolling と安定版が分かれています（ROS 2 Documentation）。
- 物理エンジン。多関節の機械と物との接触を計算し、仮想の環境を作ります。MuJoCo は、一般化座標での多関節体の計算と、最適化に基づく接触力学を組み合わせた汎用の物理エンジンで、ロボットや場面を XML の記述言語（MJCF）で書きます（MuJoCo Documentation）。
- 学習の道具。LeRobot は、多くのアームや遠隔操作の入力装置を共通のインターフェースで扱い、映像と状態・動作を同期させたデータセットの形式と、模倣学習・強化学習・VLA の方策の実装、学習・評価・記録の道具をそろえたライブラリです（LeRobot README）。
学習の作業の順
学習でモデルを作る作業は、次の順で進みます（LeRobot ドキュメント）。
- 遠隔操作で動かします。人が入力装置でロボットを操作し、作業が成り立つかを確かめます。
- 実演を記録します。操作中の映像、ロボットの状態、動作を同期させて保存します。
- 方策を学習します。記録した実演から、観測に対して動作を出すモデルを作ります。
- ロボットで動かします。学習した方策を実機に載せ、結果を確かめます。
手元にロボットが無くても、公開されたデータセットやシミュレーションのベンチマークで学習と評価を始められます。学習の方法の違いは第 4 章「学習とデータ」で、シミュレーターの役割と違いは第 3 章「シミュレーション」で扱います。基盤モデルと Sim-to-Real の関係は、次の節「ロボット基盤モデルと Sim-to-Real」に続きます。