--- title: "ロボット基盤モデルと Sim-to-Real" description: "多くの種類のロボットと作業のデータで学習した汎用のモデルと、シミュレーションで学習した方策を実機で動かす方法。種類、成立条件、両者の関係、実務での判断を整理します。" canonical: https://uniquex-knowledge-center.pages.dev/physical-ai/robot-foundation-model-and-sim-to-real type: "用語" domain: "physical-ai" chapter: 1 section: "1.3" keywords: ["ロボット基盤モデルと Sim-to-Real"] aliases: ["Sim-to-Real"] entities: [] sources: [{"title":"Open X-Embodiment: Robotic Learning Datasets and RT-X Models","author":"Open X-Embodiment Collaboration","year":"2023","publisher":"arXiv（arXiv:2310.08864）","version":"v9（2025 年 5 月 14 日）。初版は 2023 年 10 月 13 日","url":"https://arxiv.org/abs/2310.08864","accessed":"2026-10-08"},{"title":"Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World","author":"Josh Tobin, Rachel Fong, Alex Ray, Jonas Schneider, Wojciech Zaremba, Pieter Abbeel","year":"2017","publisher":"arXiv（arXiv:1703.06907）","version":"v1（2017 年 3 月 20 日）","url":"https://arxiv.org/abs/1703.06907","accessed":"2026-10-08"},{"title":"Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics: a Survey","author":"Wenshuai Zhao, Jorge Peña Queralta, Tomi Westerlund","year":"2020","publisher":"arXiv（arXiv:2009.13303）","version":"v2（2021 年 7 月 8 日）。初版は 2020 年 9 月 24 日","url":"https://arxiv.org/abs/2009.13303","accessed":"2026-10-08"},{"title":"π0: A Vision-Language-Action Flow Model for General Robot Control","author":"Kevin Black, Noah Brown, Danny Driess ほか（Physical Intelligence）","year":"2024","publisher":"arXiv（arXiv:2410.24164）","version":"v4（2026 年 1 月 8 日）。初版は 2024 年 10 月 31 日","url":"https://arxiv.org/abs/2410.24164","accessed":"2026-10-08"},{"title":"NVIDIA Isaac GR00T（GitHub リポジトリ README）","publisher":"NVIDIA（GitHub NVIDIA/Isaac-GR00T）","version":"GR00T N1.7（2026 年 10 月 8 日時点の main。コードは Apache-2.0、重みは NVIDIA Open Model License）","url":"https://github.com/NVIDIA/Isaac-GR00T","accessed":"2026-10-08"},{"title":"LeRobot（GitHub リポジトリ README）","publisher":"Hugging Face","version":"2026 年 10 月 8 日時点の main（Apache-2.0）","url":"https://github.com/huggingface/lerobot","accessed":"2026-10-08"},{"title":"Isaac Sim Documentation","publisher":"NVIDIA","version":"latest（2026 年 10 月 8 日時点。移行ガイドは 6.1 まで掲載）","url":"https://docs.isaacsim.omniverse.nvidia.com/latest/index.html","accessed":"2026-10-08"},{"title":"Isaac Lab Documentation","publisher":"NVIDIA（Isaac Lab Project）","version":"main（Isaac Sim 6.1.0 対応の表示。release/3.0.0 の版も併載）","url":"https://isaac-sim.github.io/IsaacLab/main/index.html","accessed":"2026-10-08"},{"title":"MuJoCo Documentation（Overview）","publisher":"Google DeepMind","version":"stable（版番号の記載なし）","url":"https://mujoco.readthedocs.io/en/stable/overview.html","accessed":"2026-10-08"}] author: "UNIQUEX 編集部" reviewer: "" published: 2026-10-08 updated: 2026-10-09 verified: 2026-10-08 --- # ロボット基盤モデルと Sim-to-Real > ロボット基盤モデルは、多くの種類のロボットと作業のデータで学習し、画像や言語の指示から動作を出力する汎用のモデルです。Sim-to-Real は、シミュレーションで学習した動作の方策を実機で動かせるようにすることで、見た目や物理の差（リアリティギャップ）をドメインランダム化などで埋めます。基盤モデルは学習に多様な実機データを必要とし、Sim-to-Real はそのデータの不足を仮想の環境で補うため、両者は互いを前提にします。実務では、作業のばらつきの大きさで学習を使うかを決め、シミュレーションで動いて実機で動かないときは見た目と物理の差を一つずつ確かめます。 ロボット基盤モデルとは、多くの種類のロボットと作業のデータで学習し、画像や言語の指示から動作を出力する汎用のモデルのことで、Sim-to-Real とは、シミュレーションで学習した動作の方策を実機で動かせるようにすることです。ここでは、機械の判断を担うモデルと、動作を仮想環境から実機へ移す方法を説明します。感知・判断・動作の関係は[仕組みの全体像](/physical-ai/how-physical-ai-works)でも整理しています。 ## 学習の方法とモデルの種類、移行の手法 [#学習の方法とモデルの種類移行の手法] 学習の方法とモデルの種類は次のように分けられます（LeRobot が扱う範囲）。 | 種類 | 内容 | 入力と出力 | | ------------------------------ | ----------------------------------------------------------- | ----------- | | 模倣学習 | 人の実演データから動作を学ぶ | 観測から動作 | | 強化学習 | 報酬を手がかりに試行錯誤で学ぶ | 観測から動作 | | VLA（Vision-Language-Action）モデル | 画像と言語の指示を受けて動作を出す。基盤モデルの代表的な形で、重みを公開したものもある（π0、Isaac GR00T） | 画像と言語から動作 | | 世界モデル | 行動の結果を予測する。計画や学習の補助に使う | 観測と行動から次の観測 | Sim-to-Real で差を埋める手法は次の 3 つです（分類は Zhao ほか 2020 のサーベイに沿う）。 | 手法 | 内容 | | ---------- | ------------------------------------------------------------------ | | ドメインランダム化 | シミュレーションの見た目や物理の値を無作為に変えて学習し、実世界をその変化の一つとして扱えるようにする（Tobin ほか 2017） | | システム同定 | 実機の計測値に合わせて、シミュレーターの摩擦や質量などの値を調整する | | 実機データでの微調整 | シミュレーションで学んだ方策を、少量の実機データで調整する | ## 成り立つ条件 [#成り立つ条件] ### 基盤モデルはデータの多様さで決まる [#基盤モデルはデータの多様さで決まる] 基盤モデルの汎用性は、学習データに含まれるロボットと作業の多様さで決まります。Open X-Embodiment では 21 の機関が 22 種類のロボットのデータを持ち寄り、学習した RT-X モデルが他のロボットの経験で複数のロボットの能力を高める正の転移を示しています（Open X-Embodiment 2023）。実機だけでは量に限りがあるため、シミュレーターで生成した合成データを足す構成が使われます（Isaac Sim）。 ### Sim-to-Real はリアリティギャップを埋める [#sim-to-real-はリアリティギャップを埋める] シミュレーションと実機の差は、見た目（照明、質感、カメラ）と物理（摩擦、接触、遅れ）に出ます。ドメインランダム化は、この差を学習時に広く揺らしておき、実機を学習済みの範囲に入れる考え方です。接触を含む多関節の物理を扱う MuJoCo、PhysX または Newton で物理を計算する Isaac Sim、その上で強化学習と模倣学習の手順をまとめた Isaac Lab が、この用途で使われます。 ### 両者は互いを前提にする [#両者は互いを前提にする] 基盤モデルがあると作業ごとにゼロから学習せずに済み、Sim-to-Real の出発点がよくなります。Sim-to-Real が成り立つと、基盤モデルの学習データを仮想の環境で増やせます。公開された基盤モデルは、事前学習の後に自分のロボットと作業のデータで微調整して使う前提で提供されています（π0 2024、Isaac GR00T README）。 ## 実務での判断とよくある詰まり [#実務での判断とよくある詰まり] 最初の分岐は、作業のばらつきの大きさです。物と位置が決まっているなら従来の教示で足り、学習は要りません。ばらつくなら学習を検討し、人の実演で集められる量で足りるなら模倣学習から、危険が伴うか大量の試行が要るならシミュレーションから入ります。 よくある詰まりは 3 つです。実機で動かないときに、原因が見た目か物理か分からないまま学習をやり直すこと。実機のカメラの位置や照明を学習時と揃えないこと。基盤モデルを使えばそのまま動くと考え、自分の作業のデータでの微調整と確認を省くことです。原因は一つずつ変えて確かめ、微調整と確認は手順に含めます。 ## 参考文献 - Open X-Embodiment Collaboration. Open X-Embodiment: Robotic Learning Datasets and RT-X Models (2023). arXiv（arXiv:2310.08864）、v9（2025 年 5 月 14 日）。初版は 2023 年 10 月 13 日. https://arxiv.org/abs/2310.08864（参照日 2026-10-08） - Josh Tobin, Rachel Fong, Alex Ray, Jonas Schneider, Wojciech Zaremba, Pieter Abbeel. Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World (2017). arXiv（arXiv:1703.06907）、v1（2017 年 3 月 20 日）. https://arxiv.org/abs/1703.06907（参照日 2026-10-08） - Wenshuai Zhao, Jorge Peña Queralta, Tomi Westerlund. Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics: a Survey (2020). arXiv（arXiv:2009.13303）、v2（2021 年 7 月 8 日）。初版は 2020 年 9 月 24 日. https://arxiv.org/abs/2009.13303（参照日 2026-10-08） - Kevin Black, Noah Brown, Danny Driess ほか（Physical Intelligence）. π0: A Vision-Language-Action Flow Model for General Robot Control (2024). arXiv（arXiv:2410.24164）、v4（2026 年 1 月 8 日）。初版は 2024 年 10 月 31 日. https://arxiv.org/abs/2410.24164（参照日 2026-10-08） - NVIDIA Isaac GR00T（GitHub リポジトリ README）. NVIDIA（GitHub NVIDIA/Isaac-GR00T）、GR00T N1.7（2026 年 10 月 8 日時点の main。コードは Apache-2.0、重みは NVIDIA Open Model License）. https://github.com/NVIDIA/Isaac-GR00T（参照日 2026-10-08） - LeRobot（GitHub リポジトリ README）. Hugging Face、2026 年 10 月 8 日時点の main（Apache-2.0）. https://github.com/huggingface/lerobot（参照日 2026-10-08） - Isaac Sim Documentation. NVIDIA、latest（2026 年 10 月 8 日時点。移行ガイドは 6.1 まで掲載）. https://docs.isaacsim.omniverse.nvidia.com/latest/index.html（参照日 2026-10-08） - Isaac Lab Documentation. NVIDIA（Isaac Lab Project）、main（Isaac Sim 6.1.0 対応の表示。release/3.0.0 の版も併載）. https://isaac-sim.github.io/IsaacLab/main/index.html（参照日 2026-10-08） - MuJoCo Documentation（Overview）. Google DeepMind、stable（版番号の記載なし）. https://mujoco.readthedocs.io/en/stable/overview.html（参照日 2026-10-08） ## 更新履歴 - 2026-10-08: 初版（題は「ロボット基盤モデル・Sim-to-Real とは」） - 2026-10-08: 書籍型の目次に合わせて改題・再構成（節 1.3。見出しを節の形に直し、出典に著者と年を補った） - 2026-10-09: 読む順を指定する記述を外し、単独で参照できる説明に更新 - 2026-10-09: 監修実施の記録がないため監修者表示を未実施へ訂正。本文の全主張を再確認した日ではない