SO-101模倣学習の実践記録｜6人が半年かけてACTで自律動作に成功！

---

「オ、オ、オ～！ ア～～ア、はなした！ パチパチパチ、ヤッター、ヤッター、ヤッター！！！」。2026年、金曜日の仕事帰りに集まる6人の会社員が、SO-101の模倣学習でロボットアームの自律Pick & Placeに成功した瞬間である。

組み立てからキャリブレーション、Leader／Follower連携、デモ収集、ACTによる学習、そして実機での自律動作まで、かかった期間は約6か月。週に一度、約2時間ずつ積み重ねた挑戦である。

だが、成功への道は一直線ではなかった。動かないアーム、秋葉原で探した小さなネジ、使わずに終わった黒い暗幕、そして約30回のデモ収集のやり直し。AIに動作を教えるつもりが、教える側の人間も学び直すことになった。

本記事は、株式会社アープの課外活動「ALT」によるSO-101模倣学習の実践記録である。約6か月間の試行錯誤と成功までの道のりを振り返り、今後の社内教育に生かすとともに、実際に使用した機材やコマンドを紹介する。

「ヤッター！」――6か月の挑戦が実を結んだ瞬間

SO-101が人間の操作なしにコマをつかみ、籠へ運んで離すことに成功した瞬間は、6人の半年間の試行錯誤が報われた場面である。

「オ、オ、オ～！」。ロボットのアームが伸び、グリッパーが小さなコマをつかみます。慎重に持ち上げ、籠の上まで運んでいく。その動きを、全員が固唾をのんで見守っていました。

「ア～～ア、はなした！」。コマがグリッパーから離れ、籠に入りました。直後に響く拍手と「ヤッター、ヤッター、ヤッター！」という歓声。Leaderアームを人間が動かしているのではありません。学習済みのACTポリシーがFollowerアームを動かしたのです。

この瞬間を記録した約25秒の動画には、ロボットの動作だけでなく、その場にいたメンバーの歓声も収められています。

最初の2回は失敗。しかし、初期位置を合わせると3回連続成功！

ACTによる自律Pick & Placeの実機検証では、最初の2回はコマの初期位置が合わず失敗した。しかし、正しい位置に置き直した後は3回連続で成功した。

いよいよ学習済みACTポリシーによる実機検証です。しかし、最初の2回は失敗しました。ロボットは期待したとおりにコマをつかめません。調べてみると、コマを置いた初期位置が、デモ収集時の位置と合っていなかったのです。

そこで、コマを学習時と同じ正しい初期位置に置き直し、もう一度実行しました。

すると、今度はFollowerアームがコマをつかみ、持ち上げ、籠まで運んで離したのです。これが記念すべき最初の成功であり、6人から「ヤッター！」という歓声が上がった瞬間でした。

その後も同じ初期位置で2回試し、いずれも成功しました。つまり、最初の2回は初期位置が合わず失敗し、位置を修正した後は3回連続で成功。全5回では3回成功という結果です。

SO-101実機検証の時系列と結果

試行	コマの初期位置	結果
1回目	デモ収集時の位置と異なる	失敗
2回目	デモ収集時の位置と異なる	失敗
3回目	正しい初期位置に修正	成功・歓声！
4回目	正しい初期位置	成功
5回目	正しい初期位置	成功

数字だけを取り出すと「5回中3回成功（60％）」ですが、この結果を同じ条件での成功率として解釈してはいけません。正しい初期位置で試した3回はすべて成功し、位置が合っていなかった2回は失敗したのです。

今回は、コマを学習時と同じ位置に置いた3回の試行で、すべてPick & Placeに成功しました。一方、異なる位置では失敗しており、初期位置への対応には課題が残っています。

金曜日の2時間から始まった6人の挑戦

ALTは本業と並行して進めた課外活動であり、週に一度の短い作業時間を積み重ねて、組み立てから模倣学習まで到達した取り組みである。

ここで、時計の針を半年ほど戻します。2026年3月、私たちはSO-101のPro版キットを購入しました。取り組んだのは株式会社アープの社内課外活動「ALT」に参加する6人です。金曜日の仕事帰りに約2時間、本業を優先しながら、参加できるメンバーで進める方針でした。

週に一度、約2時間の活動です。準備や確認に時間を使う日もありましたが、少しずつ作業を進め、約6か月で自律Pick & Placeまで到達しました。

「先週は動いたのに、今週は動かない」という実機開発の現実にも何度も直面しました。

6か月間で取り組んだ工程

ALTで実際に進めた開発工程

工程	取り組んだ内容	得られたこと
組み立て	SO-101 Leader／Followerの組み立て	アームの構造と配線を理解
キャリブレーション	サーボモーターの位置合わせ	基準位置と可動範囲を設定
遠隔操作	LeaderからFollowerを操作	人間が動作を教える準備が完了
環境整備	電源、カメラ、机上の対象物を調整	データ収集環境を構築
デモ収集	約30回を撮り直し、再収集	カメラ画角の重要性を体験
ACT学習	収集データから動作ポリシーを学習	自律動作に使用するモデルを生成
実機評価	Pick & Placeを5回試行	初期位置が合わず2回失敗、修正後3回連続成功

この取り組みの出発点や準備段階は、AIロボット制作プロジェクト正式キックオフやSO-101機材・模倣学習・Sim2Real準備記事でも紹介しています。今回は、その計画を実際に動かしたときに何が起きたのかが主役です。

雨の100円ショップで探した「教えるための道具」

ロボットの模倣学習には高価な機材だけでなく、対象物と作業環境をどう整えるかという地道な準備が欠かせない。

Pick & Placeに使う対象物をどうするか。考えるだけでは決まらず、ある雨の日、6人で100円ショップへ出かけました。棚の前で「あーだ、こーだ」と相談しながら選んだのが、小さなコマと籠です。

ロボットがつかみやすく、机の上で扱いやすく、カメラにも映りやすいものを選びました。

位置の目安には、黒い方眼付きのA4サイズマット（約220×300×3mm）を使いました。デモ収集と実機検証の際に、対象物の初期配置をそろえるためです。模倣学習では「何を動かすか」だけでなく、「どこから動かし始めるか」も重要な条件になります。

後の実機検証で、この方眼入りのマットを使って初期位置をそろえることの大切さを実感しました。

電源をつないだのにFollowerが動かない

SO-101 Pro版の組み立て後に起きた動作不良は、AIモデル以前に電源などの実機条件を確認する必要性を教えてくれた。

購入したのは、ACアダプター付きのSO-101 Pro版キットです。組み立ててキャリブレーションを行えば、次はLeaderとFollowerの動作確認へ進めるはずでした。ところが、Followerアームが正常に動きません。AIの学習以前に、肝心のロボットが動かないのです。

付属電源は12V／2Aでした。電源容量の不足を疑い、LETOUR製12V／30A・360Wの電源へ変更したところ、Followerの動作確認を進められるようになりました。ただし、電流を実測して原因を特定したわけではありません。

電源トラブルの整理

項目	内容
キット付属電源	12V／2A
問題	Followerアームの動作不良
調査時の仮説	同時駆動時の電源容量不足の可能性
実際に導入した電源	LETOUR 12V／30A・360W
確認結果	電源変更後に動作確認を進められた

SO-101の電源要件は、搭載するSTS3215サーボの電圧仕様によって異なります。今回使用した12V仕様のFollowerについては、TheRobotStudioのSO-ARM100／SO-101関連設計リポジトリに12V・5A以上の電源を用意する案内があります。付属電源は12V・2Aで、この目安を下回っていました。ただし、動作不良の原因が電流不足であったことを実測で証明したわけではありません。購入元の仕様とモーター型番に合った電源を選ぶ必要があります。

今回使用した12V／30A電源はSO-101の標準仕様ではありません。電源は機材に合ったものを選び、配線や端子の絶縁にも注意してください。

私たちが実際に購入した製品は、LETOURスイッチング電源12V／30A・360Wです。機材選びの背景はSO-101の機材準備記事も参照してください。

こうして、ようやくFollowerを動かせる段階に進みました。この時点では、AIの学習はまだ始まってもいなかったのです。

手先カメラの小さなネジを求めて秋葉原へ

模倣学習用のカメラを取り付ける工程では、部品の小ささや固定方法までが実機開発の具体的な課題になった。

私たちが使用したのは、机を上から撮影するカメラと、Followerアームの手先に取り付けるカメラの2台です。手先カメラには、小型のInnoMaker製1080P USB2.0 UVCカメラ（130度レンズ）を選びました。

カメラ本体は用意できても、固定は別の話です。取り付けに使う小さなネジを探すため、実物のカメラを持って秋葉原へ向かいました。訪ねたのは西川電子部品の2階。店員さんにカメラを見せると、合いそうな小さなネジを一緒に探し、取り付け方も教えてくれました。

小さなネジ一つでも、実物を持って相談するのが一番でした。

Physical AIの実践には、ソフトウェア開発とは違う「現物合わせ」の世界があります。

ちなみに、手先カメラの取り付け用部品はSO-101キットに含まれています。ロボットを組み立てたときに余っていても、捨てないでくださいね。

真上から撮るか、横から撮るか――2台のカメラを決める

ロボットに何を見せるかを決めるカメラ配置は、模倣学習のデータ品質を左右する重要な設計判断である。

カメラ配置については、チーム内でも議論になりました。机の真上から撮るカメラと、横から撮るカメラを組み合わせる方法も候補でした。しかし横方向から撮影すると、ロボットの背後にある室内の物や人物まで映り込みやすくなります。

背景を隠すため、厚手の黒い暗幕まで購入しました。結局、その暗幕は使わずに終わります。採用したのは、机の真上に固定したカメラ＋アーム先端の手先カメラという構成でした。

上方カメラにはUlanzi ZJ02の支持アームを使い、手先にはInnoMakerの小型カメラを取り付けました。収録設定は2台とも640×480ピクセル、30fpsです。

640×480ピクセル、30fpsに設定しています。これは今回の実験条件であり、ACT全般に共通する必須仕様ではありません。

ALTが採用した2台のカメラ構成

カメラ	設置位置	LeRobot上の名称	実験時のデバイス
上方カメラ	机の真上に固定	front	/dev/video0
手先カメラ	Followerのグリッパー付近	wrist	/dev/video2
共通の収録設定	640×480	30fps	OpenCV／V4L2

手先カメラはロボットと一緒に動くため、同じ対象物を見ていても画角が変わります。カメラを設置できたからといって、学習に適した映像が自動的に撮れるわけではありません。そのことを、私たちは次の工程で痛感します。

最初の約30回を撮り直した――本当の問題は「映っているもの」だった

最初のデモ収集では手先カメラに室内や人の顔まで映り込み、操作方法を変えて約30エピソードを収集し直した。

Leaderアームを数回操作して練習した後、最初の約30回のデモ収集に挑戦しました。操作者はLeaderを動かし、Followerにコマをつかませて籠へ運びます。ロボットの動きを再現するだけなら、比較的分かりやすい作業に見えました。

ところが、収録映像を確認すると、手先カメラにはコマだけでなく、室内の様子や人の顔まで映っていました。アームを持ち上げる動作によって、カメラの視界も大きく変わっていたのです。

ロボットの動作が正しくても、AIに見せる映像が適切とは限りません。模倣学習では画像と動作を対応づけて学ぶため、タスクと無関係な背景や人物の映り込みが、学習上の余計な手掛かりになる可能性があります。

記録映像への映り込みを減らすため、チームで改善方法を検討しました。その結果、手先カメラがなるべく机上のコマを捉えるよう操作方法を見直し、約30回のデモ収集に再挑戦しました。2回目のデータでACTを学習し、実機での成功につながりました。

なお、撮り直し前後のデータを使った性能比較は行っていません。

ここから先は技術編です。コマンドを読み飛ばしたい方は、実機評価の結果と考察へ進んでください。

LeRobotの「魔法の呪文」――実際に使ったコマンドを公開

SO-101の実機を動かすまでには、接続確認、キャリブレーション、遠隔操作、デモ収集、ACT学習、自律実行の手順が必要だった。

ここからはALTが実際に使用したLeRobotのコマンドを、接続確認から自律実行まで順番に紹介します。

接続ポートとカメラを確認する

まずはLeaderとFollowerのUSBシリアルポート、およびカメラの認識状況を確認しました。実験時の割り当てはFollowerが/dev/ttyACM0、Leaderが/dev/ttyACM1です。

lerobot-find-port
lerobot-find-cameras opencv

Linuxでは、USBケーブルの接続順や再起動によってデバイス番号が変わることがあります。番号は接続のたびに変わる可能性があるため、毎回、実際の状態を確認しましょう。

シリアルポートのアクセス権を設定する

週1回の活動で忘れがちになるのは、接続時の権限設定です。私たちもロボットが動かなくて慌てて設定しました。

sudo chmod 666 /dev/ttyACM0
sudo chmod 666 /dev/ttyACM1

※これは実験時に使用した一時的な権限設定です。

サーボモーターのキャリブレーション

キャリブレーションでは、各関節を指定された可動範囲の端まで動かします。ただ、Leaderアームの操作は微妙に難しいものです。可動範囲を超えてしまったら、無理に続けず、潔く最初からやり直しましょう。

lerobot-calibrate \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=alt_awesome_follower_arm

lerobot-calibrate \
  --teleop.type=so101_leader \
  --teleop.port=/dev/ttyACM1 \
  --teleop.id=alt_awesome_leader_arm

Leaderを動かしてFollowerを遠隔操作する

キャリブレーションを終えたら、Leaderの動きをFollowerへ反映させます。人間がLeaderを動かし、その操作をFollowerが追いかける仕組みです。これができて初めて、模倣学習のデモを収集する準備が整います。

lerobot-teleoperate \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=alt_awesome_follower_arm \
  --teleop.type=so101_leader \
  --teleop.port=/dev/ttyACM1 \
  --teleop.id=alt_awesome_leader_arm

ここでロボットが動いても、まだ自律動作ではありません。人間の操作をFollowerが再現している段階です。「人間が動かせる」ことと「AIが自分で動かせる」ことは、別の到達点です。

まず試した1台カメラでの記録

私たちは、最初から2台カメラによる完成形だけを使用したわけではありません。上方カメラ1台を指定した収録コマンドも試しています。次はその記録例です。

lerobot-record \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=alt_awesome_follower_arm \
  --robot.cameras="{front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --teleop.type=so101_leader \
  --teleop.port=/dev/ttyACM1 \
  --teleop.id=alt_awesome_leader_arm \
  --display_data=true \
  --dataset.push_to_hub=false \
  --dataset.repo_id=oz-sage/so101_pickplace \
  --dataset.num_episodes=50

これは初期段階で試した設定です。今回の成功には、次の2台カメラで収集した約30エピソードを使用しました。

試行時の設定値であり、今回の成功に使った学習データが50エピソードだったという意味ではありません。実際に成功につながったのは、次に紹介する2台カメラによる約30エピソードの収録です。

成功につながった2台カメラのデモ収集

採用したのは、frontとwristの2映像を同時に記録する設定です。人間がLeaderアームを操作し、コマをつかんで籠に入れる動作を繰り返しました。

lerobot-record \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=alt_awesome_follower_arm \
  --robot.cameras="{front: {type: opencv, index_or_path: /dev/video0, width: 640, height: 480, fps: 30, backend: V4L2, fourcc: MJPG, warmup_s: 5}, wrist: {type: opencv, index_or_path: /dev/video2, width: 640, height: 480, fps: 30, backend: V4L2, fourcc: MJPG, warmup_s: 5}}" \
  --teleop.type=so101_leader \
  --teleop.port=/dev/ttyACM1 \
  --teleop.id=alt_awesome_leader_arm \
  --display_data=true \
  --dataset.push_to_hub=false \
  --dataset.repo_id=oz-sage/so101_pickplace \
  --dataset.episode_time_s=30 \
  --dataset.num_episodes=30 \
  --dataset.single_task="Grab the block and put it in the box"

--dataset.num_episodes=30は30回分、--dataset.episode_time_s=30は1回30秒の設定です。Hugging Face Hubへの自動公開設定はOFFにしています。

ACTで学習させ、いよいよロボットを自律動作させる

2台カメラで収集し直したデモをACTに学習させ、学習済みポリシーをFollowerへ接続して実機動作を確認した。

収集したデータを使って、ACT（Action Chunking with Transformers）による模倣学習を実行しました。ACTは、観測画像やロボットの状態を基に、次の一手だけでなく、将来の行動列を一定のまとまり（チャンク）として予測する模倣学習方式です。人間が見本として操作した動きを、ロボットが再現するためのモデルを学習します。

ACTの学習コマンド

lerobot-train \
  --dataset.repo_id=oz-sage/so101_pickplace_20260904_194159 \
  --policy.type=act \
  --policy.device=cuda \
  --output_dir=outputs/train/act_so101_pickplace_20260904_194159 \
  --job_name=act_so101_pickplace_20260904_194159 \
  --batch_size=8 \
  --steps=20000 \
  --wandb.enable=false \
  --policy.push_to_hub=false

ACTを使用し、GPUで20,000ステップの学習を行いました。

学習済みモデルで実機を動かす

学習が終わったら、今度はLeaderによる遠隔操作ではなく、ACTが出力する動作をFollowerに実行させます。そのために使用したのがlerobot-rolloutです。

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.id=alt_awesome_follower_arm \
  --robot.cameras="{front: {type: opencv, index_or_path: /dev/video0, width: 640, height: 480, fps: 30, backend: V4L2, fourcc: MJPG, warmup_s: 5}, wrist: {type: opencv, index_or_path: /dev/video2, width: 640, height: 480, fps: 30, backend: V4L2, fourcc: MJPG, warmup_s: 5}}" \
  --policy.path=outputs/train/act_so101_pickplace_20260904_194159/checkpoints/last/pretrained_model \
  --task="Grab the block and put it in the box" \
  --duration=30 \
  --display_data=true

学習済みモデルを指定し、2台のカメラを使って自律動作を実行しました。

そして、Followerが動き出しました。コマへ近づき、つかみ、持ち上げ、籠へ向かい、離す。6人が積み重ねたデモから、初めてロボット自身の動作が生まれた瞬間です。

実際に使用した機材――買ったもの、使わなかったもの

今回の成功を支えたのはSO-101本体だけではなく、電源、カメラ、固定具、作業マットなどの機材を実験条件に合わせて整えたことである。

今回使用した主な機材をまとめました。

ALTで使用・購入した主な周辺機材

機材	用途・実際の扱い
LETOUR 12V／30A・360W電源	Followerの電源を変更するため導入
InnoMaker USB UVCカメラ	Followerの手先カメラ
Ulanzi ZJ02	机の上方カメラの固定
黒い方眼付きA4マット	対象物の配置目安
黒い暗幕	背景対策用に購入したが未使用
小さなコマと籠	100円ショップで選んだPick & Place対象物

どの機材を、何の問題を解決するために導入したのかが、実践する人にとって重要な情報です。

実機で分かったこと、そして社内教育へ

コマの初期位置が成功を左右した経験と、約6か月間の取り組みで得た知見を今後の社内教育に生かしていく。

今回、コマの初期位置を学習時と同じ場所にそろえたことが、成功の重要な条件でした。違う位置では失敗しており、まだ改善の余地があります。

ALTの成果を社内教育に生かす

ALTは、6人が本業を優先し、参加できるメンバーで進めてきた課外活動です。社長の理解により費用はすべて会社が負担し、GPUマシンなど社内で使える機材は積極的に流用しました。

約6か月の取り組みで自律Pick & Placeに成功し、機材準備からデモ収集、ACT学習までを体験できました。特にデータ収集と環境整備で得た経験は、今後の社内教育へ引き継ぐための資産となります。

次の挑戦はIsaac Sim／Isaac LabによるSim2Real

ALTでは今後、Isaac Sim／Isaac Labを活用し、SO-101のシミュレーションと実機をつなぐSim2Realに取り組む予定である。

次は、NVIDIA Isaac Sim／Isaac Labを使ったSim2Realへの挑戦です。今回の模倣学習で得た経験を生かし、学習と実機をつなぐ技術に取り組む予定です。

詳しくは、SO-101とIsaac LabによるSim2Realをご覧ください。

まとめ――ロボットを教える過程で、人間も学んだ

SO-101の自律Pick & Place成功は小さな一歩だが、実機で試し、失敗し、改善を重ねるPhysical AI開発の核心を体験できた成果である。

6人で雨の100円ショップを歩き、コマと籠を選ぶ。電源が原因かもしれないと考え、秋葉原で小さなネジを探す。カメラの映像を見て、約30回のデモをやり直す。そして金曜日の夕方、ついにコマが籠へ入った瞬間、「ヤッター！」という歓声が上がりました。

約6か月の課外活動を通じて、私たちはSO-101の自律Pick & Placeに成功しました。途中には思いがけないトラブルもありましたが、メンバーで相談し、一つずつ乗り越えてきました。

正しい位置へ置き直した後は3回連続で成功しました。一方、異なる初期位置への対応には課題が残っています。成功したことも、まだできないことも、両方を記録する。それが実践記事の価値です。

今回得た経験は、今後の社内教育に生かしていきます。また、私たち自身が情報不足に苦労した経験から、実際に使ったコマンドや機材も紹介しました。

ロボットを教えているつもりが、教える側の人間こそ学んでいた。——これが、約6か月にわたるALTの挑戦から得た、私たちの一番大きな収穫です。

専門用語まとめ

本記事で使用した主要なロボット学習用語を整理し、SO-101のデータ収集から自律動作までの流れを振り返る。

SO-101模倣学習の基本用語

用語	意味
SO-101	模倣学習などの実験に使われるオープンソースの小型ロボットアーム
Leader／Follower	人間が操作する側と、その動きを追従する側のアーム
模倣学習	人間などの手本となる動作データから行動を学ぶ方法
ACT	Action Chunking with Transformers。将来の行動列を一定のまとまりとして予測する模倣学習方式
エピソード	開始から終了までをまとめた1回分の操作データ
ポリシー	観測情報から次の行動を決める学習済みモデル
Rollout	学習済みポリシーを実行して動作を評価すること
汎化性能	学習時とは異なる条件にも対応できる能力
Sim2Real	シミュレーションで得た学習成果を実機へ移す考え方

参考文献／出典

本記事に関連するLeRobotやSO-101の公式資料、公開された実践報告を紹介する。

SO-101関連記事｜あわせて読みたい5本

ALTの活動背景、機材準備、模倣学習、今後のSim2Realに関連する公開記事5本を紹介する。

補足Q&A

デモ数とLeRobotコマンドの利用について、よくある疑問を簡潔に補足する。

Q1．SO-101のACT模倣学習は、30回のデモだけで成功できますか？

ALTでは約30エピソードを収集し、ACTで自律Pick & Placeに成功しました。ただし、必要なデモ数は対象物や撮影条件などによって変わります。

Q2．この記事のLeRobotコマンドは、そのまま使えますか？

掲載したコマンドはALTで使用したものです。LeRobotのバージョンや実行環境によって設定が異なる場合があるため、再現する際は公式ドキュメントも確認してください。

更新履歴