1月

OAK-D ProとFEMTOのポイントクラウドの比較動画を作成

OAK-D ProとFEMTOというデプスセンサーを買ったので、OKA-D LiteやRealSense, Azure Kinectなどと合わせてポイントクラウドの比較動画を作りました。ちなみにZED Miniで深層学習ベースの深度推定モードと思われるNeural Modeもついでに試しました。https://t.co/RJRFETc7jm pic.twitter.com/c0abnoRo9L
— higradom (@EL2031watson) 2023年1月2日

詳細3次元点群処理を読み終える

詳細3次元点群処理を一通り読み終えた。点群処理はほとんど勉強したことがなかったので、一回読むくらいではとても消化しきれないほどの情報量だった。個人的には最近傍探索に使うkd-treeが一番印象に残った。

色々使えそうな情報が多かったから今後何か作る際に実践して身につけていきたい。 pic.twitter.com/h3luyD75OL
— higradom (@EL2031watson) 2023年1月6日

OpenParallelGripperのプロモーション用動画を作成

自作していた平行グリッパーの紹介ムービーをYouTubeで公開しました。
Kickstarterでよくみられる見るだけで欲しくなり次の瞬間にはバックしている魔法のようなプロモーションビデオは作れませんでしたが、最低限はまとめられたかなと思います。https://t.co/VdkDdUHJrm
— higradom (@EL2031watson) 2023年1月8日

ML-Agentsで深層強化学習にトライ。Google論文にあるタスク複数について成功

ML-Agentsで、Googleの論文に出てた白い円柱を動かして赤と緑ブロックの仕分けタスクを強化学習。
動画下のように斜め上からのRGB画像と円柱の座標のみから行動を生成。
序盤は模倣学習でデモを真似させ段々自動で最適化される。RTX3090を1枚使い6並列で約1日学習の結果。中々上手く出来て驚き。 pic.twitter.com/N0F9suiZxw
— higradom (@EL2031watson) 2023年1月11日

ML-Agentsで強化学習使った赤・緑ブロックの仕分けタスク、さらに12時間ぐらい学習させたら少し効率が上がった。このレベルだとキーボードでやる自分のデモだとほぼ正確さとスピードでかなわない。そろそろさらに高難易度のタスクに移行しよう。 pic.twitter.com/Dq43eO7crc
— higradom (@EL2031watson) 2023年1月12日

ML-AgentsでGoogle論文の(c)のタスクに挑戦しているがなかなか学習が進まない。黄色いブロックを「コ」の字の部分に入れるタスクだが、角に引っかかりやすく、細かい調整が必要でなかなか報酬にありつけない。最初に試した２色のブロックを仕分けるタスクよりはるかに難易度が高い。 https://t.co/4KYs8X1RwQ pic.twitter.com/20p7NGgSUa
— higradom (@EL2031watson) 2023年1月13日

ブロック挿入タスク、報酬のバグを直したら遂にかなりの確率でブロックを「コ」の字の部分に入れることができるようになった。
タスク成功には結構正確な円柱操作が必要だが、エージェントは下の様な斜めから見た128x128画像と位置座標のみでタスクをこなしている。強化学習の凄さを実感。 https://t.co/IPSdjR1MVU pic.twitter.com/5EdTh1Zpvv
— higradom (@EL2031watson) 2023年1月14日

ML-Agentsで試していたブロック挿入タスク、カメラの位置・角度・FOVと照明をランダム化して（入力画像は下側）さらに45時間ぐらい学習してタスクの成功率が95.2%(476/500)になった。
カメラの厳密な取付が不要というのを現実のカメラ・ロボットのシステムで適用出来たらありがたそう。 pic.twitter.com/vlah0g3Ubh
— higradom (@EL2031watson) 2023年1月19日

自作グリッパーをUR3に対応させる実験

自作平行グリッパー、UFACTORY Lite 6やxArmに続き、Universal RobotsのUR3でもTool I/O経由で開閉できた。手持ちのCBシリーズではRS485の線が手先に来てないようで、開閉ぐらいしか指示出来なさそうだが、e-seriesならRS485が手先のコネクタ経由で使えるので、開閉ストロークを細かく指示できそう。 pic.twitter.com/gxlEKSZnVh
— higradom (@EL2031watson) 2023年1月31日

2月

Unity ML-Agents実践ゲームプログラミングを読み終える

Unity ML-Agents実践ゲームプログラミングを一通り読み終えた。
4年前に初期版も買っていたが、利用先が思い付かず途中で放置してた。

今回は強化学習で手軽にロボット動かす実験したいと思い新版（v2.2対応版）を購入。
今回は電子版。ML-Agents自体も改良され使い易くなった印象を受けた。 pic.twitter.com/0vmXmYVKMO
— higradom (@EL2031watson) 2023年2月5日

やや出遅れたがChatGPTを試し、その性能の高さに感動する

ChatGPT遅れたが試した。簡単なGUIツールとか素早く作れて便利。
これは試しに作ってもらったPythonでフォルダ内の画像を一括で指定サイズに変換してくれるアプリ。要件が適切に指示できてない時等は何回か修正を指示する必要があるが、十分使える。VBAとかWebアプリも行けたので活用範囲は広そう。 pic.twitter.com/KHsNbYZ0xe
— higradom (@EL2031watson) 2023年2月11日

ML-Agentsで黄・青球入り容器から青を取り出すタスクを深層強化学習で行う

黄・青球入り容器から青を取り出すタスクの深層強化学習、3週間ぐらい試行錯誤して多少拾えるようになった。成功率75%程度。
入力はスプーンのx,y,z,rx,ry,rzとRGB画像（下）の直近6フレーム分で、出力はスプーンの次の変位という構成。貫通とか問題設定にも難ありだったが、学習も高難易度。 pic.twitter.com/nsWBfG0oMi
— higradom (@EL2031watson) 2023年2月19日

3月

WhisperとGPT-3.5のAPIとVOICEVOXを組み合わせて音声会話できるエージェントを実装して遊ぶ

流行に乗ってWhisper+ ChatGPT+VOICEVOX
でChatGPT同士に「産業用ロボットを使った遊びの提案」という題で議論してもらった。「お菓子のつかみ取りゲーム」を提案された。反射神経が要求されるゲームらしく、なかなか難しそうだが、アイデアの発掘に使えそう。https://t.co/60HXuWKvGo pic.twitter.com/GGoEjr2xdA
— higradom (@EL2031watson) 2023年3月5日

4年ほど使用していたCLOVA Friendsがサービス終了で使用できなくなった

朝起きてCLOVA Friendsが使えなくなっていた。昨日までに必要なBluetoothスピーカーとしての設定を忘れてたから、もう使え無さそう。分解するか。

2018年末あたりから使い始めて4年。
今ならWhisper+ChatGPTのAPIで自作スマートスピーカーは作れそう。4年前と比べて時代の変化を感じる。 pic.twitter.com/mK0E1VEw0j
— higradom (@EL2031watson) 2023年3月30日

4月

DOBOT MG400を入手

DOBOT MG400をついに入手。
リーチ440mmペイロード750g、4自由度。
DOBOT Magicianと迷ったけどリーチ、高速移動時の安定感等でMG400が良さそうだったので選択。

Lite 6と比べて先端が下向きしか向けられないが、重心が1軸付近かつ手先が軽いので素早く動かした時もあまり怖さがないのがよい。 pic.twitter.com/AiEUtkJMmA
— higradom (@EL2031watson) 2023年4月23日

5月

OpenParallelGripperを改良し、Dynamixel XL-330を採用と共に薄型・軽量化を行う

LITE 6につける自作グリッパーのサーボをDynamixelに交換するついでに薄型版も作成。掴む方向と垂直な向きの厚みが57mmから41mmに減少、重量もCNC部品点数を減らす方向に改良し250g以下に出来そう。小型化でDOBOT MG400への取付も視野に。
ストロークは少し減って現在は40mm程度。伸ばすことは可能。 pic.twitter.com/bhAlc5WcPF
— higradom (@EL2031watson) 2023年5月8日

Kickstarterで低価格7軸ロボットのLucid ONEをバック

1年前ぐらいに届いた7軸ロボAmber B1の小型廉価版Lucid ONEおよびPro版がKickstarter に出ていたので安い無印の方をバックした。
現在はリーチ443mmの7軸が1199ドル。ハーモニックと自社製のサイクロイド減速機のハイブリッドでコスト下げているようだ。https://t.co/EcFjy1CRMK
— higradom (@EL2031watson) 2023年5月10日

7月

OpenParallelGripperの内部で使用するボードをOpenRB-150に変更し内部がシンプルになった

自作グリッパー結局Atom LiteやめてOpenRB-150に変えたから、RS485→UART変換ユニットとOpenRB-150にDynamixelサーボを繋ぐだけのシンプルな構成になった。電流制御で把持力をうまく調整できるサーボなのは有り難い。

Pick and placeのデモ:https://t.co/RLoCLkX5lI pic.twitter.com/O9p1nTI1Cm
— higradom (@EL2031watson) 2023年7月11日

8月

PyBulletに入門し、UFACTORY Lite 6の動作をシミュレーションした

PyBullet入門したので、試しにLite 6で正方形のパスをなぞらせてみた。
上部の移動時、特異姿勢に近いのでパスがなぞれなかった。実機だとジョイント速度が高くなったことによる異常停止が起きそう。結局こういうパスにならないようにロボットを使うか速度を落とすしか解決策はないのかな。 pic.twitter.com/5dMMlZASpz
— higradom (@EL2031watson) 2023年8月20日

逆運動学解法のSR-Inverseを自分で実装しPyBulletでシミュレーションに使用し理解を深める

PyBulletのLite 6の逆運動学のテスト、特異点付近でパスが外れてしまっていたので、紹介いただいたSR-inverseという逆運動学プログラムを実装してPyBulletの標準のIKと比較した。SR-inverseの方が滑らかに、しかもパスをより正確に描けている。 pic.twitter.com/iPlOGvdWzI
— higradom (@EL2031watson) 2023年8月21日

PyBullet上でKUKA LBR iiwaの動作シミュレーションを試す

PyBulletでKUKA LBR iiwaのシミュレーションでうまくパスを追従しなかった問題、単に速度が速すぎただけかもしれない。ゆっくりにしたら綺麗にパスに追従してくれた。
あと四角形の頂点は丸めないと加減速がロボットには厳しいかも。 pic.twitter.com/hfM7WN9SEk
— higradom (@EL2031watson) 2023年8月27日

PyBullet上のシミュレーション動作とUFACTORY Lite 6実機を同時に動かす

Lite 6のPyBulletシミュレーションと実機を自前実装のIKで同時に動かせた。 pic.twitter.com/EsCAbJ9vtW
— higradom (@EL2031watson) 2023年8月30日

Lite 6の4軸目と6軸目が平行になったいわゆるWrist Singularityの状態で本来は力が出せない方向に動作指示しても少しの経路乖離でなんとか動かせた。どうしても方向変更時のジョイントのスピードは上がってしまうが、パラメータ調整しても結局経路乖離の度合いとのトレードオフになりそうだった。 pic.twitter.com/nQ8ph0qEGu
— higradom (@EL2031watson) 2023年8月31日

9月

雲行きが怪しいと噂されたFranka Emikaのシミュレーションをなんとなく試す

Franka Emikaの雲行きが怪しくなっているが、とりあえずPyBulletに出してみた。
xArmと同じで5軸目と7軸目が一致しないようになっていてWrist Singularityを気にする必要がなくて扱いやすいからなのか、各軸にトルクセンサー搭載なのがいいのか理由はよくわかっていないが、論文でよく見るロボット。 pic.twitter.com/4s0MhfuVhR
— higradom (@EL2031watson) 2023年9月3日

RealSense T265でUFACTORY Lite 6のTCPをシミュレーション上及び実機で操作する

RealSense T265を使ってPuBullet上でLite 6のTCPを操作するテスト。pyrealsenseの最新版ではT265が認識されなくなっていて先行き不安。USB差しただけでトラッキングできる気楽さは良い。未発売のViveの新型トラッカーがPCと直接通信可なら良いが、現状T265が6DoFトラッカーとしては一番手軽か。 pic.twitter.com/SGKj02UUSZ
— higradom (@EL2031watson) 2023年9月8日

RealSense T265でUFACTORY Lite 6を操作する実機版のテストも成功。
最後の方で、手首特異姿勢付近で4軸が大きく動いてしまった。IKは色々調整して特異姿勢付近の挙動はだいぶ安定したと思ってたが現実はなかなか厳しかった。やっぱxArmみたいな手首特異姿勢を気にしなくていいアームの方が気が楽だ。 pic.twitter.com/eG1UOwrCWg
— higradom (@EL2031watson) 2023年9月8日

RealSenseのRGB画像とロボットの姿勢から模倣学習でスプーンで緑の豆のみを拾うタスクを学習させる

RealSenseのRGB画像とロボットの姿勢から模倣学習でスプーンで緑の豆のみを拾うタスクを学習させてみた。ランダムに拾っているようにも見えるが、緑を拾うと反応が変わる気がした。1視点画像ではきついタスクかも。モデルは以下の論文参考に、流行りのTransformerを使用。https://t.co/5sI9CPVZvw pic.twitter.com/EqXJ693CXV
— higradom (@EL2031watson) 2023年9月25日

自前実装のPythonの逆運動学コードが遅いのでChatGPTを使ってC++に移植し、爆速になった

自前実装のPythonの逆運動学の計算に10ms~程度かかっていてやや長いなと思い、逆運動学部分だけC++に書き換えてpythonから呼び出す方式にしたら1msと爆速になった。ChatGPTで気軽にC++へ書き替え出来て助かる。
— higradom (@EL2031watson) 2023年9月28日

10月

Meta Quest 3を購入

最近VRとかMRからは遠ざかってたが、Meta Quest 3を購入。最後に買ったのは初代Oculus Questだったので進化をだいぶ感じた。パススルー使ってHoloLens見たいに現実空間上でメニュー操作するUIが日常使いには良さそう。あと今更かもしれないが、両手組んでもハンドトラッキング破綻しないのに感動。 pic.twitter.com/He84AzyUJ2
— higradom (@EL2031watson) 2023年10月15日

11月

OpenParallelGripperのXL-330版を公開

Lite 6などの小ペイロードのアームロボ用グリッパーOpenParallelGripperのアップデートをしました。
新版では柔らかい物体でも掴めるように電流制御対応のDynamixel XL330-M288-Tを採用しました。剛性は犠牲になりますが、3Dプリント部品を増やし薄型化・軽量化を進めました。https://t.co/kbv3em5g4M pic.twitter.com/vLsiOIRZ00
— higradom (@EL2031watson) 2023年11月4日

Bambu Lab X1-Carbon Comboを購入

3Dプリンタ結局Bambu Lab X1-Carbon Comboを購入。ただ初期不良を引いてしまったようで、初期設定付近でディスプレイが付かなくなる。中の基板交換品を送ってもらって自分で交換予定。
20万超えのプリンタを自分で修理するのはやや緊張するが新品交換だと向こうの検品後に新品発送らしく時間がかかる。 pic.twitter.com/uJObtuD1LJ
— higradom (@EL2031watson) 2023年11月10日

Bambu LabのX1Cがついに稼働開始。初期不良は基板交換で治った。取り敢えずBenchyを印刷。かなり印刷は早いが、音はうるさい。少し速度落とそうかなと思った。
完成品のクオリティは前使ってたものよりも遥かに良さそう。AMS非対応らしいがTPUを試したい。 pic.twitter.com/wEGzP9oDeL
— higradom (@EL2031watson) 2023年11月14日

前から気になっていたOSSの4指ハンドLEAP Handを作成

公開後から気になってたDynamixel を16個使った4手ハンドのLEAP Hand を作成。XC330を使用した通常版は高いのでXL330使用したLite版にした。
結構大きい。重量的にUFACTORY Lite 6には付けられなさそう。

(Kenneth Shaw, Ananye Agarwal, Deepak Pathak, BY-NC-SA 4.0)https://t.co/OsFF6V98o2 pic.twitter.com/pTKU0lmgFM
— higradom (@EL2031watson) 2023年11月17日

ソフトグリッパーをOpenParallelGripperに取り付けて実験

自作グリッパー先端にTPUで作ったソフトグリッパー爪を搭載してみた。特に何も考えずにフィーリングで設計したが、少し内側に曲がってくれた。このグリッパー爪はFESTO社のHPでFin Ray Effectで登録商標のマークついているが、構造自体は特許化されてないのか気になる。 pic.twitter.com/GGmIXRfTUP
— higradom (@EL2031watson) 2023年11月21日

第42回ロボティクス勉強会で「RealSense T265とD415とUFACTORY Lite 6で模倣学習の実験」というタイトルで発表

本日の第42回ロボティクス勉強会の資料はこちらです。
発表タイトルは「RealSense T265とD415とUFACTORY Lite 6で模倣学習の実験」でした。https://t.co/glrfe4KO65
— higradom (@EL2031watson) 2023年11月24日

SUNLUのフィラメントドライヤーFila Dryer S2を購入

https://x.com/EL2031watson/status/1729841895973470270?s=20

SUNLUのフィラメントドライヤー Fila Dryer S2を購入。TPUとかカーボン配合フィラメントとかの印刷成功率を高められるに違いない。Kickstarterで次世代バージョンのS4が先月まで受付してたみたいだが、サイズが大きくなってるのと消費電力がかなり高くなっていたのでS2でいいかなと思った。 pic.twitter.com/NDPXUSvdj3
— higradom (@EL2031watson) 2023年11月26日

Dynamixelをリーダー、Lite 6をフォロワーとするリーダーフォロワーシステㇺを自作

Dynamixelをジョイントの角度指示用のセンサーとして使用したリーダーフォロワーシステムが出来た。
既にGELLOという同じ仕組みのものがあるが、UFACTORY Lite 6用のものが無かったので自作。T265と違って特異姿勢をあまり気にしなくていいので気楽に模倣学習データ収集に使える。 pic.twitter.com/TkuevWDIBj
— higradom (@EL2031watson) 2023年11月29日

12月

Jetson Orin Nanoを購入

iREX2023見てきた。大体全部見れたと思うがやっぱりいつも見て回ると面白い。
以前AliExpressで見かけた謎のロボットとかアクチュエータの会社が結構出てて驚いた。
そしてNVIDIAのブースでJETSON ORIN NANOを買ってしまった。
以前も同じようにJETSONをイベント会場で衝動買いした気がする。 pic.twitter.com/DgjAXUGPUj
— higradom (@EL2031watson) 2023年12月1日

自作リーダーフォロワーシステムのグリッパーも連動させて、色々なタスクを試す

DynamixelとLite 6のリーダーフォロワーシステム、グリッパーの連動も無事うまく行った。公式のグリッパーは開閉の2値のみだが、自作版はModbus RTUでグリッパーの開閉の中間値を細かく扱える。ソフトグリッパーだと衝突が恐怖にならず気楽。iREXにインスパイアされてボルトのピックアンドプレイス。 pic.twitter.com/jvyTW3xIIW
— higradom (@EL2031watson) 2023年12月2日

自作グリッパーの先端をソフトグリッパーにしたバージョンで将棋の駒の成りが出来た。
ボルトもそうだったが、結構色々掴めて面白い。 pic.twitter.com/KYMhCOOtwP
— higradom (@EL2031watson) 2023年12月3日

同じグリッパーでトランプと100円玉もひっくり返せる。トランプは机との間にわずかに隙間ないときついが、中々汎用性ありそう。
グリッパーのOpen-Closeの中間を細かく扱えるとこういう難易度の比較的高そうなものもひっくり返せておもろしい。 pic.twitter.com/QCvHyGcnMs
— higradom (@EL2031watson) 2023年12月3日

ロボットアームに自作グリッパーつけて狭くて硬い箱の中に乱雑に入ってる木製の将棋の駒の取り出し、雑だけどソフトグリッパーで結構うまくいく。操作側の指の向きをグリッパーと合わせて、指で掴んでいる感覚に近づけて操作性を高めた。 pic.twitter.com/YJJEHtgQwJ
— higradom (@EL2031watson) 2023年12月4日

PLA-CFを使用してグリッパー爪を印刷

Bambu LabのX1C買った時についてきたPLA-CFでグリッパーの爪を印刷してみたが、中々綺麗な仕上がり。エンプラ系フィラメント他のも試してみたくなる。 pic.twitter.com/i9sbTqRXP4
— higradom (@EL2031watson) 2023年12月6日

PLA-CFで金属パーツを置き換えて40mmストローク版のLite 6用の自作グリッパーは200gに迫る勢い。
そしてとっくの昔にLite 6公式のグリッパー295gよりはるかに軽くなっていた。 https://t.co/hzan2cFt9h pic.twitter.com/FIrklx5pYY
— higradom (@EL2031watson) 2023年12月6日

リーダーフォロワーシステムを双腕化

Lite 6の双腕構成のリーダーフォロワーシステムで箱の中の包装されたチョコレートを、箱から出し、包装からも取り出すことに成功。5分以上かかった。アームロボットとグリッパーは想定通りの動作だが、爪の摩擦が低いせいか滑ってしまい時間がかかった。
動画は10倍速。（1倍速動画はYouTubeを参照） pic.twitter.com/4nklgoFOr3
— higradom (@EL2031watson) 2023年12月13日

Lite 6と自作グリッパーの双腕構成でスライダー付き袋の開封になんとか成功。
硬い部分がほとんどない中でスライダーを動かすのがかなり難しい。あとそもそもテーブルに置いてある袋を掴んで開ける体制に持っていくまでもなかなか苦労する。 pic.twitter.com/jWmdxskCGY
— higradom (@EL2031watson) 2023年12月15日

双腕ロボットハンドの操作、爪を改良して摩擦が結構効くようになった。
Amazon で買ったボルトセットの箱を開けて、M6ボルトを取り出すデモ。
65mmストロークではそのまま箱を掴めず、傾けないと箱が掴めない。そして青色のロックも狭い空間に少し力を加えないと開けることが出来ず面倒なタスク。 pic.twitter.com/8GnSNhVQ9N
— higradom (@EL2031watson) 2023年12月17日

双腕ロボット操作でトランプのカードを1枚箱から取り出し。改造したグリッパー爪のおかげで指先が滑りづらくなったから、比較的簡単にできるようになった。

しかし65mmストロークのグリッパーだと意外と幅が足りなくてそのまま掴めないものが多く、わざわざ回転させたり工夫が必要。 pic.twitter.com/aaYd4P4jEJ
— higradom (@EL2031watson) 2023年12月17日

ルービックキューブを双腕ロボットで回す。
ソフトグリッパーだと結構落とすので、PA6-CFで作った爪に滑り止め付けた構成。しかし55mmのキューブだと5mm-10mm程度しか余裕がない。
ROBOTIQの2F-85がよく論文で使われる理由はストローク85mmが結構現実世界で多くのものを掴めるという理由もありそう。 pic.twitter.com/SwrQ9tPiIE
— higradom (@EL2031watson) 2023年12月23日

東明テックの食品乾燥機プチマレンギminiが80℃まで出せてフィラメント2つ入れられることを発見しフィラメントドライヤーとして購入

フィラメントドライヤー、SUNLU S2を買ったがPA6-CFとかカーボン配合系フィラメントが80℃で8時間の乾燥が推奨と書いてあるので80℃出せるもの探した。

東明テックのプチマレンギminiが35-80℃で24時間まで乾燥できて、サイズがちょうどフィラメント二つ分だから購入。無駄がなく丁度よさそう。 pic.twitter.com/yyd5tRMbJn
— higradom (@EL2031watson) 2023年12月19日

PA6-CFの印刷にチャレンジ

X1CでPA6-CFのプリントにチャレンジ。
食品乾燥機で80℃で10時間乾燥させて印刷。

1枚目の左がPA6-CFで右はPLA-CF。
PA6-CFの方が黒が薄い気がする。強度は触った限り差を感じなかった。
2枚目は自作グリッパーの材料の一部をPA6-CFでプリントしたもの。密度はPLAより低く軽量化が期待できそう。 pic.twitter.com/UM87aOiX0U
— higradom (@EL2031watson) 2023年12月20日

リーダーフォロワーシステムのプログラムを改良及び机を耐荷重200kgのものに差し替えて操作が滑らかになる

双腕ロボシステム、机が揺れるので頑丈なものに交換したがそれでも揺れたので、別の理由を考えてたら単純にDynamixelの通信のbaud rateが57600bpsのままで角度取得する周期が遅くてロボットアームが加減速を繰り返してたのが原因そうだったので1Mbpsまで上げたら滑らかになり振動もかなり減った。 pic.twitter.com/29OHG0PlZC
— higradom (@EL2031watson) 2023年12月25日

双腕ロボットアームのリーダーフォロワーシステムが滑らかに動くようになったところでスライダー付き袋内の豆を皿に移すタスクに再度チャレンジ。
前より操作が上手くなったというのはあるがまあまあスムーズ。ファスナー開けるより開けた後の袋の口をうまい具合に開くのが難しい。 pic.twitter.com/WAdvAOLGy8
— higradom (@EL2031watson) 2023年12月25日

総括

相変わらずガジェットにつぎ込んだ。Bambu Lab X1-Carbon Comboは印刷スピード、印刷品質共に大幅に向上し満足。
ML-Agentsで深層強化学習に入門、自作タスクも学習させることができたが報酬設計の難しさを感じた。
多関節ロボットの逆運動学の自前実装を行い、理解が深まった。
UFACTORY Lite 6をRGB画像を使って動作生成する模倣学習にチャレンジし、ロボット実機を機械学習を使って動かすことができた。Transformerへの理解も深まった。(実装方針に関してはALOHAの論文がかなり参考になった)
Gelloというリーダーフォロワーシステムの論文を見て面白いアイデアだと思い、UFACTORY Lite 6版を自作するに至った。T265を使ったリーダーフォロワーシステムと比べて特異姿勢に気を使う必要が減り、グリッパーも操作できるようにして利便性が大幅に向上した。
突如出てきたGPT-3.5, GPT-4の驚異的な性能に日々世話になった。来年どうなるのか全く想像ができない。OpenAIのAPIを使ったロボット動作生成もそのうち試してみたい。