1月
OAK-D ProとFEMTOのポイントクラウドの比較動画を作成
OAK-D ProとFEMTOというデプスセンサーを買ったので、OKA-D LiteやRealSense, Azure Kinectなどと合わせてポイントクラウドの比較動画を作りました。ちなみにZED Miniで深層学習ベースの深度推定モードと思われるNeural Modeもついでに試しました。https://t.co/RJRFETc7jm pic.twitter.com/c0abnoRo9L
— higradom (@EL2031watson) 2023年1月2日
詳細3次元点群処理を読み終える
詳細3次元点群処理を一通り読み終えた。点群処理はほとんど勉強したことがなかったので、一回読むくらいではとても消化しきれないほどの情報量だった。個人的には最近傍探索に使うkd-treeが一番印象に残った。
— higradom (@EL2031watson) 2023年1月6日
色々使えそうな情報が多かったから今後何か作る際に実践して身につけていきたい。 pic.twitter.com/h3luyD75OL
OpenParallelGripperのプロモーション用動画を作成
自作していた平行グリッパーの紹介ムービーをYouTubeで公開しました。
— higradom (@EL2031watson) 2023年1月8日
Kickstarterでよくみられる見るだけで欲しくなり次の瞬間にはバックしている魔法のようなプロモーションビデオは作れませんでしたが、最低限はまとめられたかなと思います。https://t.co/VdkDdUHJrm
ML-Agentsで深層強化学習にトライ。Google論文にあるタスク複数について成功
ML-Agentsで、Googleの論文に出てた白い円柱を動かして赤と緑ブロックの仕分けタスクを強化学習。
— higradom (@EL2031watson) 2023年1月11日
動画下のように斜め上からのRGB画像と円柱の座標のみから行動を生成。
序盤は模倣学習でデモを真似させ段々自動で最適化される。RTX3090を1枚使い6並列で約1日学習の結果。中々上手く出来て驚き。 pic.twitter.com/N0F9suiZxw
ML-Agentsで強化学習使った赤・緑ブロックの仕分けタスク、さらに12時間ぐらい学習させたら少し効率が上がった。このレベルだとキーボードでやる自分のデモだとほぼ正確さとスピードでかなわない。そろそろさらに高難易度のタスクに移行しよう。 pic.twitter.com/Dq43eO7crc
— higradom (@EL2031watson) 2023年1月12日
ML-AgentsでGoogle論文の(c)のタスクに挑戦しているがなかなか学習が進まない。黄色いブロックを「コ」の字の部分に入れるタスクだが、角に引っかかりやすく、細かい調整が必要でなかなか報酬にありつけない。最初に試した2色のブロックを仕分けるタスクよりはるかに難易度が高い。 https://t.co/4KYs8X1RwQ pic.twitter.com/20p7NGgSUa
— higradom (@EL2031watson) 2023年1月13日
ブロック挿入タスク、報酬のバグを直したら遂にかなりの確率でブロックを「コ」の字の部分に入れることができるようになった。
— higradom (@EL2031watson) 2023年1月14日
タスク成功には結構正確な円柱操作が必要だが、エージェントは下の様な斜めから見た128x128画像と位置座標のみでタスクをこなしている。強化学習の凄さを実感。 https://t.co/IPSdjR1MVU pic.twitter.com/5EdTh1Zpvv
ML-Agentsで試していたブロック挿入タスク、カメラの位置・角度・FOVと照明をランダム化して(入力画像は下側)さらに45時間ぐらい学習してタスクの成功率が95.2%(476/500)になった。
— higradom (@EL2031watson) 2023年1月19日
カメラの厳密な取付が不要というのを現実のカメラ・ロボットのシステムで適用出来たらありがたそう。 pic.twitter.com/vlah0g3Ubh
自作グリッパーをUR3に対応させる実験
自作平行グリッパー、UFACTORY Lite 6やxArmに続き、Universal RobotsのUR3でもTool I/O経由で開閉できた。手持ちのCBシリーズではRS485の線が手先に来てないようで、開閉ぐらいしか指示出来なさそうだが、e-seriesならRS485が手先のコネクタ経由で使えるので、開閉ストロークを細かく指示できそう。 pic.twitter.com/gxlEKSZnVh
— higradom (@EL2031watson) 2023年1月31日
2月
Unity ML-Agents実践ゲームプログラミングを読み終える
Unity ML-Agents実践ゲームプログラミングを一通り読み終えた。
— higradom (@EL2031watson) 2023年2月5日
4年前に初期版も買っていたが、利用先が思い付かず途中で放置してた。
今回は強化学習で手軽にロボット動かす実験したいと思い新版(v2.2対応版)を購入。
今回は電子版。ML-Agents自体も改良され使い易くなった印象を受けた。 pic.twitter.com/0vmXmYVKMO
やや出遅れたがChatGPTを試し、その性能の高さに感動する
ChatGPT遅れたが試した。簡単なGUIツールとか素早く作れて便利。
— higradom (@EL2031watson) 2023年2月11日
これは試しに作ってもらったPythonでフォルダ内の画像を一括で指定サイズに変換してくれるアプリ。要件が適切に指示できてない時等は何回か修正を指示する必要があるが、十分使える。VBAとかWebアプリも行けたので活用範囲は広そう。 pic.twitter.com/KHsNbYZ0xe
ML-Agentsで黄・青球入り容器から青を取り出すタスクを深層強化学習で行う
黄・青球入り容器から青を取り出すタスクの深層強化学習、3週間ぐらい試行錯誤して多少拾えるようになった。成功率75%程度。
— higradom (@EL2031watson) 2023年2月19日
入力はスプーンのx,y,z,rx,ry,rzとRGB画像(下)の直近6フレーム分で、出力はスプーンの次の変位という構成。貫通とか問題設定にも難ありだったが、学習も高難易度。 pic.twitter.com/nsWBfG0oMi
3月
WhisperとGPT-3.5のAPIとVOICEVOXを組み合わせて音声会話できるエージェントを実装して遊ぶ
流行に乗ってWhisper+ ChatGPT+VOICEVOX
— higradom (@EL2031watson) 2023年3月5日
でChatGPT同士に「産業用ロボットを使った遊びの提案」という題で議論してもらった。「お菓子のつかみ取りゲーム」を提案された。反射神経が要求されるゲームらしく、なかなか難しそうだが、アイデアの発掘に使えそう。https://t.co/60HXuWKvGo pic.twitter.com/GGoEjr2xdA
4年ほど使用していたCLOVA Friendsがサービス終了で使用できなくなった
朝起きてCLOVA Friendsが使えなくなっていた。昨日までに必要なBluetoothスピーカーとしての設定を忘れてたから、もう使え無さそう。分解するか。
— higradom (@EL2031watson) 2023年3月30日
2018年末あたりから使い始めて4年。
今ならWhisper+ChatGPTのAPIで自作スマートスピーカーは作れそう。4年前と比べて時代の変化を感じる。 pic.twitter.com/mK0E1VEw0j
4月
DOBOT MG400を入手
DOBOT MG400をついに入手。
— higradom (@EL2031watson) 2023年4月23日
リーチ440mmペイロード750g、4自由度。
DOBOT Magicianと迷ったけどリーチ、高速移動時の安定感等でMG400が良さそうだったので選択。
Lite 6と比べて先端が下向きしか向けられないが、重心が1軸付近かつ手先が軽いので素早く動かした時もあまり怖さがないのがよい。 pic.twitter.com/AiEUtkJMmA
5月
OpenParallelGripperを改良し、Dynamixel XL-330を採用と共に薄型・軽量化を行う
LITE 6につける自作グリッパーのサーボをDynamixelに交換するついでに薄型版も作成。掴む方向と垂直な向きの厚みが57mmから41mmに減少、重量もCNC部品点数を減らす方向に改良し250g以下に出来そう。小型化でDOBOT MG400への取付も視野に。
— higradom (@EL2031watson) 2023年5月8日
ストロークは少し減って現在は40mm程度。伸ばすことは可能。 pic.twitter.com/bhAlc5WcPF
Kickstarterで低価格7軸ロボットのLucid ONEをバック
1年前ぐらいに届いた7軸ロボAmber B1の小型廉価版Lucid ONEおよびPro版がKickstarter に出ていたので安い無印の方をバックした。
— higradom (@EL2031watson) 2023年5月10日
現在はリーチ443mmの7軸が1199ドル。ハーモニックと自社製のサイクロイド減速機のハイブリッドでコスト下げているようだ。https://t.co/EcFjy1CRMK
7月
OpenParallelGripperの内部で使用するボードをOpenRB-150に変更し内部がシンプルになった
自作グリッパー結局Atom LiteやめてOpenRB-150に変えたから、RS485→UART変換ユニットとOpenRB-150にDynamixelサーボを繋ぐだけのシンプルな構成になった。電流制御で把持力をうまく調整できるサーボなのは有り難い。
— higradom (@EL2031watson) 2023年7月11日
Pick and placeのデモ:https://t.co/RLoCLkX5lI pic.twitter.com/O9p1nTI1Cm
8月
PyBulletに入門し、UFACTORY Lite 6の動作をシミュレーションした
PyBullet入門したので、試しにLite 6で正方形のパスをなぞらせてみた。
— higradom (@EL2031watson) 2023年8月20日
上部の移動時、特異姿勢に近いのでパスがなぞれなかった。実機だとジョイント速度が高くなったことによる異常停止が起きそう。結局こういうパスにならないようにロボットを使うか速度を落とすしか解決策はないのかな。 pic.twitter.com/5dMMlZASpz
逆運動学解法のSR-Inverseを自分で実装しPyBulletでシミュレーションに使用し理解を深める
PyBulletのLite 6の逆運動学のテスト、特異点付近でパスが外れてしまっていたので、紹介いただいたSR-inverseという逆運動学プログラムを実装してPyBulletの標準のIKと比較した。SR-inverseの方が滑らかに、しかもパスをより正確に描けている。 pic.twitter.com/iPlOGvdWzI
— higradom (@EL2031watson) 2023年8月21日
PyBullet上でKUKA LBR iiwaの動作シミュレーションを試す
PyBulletでKUKA LBR iiwaのシミュレーションでうまくパスを追従しなかった問題、単に速度が速すぎただけかもしれない。ゆっくりにしたら綺麗にパスに追従してくれた。
— higradom (@EL2031watson) 2023年8月27日
あと四角形の頂点は丸めないと加減速がロボットには厳しいかも。 pic.twitter.com/hfM7WN9SEk
PyBullet上のシミュレーション動作とUFACTORY Lite 6実機を同時に動かす
Lite 6のPyBulletシミュレーションと実機を自前実装のIKで同時に動かせた。 pic.twitter.com/EsCAbJ9vtW
— higradom (@EL2031watson) 2023年8月30日
Lite 6の4軸目と6軸目が平行になったいわゆるWrist Singularityの状態で本来は力が出せない方向に動作指示しても少しの経路乖離でなんとか動かせた。どうしても方向変更時のジョイントのスピードは上がってしまうが、パラメータ調整しても結局経路乖離の度合いとのトレードオフになりそうだった。 pic.twitter.com/nQ8ph0qEGu
— higradom (@EL2031watson) 2023年8月31日
9月
雲行きが怪しいと噂されたFranka Emikaのシミュレーションをなんとなく試す
Franka Emikaの雲行きが怪しくなっているが、とりあえずPyBulletに出してみた。
— higradom (@EL2031watson) 2023年9月3日
xArmと同じで5軸目と7軸目が一致しないようになっていてWrist Singularityを気にする必要がなくて扱いやすいからなのか、各軸にトルクセンサー搭載なのがいいのか理由はよくわかっていないが、論文でよく見るロボット。 pic.twitter.com/4s0MhfuVhR
RealSense T265でUFACTORY Lite 6のTCPをシミュレーション上及び実機で操作する
RealSense T265を使ってPuBullet上でLite 6のTCPを操作するテスト。pyrealsenseの最新版ではT265が認識されなくなっていて先行き不安。USB差しただけでトラッキングできる気楽さは良い。未発売のViveの新型トラッカーがPCと直接通信可なら良いが、現状T265が6DoFトラッカーとしては一番手軽か。 pic.twitter.com/SGKj02UUSZ
— higradom (@EL2031watson) 2023年9月8日
RealSense T265でUFACTORY Lite 6を操作する実機版のテストも成功。
— higradom (@EL2031watson) 2023年9月8日
最後の方で、手首特異姿勢付近で4軸が大きく動いてしまった。IKは色々調整して特異姿勢付近の挙動はだいぶ安定したと思ってたが現実はなかなか厳しかった。やっぱxArmみたいな手首特異姿勢を気にしなくていいアームの方が気が楽だ。 pic.twitter.com/eG1UOwrCWg
RealSenseのRGB画像とロボットの姿勢から模倣学習でスプーンで緑の豆のみを拾うタスクを学習させる
RealSenseのRGB画像とロボットの姿勢から模倣学習でスプーンで緑の豆のみを拾うタスクを学習させてみた。ランダムに拾っているようにも見えるが、緑を拾うと反応が変わる気がした。1視点画像ではきついタスクかも。モデルは以下の論文参考に、流行りのTransformerを使用。https://t.co/5sI9CPVZvw pic.twitter.com/EqXJ693CXV
— higradom (@EL2031watson) 2023年9月25日
自前実装のPythonの逆運動学コードが遅いのでChatGPTを使ってC++に移植し、爆速になった
自前実装のPythonの逆運動学の計算に10ms~程度かかっていてやや長いなと思い、逆運動学部分だけC++に書き換えてpythonから呼び出す方式にしたら1msと爆速になった。ChatGPTで気軽にC++へ書き替え出来て助かる。
— higradom (@EL2031watson) 2023年9月28日
10月
Meta Quest 3を購入
最近VRとかMRからは遠ざかってたが、Meta Quest 3を購入。最後に買ったのは初代Oculus Questだったので進化をだいぶ感じた。パススルー使ってHoloLens見たいに現実空間上でメニュー操作するUIが日常使いには良さそう。あと今更かもしれないが、両手組んでもハンドトラッキング破綻しないのに感動。 pic.twitter.com/He84AzyUJ2
— higradom (@EL2031watson) 2023年10月15日
11月
OpenParallelGripperのXL-330版を公開
Lite 6などの小ペイロードのアームロボ用グリッパーOpenParallelGripperのアップデートをしました。
— higradom (@EL2031watson) 2023年11月4日
新版では柔らかい物体でも掴めるように電流制御対応のDynamixel XL330-M288-Tを採用しました。剛性は犠牲になりますが、3Dプリント部品を増やし薄型化・軽量化を進めました。https://t.co/kbv3em5g4M pic.twitter.com/vLsiOIRZ00
Bambu Lab X1-Carbon Comboを購入
3Dプリンタ結局Bambu Lab X1-Carbon Comboを購入。ただ初期不良を引いてしまったようで、初期設定付近でディスプレイが付かなくなる。中の基板交換品を送ってもらって自分で交換予定。
— higradom (@EL2031watson) 2023年11月10日
20万超えのプリンタを自分で修理するのはやや緊張するが新品交換だと向こうの検品後に新品発送らしく時間がかかる。 pic.twitter.com/uJObtuD1LJ
Bambu LabのX1Cがついに稼働開始。初期不良は基板交換で治った。取り敢えずBenchyを印刷。かなり印刷は早いが、音はうるさい。少し速度落とそうかなと思った。
— higradom (@EL2031watson) 2023年11月14日
完成品のクオリティは前使ってたものよりも遥かに良さそう。AMS非対応らしいがTPUを試したい。 pic.twitter.com/wEGzP9oDeL
前から気になっていたOSSの4指ハンドLEAP Handを作成
公開後から気になってたDynamixel を16個使った4手ハンドのLEAP Hand を作成。XC330を使用した通常版は高いのでXL330使用したLite版にした。
— higradom (@EL2031watson) 2023年11月17日
結構大きい。重量的にUFACTORY Lite 6には付けられなさそう。
(Kenneth Shaw, Ananye Agarwal, Deepak Pathak, BY-NC-SA 4.0)https://t.co/OsFF6V98o2 pic.twitter.com/pTKU0lmgFM
ソフトグリッパーをOpenParallelGripperに取り付けて実験
自作グリッパー先端にTPUで作ったソフトグリッパー爪を搭載してみた。特に何も考えずにフィーリングで設計したが、少し内側に曲がってくれた。このグリッパー爪はFESTO社のHPでFin Ray Effectで登録商標のマークついているが、構造自体は特許化されてないのか気になる。 pic.twitter.com/GGmIXRfTUP
— higradom (@EL2031watson) 2023年11月21日
第42回ロボティクス勉強会で「RealSense T265とD415とUFACTORY Lite 6で模倣学習の実験」というタイトルで発表
本日の第42回ロボティクス勉強会の資料はこちらです。
— higradom (@EL2031watson) 2023年11月24日
発表タイトルは「RealSense T265とD415とUFACTORY Lite 6で模倣学習の実験」でした。https://t.co/glrfe4KO65
SUNLUのフィラメントドライヤーFila Dryer S2を購入
https://x.com/EL2031watson/status/1729841895973470270?s=20
SUNLUのフィラメントドライヤー Fila Dryer S2を購入。TPUとかカーボン配合フィラメントとかの印刷成功率を高められるに違いない。Kickstarterで次世代バージョンのS4が先月まで受付してたみたいだが、サイズが大きくなってるのと消費電力がかなり高くなっていたのでS2でいいかなと思った。 pic.twitter.com/NDPXUSvdj3
— higradom (@EL2031watson) 2023年11月26日
Dynamixelをリーダー、Lite 6をフォロワーとするリーダーフォロワーシステㇺを自作
Dynamixelをジョイントの角度指示用のセンサーとして使用したリーダーフォロワーシステムが出来た。
— higradom (@EL2031watson) 2023年11月29日
既にGELLOという同じ仕組みのものがあるが、UFACTORY Lite 6用のものが無かったので自作。T265と違って特異姿勢をあまり気にしなくていいので気楽に模倣学習データ収集に使える。 pic.twitter.com/TkuevWDIBj
12月
Jetson Orin Nanoを購入
iREX2023見てきた。大体全部見れたと思うがやっぱりいつも見て回ると面白い。
— higradom (@EL2031watson) 2023年12月1日
以前AliExpressで見かけた謎のロボットとかアクチュエータの会社が結構出てて驚いた。
そしてNVIDIAのブースでJETSON ORIN NANOを買ってしまった。
以前も同じようにJETSONをイベント会場で衝動買いした気がする。 pic.twitter.com/DgjAXUGPUj
自作リーダーフォロワーシステムのグリッパーも連動させて、色々なタスクを試す
DynamixelとLite 6のリーダーフォロワーシステム、グリッパーの連動も無事うまく行った。公式のグリッパーは開閉の2値のみだが、自作版はModbus RTUでグリッパーの開閉の中間値を細かく扱える。ソフトグリッパーだと衝突が恐怖にならず気楽。iREXにインスパイアされてボルトのピックアンドプレイス。 pic.twitter.com/jvyTW3xIIW
— higradom (@EL2031watson) 2023年12月2日
自作グリッパーの先端をソフトグリッパーにしたバージョンで将棋の駒の成りが出来た。
— higradom (@EL2031watson) 2023年12月3日
ボルトもそうだったが、結構色々掴めて面白い。 pic.twitter.com/KYMhCOOtwP
同じグリッパーでトランプと100円玉もひっくり返せる。トランプは机との間にわずかに隙間ないときついが、中々汎用性ありそう。
— higradom (@EL2031watson) 2023年12月3日
グリッパーのOpen-Closeの中間を細かく扱えるとこういう難易度の比較的高そうなものもひっくり返せておもろしい。 pic.twitter.com/QCvHyGcnMs
ロボットアームに自作グリッパーつけて狭くて硬い箱の中に乱雑に入ってる木製の将棋の駒の取り出し、雑だけどソフトグリッパーで結構うまくいく。操作側の指の向きをグリッパーと合わせて、指で掴んでいる感覚に近づけて操作性を高めた。 pic.twitter.com/YJJEHtgQwJ
— higradom (@EL2031watson) 2023年12月4日
PLA-CFを使用してグリッパー爪を印刷
Bambu LabのX1C買った時についてきたPLA-CFでグリッパーの爪を印刷してみたが、中々綺麗な仕上がり。エンプラ系フィラメント他のも試してみたくなる。 pic.twitter.com/i9sbTqRXP4
— higradom (@EL2031watson) 2023年12月6日
PLA-CFで金属パーツを置き換えて40mmストローク版のLite 6用の自作グリッパーは200gに迫る勢い。
— higradom (@EL2031watson) 2023年12月6日
そしてとっくの昔にLite 6公式のグリッパー295gよりはるかに軽くなっていた。 https://t.co/hzan2cFt9h pic.twitter.com/FIrklx5pYY
リーダーフォロワーシステムを双腕化
Lite 6の双腕構成のリーダーフォロワーシステムで箱の中の包装されたチョコレートを、箱から出し、包装からも取り出すことに成功。5分以上かかった。アームロボットとグリッパーは想定通りの動作だが、爪の摩擦が低いせいか滑ってしまい時間がかかった。
— higradom (@EL2031watson) 2023年12月13日
動画は10倍速。(1倍速動画はYouTubeを参照) pic.twitter.com/4nklgoFOr3
Lite 6と自作グリッパーの双腕構成でスライダー付き袋の開封になんとか成功。
— higradom (@EL2031watson) 2023年12月15日
硬い部分がほとんどない中でスライダーを動かすのがかなり難しい。あとそもそもテーブルに置いてある袋を掴んで開ける体制に持っていくまでもなかなか苦労する。 pic.twitter.com/jWmdxskCGY
双腕ロボットハンドの操作、爪を改良して摩擦が結構効くようになった。
— higradom (@EL2031watson) 2023年12月17日
Amazon で買ったボルトセットの箱を開けて、M6ボルトを取り出すデモ。
65mmストロークではそのまま箱を掴めず、傾けないと箱が掴めない。そして青色のロックも狭い空間に少し力を加えないと開けることが出来ず面倒なタスク。 pic.twitter.com/8GnSNhVQ9N
双腕ロボット操作でトランプのカードを1枚箱から取り出し。改造したグリッパー爪のおかげで指先が滑りづらくなったから、比較的簡単にできるようになった。
— higradom (@EL2031watson) 2023年12月17日
しかし65mmストロークのグリッパーだと意外と幅が足りなくてそのまま掴めないものが多く、わざわざ回転させたり工夫が必要。 pic.twitter.com/aaYd4P4jEJ
ルービックキューブを双腕ロボットで回す。
— higradom (@EL2031watson) 2023年12月23日
ソフトグリッパーだと結構落とすので、PA6-CFで作った爪に滑り止め付けた構成。しかし55mmのキューブだと5mm-10mm程度しか余裕がない。
ROBOTIQの2F-85がよく論文で使われる理由はストローク85mmが結構現実世界で多くのものを掴めるという理由もありそう。 pic.twitter.com/SwrQ9tPiIE
東明テックの食品乾燥機プチマレンギminiが80℃まで出せてフィラメント2つ入れられることを発見しフィラメントドライヤーとして購入
フィラメントドライヤー、SUNLU S2を買ったがPA6-CFとかカーボン配合系フィラメントが80℃で8時間の乾燥が推奨と書いてあるので80℃出せるもの探した。
— higradom (@EL2031watson) 2023年12月19日
東明テックのプチマレンギminiが35-80℃で24時間まで乾燥できて、サイズがちょうどフィラメント二つ分だから購入。無駄がなく丁度よさそう。 pic.twitter.com/yyd5tRMbJn
PA6-CFの印刷にチャレンジ
X1CでPA6-CFのプリントにチャレンジ。
— higradom (@EL2031watson) 2023年12月20日
食品乾燥機で80℃で10時間乾燥させて印刷。
1枚目の左がPA6-CFで右はPLA-CF。
PA6-CFの方が黒が薄い気がする。強度は触った限り差を感じなかった。
2枚目は自作グリッパーの材料の一部をPA6-CFでプリントしたもの。密度はPLAより低く軽量化が期待できそう。 pic.twitter.com/UM87aOiX0U
リーダーフォロワーシステムのプログラムを改良及び机を耐荷重200kgのものに差し替えて操作が滑らかになる
双腕ロボシステム、机が揺れるので頑丈なものに交換したがそれでも揺れたので、別の理由を考えてたら単純にDynamixelの通信のbaud rateが57600bpsのままで角度取得する周期が遅くてロボットアームが加減速を繰り返してたのが原因そうだったので1Mbpsまで上げたら滑らかになり振動もかなり減った。 pic.twitter.com/29OHG0PlZC
— higradom (@EL2031watson) 2023年12月25日
双腕ロボットアームのリーダーフォロワーシステムが滑らかに動くようになったところでスライダー付き袋内の豆を皿に移すタスクに再度チャレンジ。
— higradom (@EL2031watson) 2023年12月25日
前より操作が上手くなったというのはあるがまあまあスムーズ。ファスナー開けるより開けた後の袋の口をうまい具合に開くのが難しい。 pic.twitter.com/WAdvAOLGy8
総括
- 相変わらずガジェットにつぎ込んだ。Bambu Lab X1-Carbon Comboは印刷スピード、印刷品質共に大幅に向上し満足。
- ML-Agentsで深層強化学習に入門、自作タスクも学習させることができたが報酬設計の難しさを感じた。
- 多関節ロボットの逆運動学の自前実装を行い、理解が深まった。
- UFACTORY Lite 6をRGB画像を使って動作生成する模倣学習にチャレンジし、ロボット実機を機械学習を使って動かすことができた。Transformerへの理解も深まった。(実装方針に関してはALOHAの論文がかなり参考になった)
- Gelloというリーダーフォロワーシステムの論文を見て面白いアイデアだと思い、UFACTORY Lite 6版を自作するに至った。T265を使ったリーダーフォロワーシステムと比べて特異姿勢に気を使う必要が減り、グリッパーも操作できるようにして利便性が大幅に向上した。
- 突如出てきたGPT-3.5, GPT-4の驚異的な性能に日々世話になった。来年どうなるのか全く想像ができない。OpenAIのAPIを使ったロボット動作生成もそのうち試してみたい。