日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車測試網(wǎng)

  • 公眾號

    • 汽車測試網(wǎng)

    • 在線課堂

    • 電車測試

利用 Intrinsic Flowstate 和 NVIDIA Isaac Manipulator 實(shí)現(xiàn)智能取放自動化

2024-05-16 19:40:17·  來源：NVIDIA英偉達(dá)企業(yè)解決方案  
　


NVIDIA 宣布與 Intrinsic.ai 就工業(yè)機(jī)器人任務(wù)的基礎(chǔ)技能模型學(xué)習(xí)展開合作。


工業(yè)制造中的許多拾取和放置問題仍然由人類操作員解決，為這些任務(wù)而編程機(jī)器人仍具有挑戰(zhàn)性。例如，在機(jī)器維護(hù)環(huán)境中，作為復(fù)雜的多步驟零件制造過程的一部分，協(xié)作機(jī)器人可以用來從料倉中挑選原材料零件，并將其送入數(shù)控機(jī)床或彎曲機(jī)。


這類機(jī)器人可以使用基礎(chǔ)模型進(jìn)行編程，從而實(shí)現(xiàn)基礎(chǔ)模型在物體零件、機(jī)器人形態(tài)和現(xiàn)實(shí)世界的工業(yè)環(huán)境等方面顯著的通用性。


本文介紹了使用 NVIDIA Isaac Manipulator 生成抓取姿勢和機(jī)器人運(yùn)動的工作流，首先在 NVIDIA Isaac Sim 中進(jìn)行仿真，然后在現(xiàn)實(shí)世界中使用 Intrinsic Flowstate 執(zhí)行。


感知也是通過 Flowstate 完成的，在 Flowstate 中，我們使用對象姿態(tài)估計包來獲得雜亂場景中可抓取對象的位置和方向。


在本文中，我們在一個具有挑戰(zhàn)性的智能取放應(yīng)用程序上演示了該系統(tǒng)：一個機(jī)器人在雜亂的垃圾箱中抓取金屬零件，并以精確的放置姿勢將其區(qū)分。這些薄金屬片本身很難被感知，因?yàn)橐话愕纳疃认鄼C(jī)難以處理鏡面，同時操作也有難度，因?yàn)樾枰褂梦P夾具而不是手指。


用于抓取和運(yùn)動生成的

Isaac Manipulator 


為了生成真空抓取的合成數(shù)據(jù)，我們使用了金屬片和吸盤的 CAD 模型。在仿真過程中，我們針對每個物體嘗試數(shù)千種抓取方式，并找到最優(yōu)的解決方案。

良好的吸盤需要密封并避免金屬板上出現(xiàn)的孔洞，我們還想避免金屬板在運(yùn)輸過程中的晃動，這也是在仿真中需要確保的。


圖 1. Isaac Sim 中的抓握示例


在生成了一組密集的抓取姿勢后，我們使用物體姿勢信息將其轉(zhuǎn)換為機(jī)器人框架。然后，我們使用 CUDA 加速運(yùn)動生成庫 NVIDIA cuMotion（由 cuRobo 提供支持）生成無碰撞軌跡，以移動機(jī)器人并實(shí)現(xiàn)其中一個目標(biāo)抓取姿勢。


其中一些姿勢可能在運(yùn)動學(xué)上無法實(shí)現(xiàn)，或者可能會發(fā)生碰撞，cuRobo 在規(guī)劃軌跡時會對這兩種情況進(jìn)行過濾。作為參考，cuRobo 可以在 NVIDIA RTX 40 系列顯卡上快速生成運(yùn)動計劃，僅需 30 毫秒。


在 Isaac Sim 中進(jìn)行評估 


我們首先在 Isaac Sim 中評估了工作流。仿真機(jī)器人來自配備有吸盤的定制 Kuka K10 機(jī)械臂的 CAD 文件。物體被隨機(jī)定位，以仿真現(xiàn)實(shí)世界中的垃圾箱揀選場景。


我們沒有使用物體檢測器，而是直接從仿真器中獲取物體姿態(tài)信息。我們利用了有關(guān)物體類型的地面實(shí)況信息，根據(jù)物體的初始姿態(tài)確定最佳可觸及抓手。

利用 Intrinsic Flowstate 

在現(xiàn)實(shí)世界執(zhí)行 


我們的工作流直接從仿真轉(zhuǎn)移到現(xiàn)實(shí)世界中的工作單元。實(shí)際的硬件設(shè)置包括一個外部校準(zhǔn)的頂置多攝像頭系統(tǒng)和一個配備吸盤的 Kuka K10 機(jī)械臂。


使用 Intrinsic Flowstate 中的原生對象姿態(tài)估計包來檢測片狀金屬物體的位置。然后，使用 Isaac Manipulator 來計算對象的抓取位置，并計劃一個無碰撞的軌跡來執(zhí)行抓取任務(wù)。


最后，我們通過 Flowstate 中的位置控制器在機(jī)械臂上執(zhí)行該機(jī)器人軌跡。總的來說，在演示中實(shí)現(xiàn)了大約 8 秒/次拾取的循環(huán)時間。



分享到：
 
反對 0 舉報 0 收藏 0 評論 0
滬ICP備11026917號-25