NVIDIA Isaac SDK

Construa e implante robôs de nível comercial com tecnologia AI. O NVIDIA Isaac SDK™ é um kit de ferramentas que inclui blocos de construção e ferramentas que aceleram o desenvolvimento de robôs que exigem maior percepção, navegação e recursos de manipulação habilitados por AI.

Comece Agora



Robôs Impulsionados pelo SDK Isaac Colaborando
em um Ambiente Simulado de Fábrica




Inteligência Artificial

O SDK apresenta algoritmos acelerados por GPU e redes neurais profundas (DNNs) para percepção e planejamento e workflows de machine learning para aprendizado supervisionado e de reforço.

Navegação e Manipulação

Algoritmos robóticos modulares que oferecem detecção, planejamento ou ação para casos de uso de navegação e manipulação.

Simulação

O treinamento e os testes contínuos em física de alta fidelidade e simulação fotorrealística aceleram o desenvolvimento e a implantação do robô.




Plataforma de Software Rica para Desenvolvimento de Robôs Baseados em AI

O SDK vem com o Isaac Engine (framework de softwares), os Isaac GEMs (pacotes com algoritmos de robótica de alto desempenho), os Isaac Apps (softwares de referência) e o Isaac Sim™ (uma plataforma avançada de simulação). Essas ferramentas e APIs aceleram o desenvolvimento de robôs, facilitando a integração para percepção e navegação.



Oferecendo Desempenho em Tempo Real Acelerado por GPU usando SDK Isaac


Desempenho GEMS com Base em DNN

Resolução de Inferência Frames por Segundo Jetson Xavier™ NX Frames por Segundo Jetson AGX Xavier™
1Posição 3D: Rede Neural Convolucional (CNN)
+ DetectNetv2,ResNet-18
640x368 47 82
Detecção de Objeto (Detect_netv2, resnet18) 640x368 120 205
Segmentação Freespace (Unet) 512x256 49 86
Todas as medições feitas com o modo MAX perf e MAX Clocks. A pose 13D para detecção de objetos usou modelos padrão não ajustados. Todos os DNNs usam FP16.

Desempenho de GEMS Não-DNNe

Resolução Tempo de Execução Jetson Xavier™ NX Tempo de Execução Jetson AGX Xavier™
Superpixel 640 x 360 20.72 ms 16.89 ms
Detecção AprilTag 701 x 935 17.51 ms 11.64 ms
2Localização global inicial / inicialização de dois lidar 1250 x 500 (mapa binário) 6.93 s 4.57 s
3Fusão de mapas de grade de evidências (EGM) 256 x 256 (mapa local) 8.94 ms 3.33 ms
Todas as medições feitas com o modo MAX perf e MAX Clocks. A medição da unidade de localização 22-lidar é "localização inicial completa" (ou toda vez que a localização é perdida). A unidade de medição 3EGM é uma “operação de fusão única” para o mapa local 256x256x3 (valores de massa).


GEMS Acelerados por GPU em Destaque

GEMS são algoritmos de robótica de alto desempenho.


Estimativa de Pose de Objetos 3D

Um pipeline atualizado de estimativa de pose 3D que consiste na detecção de objetos seguida da estimativa de pose 3D e do refinamento de pose usando a imagem de profundidade.

Mais Informações

Localização com Vários Sensores LIDAR

O algoritmo de localização baseado em lidar atualizado agora suporta um número arbitrário de lidars para melhorar o desempenho e oferecer suporte a mapas maiores.


Mapas de Grade de Evidências

O mapeamento local baseado em EGM fornece uma saída de fusão limpa e rápida. Todas as aplicações de navegação Isaac SDK aproveitam o EGM.

Mais Informações


Veja mais Isaac SDK GEMS abaixo



Caso de Uso em Destaque - Intralogística Baseada em Ai

Fábricas, depósitos e centros de distribuição são ambientes muito dinâmicos. Os robôs que movem produtos e peças em ambientes em constante mudança devem ser flexíveis e adaptáveis. Isaac SDK fornece GEMS de percepção, localização e manipulação de planejamento com base em AI, permitindo que os desenvolvedores de robôs construam os robôs para o desafio intralogístico de amanhã.

Veja a Apresentação da BWW sobre Intralogística com Isaac


Desenvolvimento de Robô Baseado em Simulação

Desenvolver, testar e implantar robôs é um processo lento e caro. Aproveitar uma abordagem de simulação pode reduzir muito o tempo e as despesas de desenvolvimento de um novo robô. O Isaac Sim, que é construído em cima da plataforma NVIDIA Omniverse, aproveita a tecnologia GPU para fornecer física realista e fotorrealismo atraente em simulação. Além disso, o Isaac Sim conecta facilmente o cérebro do robô ao mundo simulado.

Veja a Apresentação da BMW sobre a Simulação da Primeira Abordagem para o Desenvolvimento


Adicionar AI a Plataformas de Robôs Existentes

Muitos fabricantes de robôs têm investimentos significativos em seus pacotes de software de robôs. Mas eles enfrentam o desafio de atualizar o robô com novos recursos que foram habilitados recentemente por avanços nas tecnologias de AI. Os recursos do ROS BRIDGE com suporte no Isaac SDK versão 2020.2 permitem que os desenvolvedores adicionem GEMS acelerados por GPU como estimativa de pose 3D aos seus sistemas baseados em ROS.

Leia o Blog sobre como usar Isaac e ROS juntos




Parceiros Isaac SDK

Os parceiros do SDK Isaac oferecem drivers que se integram perfeitamente ao SDK Isaac. Uma lista completa de drivers pode ser encontrada aqui. Uma visão completa do ecossistema de máquinas autônomas da NVIDIA pode ser encontrada aqui.





Testemunhos

“O BMW Group está comprometido com o poder de escolha de nossos clientes: personalização de diversos recursos em diversos veículos para diversos clientes. A fabricação de carros de alta qualidade e altamente customizados, em vários modelos, com maior volume, em uma linha de montagem, requer soluções de computação avançadas de ponta a ponta. Nossa colaboração com a NVIDIA nos permite desenvolver a logística do futuro da fábrica hoje e, em última instância, encantar os clientes do BMW Group em todo o mundo.”

— BMW Group

“A Agência de Tecnologia do Governo de Cingapura desenvolveu recursos adicionais para o robô de pernas ‘Spot’ da Boston Dynamics que nos permitiu implantá-lo para apoiar operações de distanciamento seguro em um parque público em Cingapura. Nosso projeto incluiu algoritmos baseados em AI, como Visual SLAM em execução na plataforma NVIDIA Jetson para aumentar a autonomia do robô e sua capacidade de se adaptar a novos ambientes; também aproveitamos o SDK NVIDIA Isaac para navegação autônoma do robô 'Spot'.”

— Agência de Tecnologia do Governo de Cingapura



Visão Detalhada da Plataforma Isaac


O Isaac Engine é um framework de softwares para criar aplicações modulares de robótica facilmente. Ele possibilita o processamento de dados de alto desempenho e o deep learning em robôs inteligentes. As aplicações de robótica desenvolvidas com o Isaac Robot Engine podem ser executadas perfeitamente em dispositivos no edge, como o NVIDIA® Jetson AGX Xavier™ e o NVIDIA® Jetson Nano™, e em uma workstation com uma GPU NVIDIA® dedicada, como a T4.



Gráfico Computacional

Gráfico Computacional e Arquitetura de Componentes de Entidades

  • O Isaac Engine ajuda a dividir casos de uso de robótica complexos em blocos menores, além de personalizá-los com a configuração de componentes predefinidos
  • Evite cópias da memória do dispositivo host e aumente o desempenho das aplicações conectando objetos do buffer do CUDA a mensagens
  • Agrupe nós em subgráficos e unifique-os com eficácia em uma aplicação de robótica




Ferramentas para visualização, gravação, reprodução e muito mais

  • O Isaac Robot Engine também vem com um framework personalizável de visualização para criar visualizações para diagramas variáveis, desenhos, sobreposições de imagens ou cenas 3D.
  • Os desenvolvedores podem usar o Isaac WebSight para inspecionar e corrigir seus softwares de robótica em um navegador da Web
Software "Isaac WebSight"




API em Python

  • Crie pequenas sequências de código totalmente funcionais com o Issac em Python
  • Use a C++ e os GEMs de alto desempenho do Isaac em aplicações desenvolvidas em Python
  • Gerencie qualquer aplicação do Isaac com um notebook Jupyter


Os GEMs são recursos modulares para detecção, planejamento ou ação que podem ser conectados facilmente a um software de robótica. Os desenvolvedores podem, por exemplo, adicionar detecção de obstáculos, estimativa de profundidade estéreo ou reconhecimento de fala humana para aprimorar seus casos de uso de robôs. Eles também podem usar no robô o pacote de navegação do Isaac, uma coleção de módulos para criar um software de navegação robótica.



DOPE

A estimativa de pose de objeto profundo (DOPE - Deep Object Pose Estimation) fornece um novo modelo para estimar a pose de seis graus de liberdade (6DOF) de um objeto usando uma imagem RGB. É adequado para tarefas de manipulação.

Mais Informações

Envio da Missão do Robô NVIDIA EGX™

Uma aplicação que permite aos usuários enviar missões a um robô e controlar vários robôs por meio de dependências de missão programáveis

Mais Informações

Monitoramento de Localização

Um algoritmo que monitora e valida as comunicações lidar para ajudar na recuperação de erros de localização repetidos do robô

Mais Informações


Simulação Estéreo Visual Inercial Odometria

Uma aplicação que permite aos usuários visualizar um mapa 3D de um ambiente com nuvens de pontos construídas online

Mais Informações

Planejador LQR com Validação de Trajetória

Um algoritmo de planejamento que evita obstáculos verificando as trajetórias de colisões, alcance e velocidade antes da execução

Planejador Global com Zonas Semânticas

Um algoritmo de planejamento global personalizável que aproveita as informações da zona semântica, como velocidade reduzida, acesso restrito ou movimento unidirecional


Planejador de Movimento Reto OTG5

Um algoritmo que fornece um movimento suave, previsível e direto para a frente e para trás

Mais Informações

Funções Personalizáveis de Custo do Planejador

Uma interface flexível para funções de custo do planejador LQR, que pode ser personalizada, combinada e usada em diferentes robôs

Certificação de Sensor de Câmera de Profundidade

Um processo bem definido para ajudar os parceiros de câmeras de profundidade Jetson a trazerem suas câmeras no SDK Isaac


Fábrica do Futuro (FoF) / Aplicação de Produção Intralogística

Uma aplicação que demonstra a amplitude dos recursos de navegação e manipulação do SDK Isaac, mostrando como os robôs trabalham juntos para completar uma missão em um ambiente de fábrica simulado.

Mais Informações

Aplicação Python Pick-and-Place Industrial

Uma aplicação que mostra nossos recursos de manipulação de pick-and-place Isaac SDK usando o braço do robô UR10.

Mais Informações

Aplicação Python do Tipo Cube Stacking Pick-and-Place

Uma aplicação que mostra nossos recursos de manipulação de pick-and-place do SDK Isaac usando o braço do robô Franka

Mais Informações


Contâiner Docker 3D Pose Estimation

Um docker NGC™ que torna mais fácil experimentar em simulação (Unity 3D) com o Isaac Pose CNN GEM

Mais Informações

Aplicação Jetbot

Siga uma bola na simulação para demonstrar como fazer treinamento e inferência na simulação para um robô de baixo custo

Mais Informações

O Isaac Sim fornece os recursos essenciais para a construção de mundos e experimentos robóticos virtuais. O Isaac Sim oferece suporte a aplicações de navegação e manipulação através do SDK Isaac com sensores RGB-D, lidar e unidade de medição inercial (IMU), randomização de domínio, rotulagem de verdade do solo, segmentação e caixas delimitadoras.


Treinamento de Machine Learning em Simulação (Estimativa de Pose)

Treinamento de pipeline de estimativa de pose usando workflows de machine learning possíveis com o SDK Isaac

Randomização de Domínio

Mostra mudanças aleatórias no material (textura, cor), direção da luz, condições de luz, mudanças de luz solar, colocação de objetos/obstáculos, pisos, etc., para treinar a percepção e o comportamento do robô, bem como testar o comportamento robusto na vida real

Mais Informações

Simulação de Multi Robô com Hardware in-the Loop (HIL)

Vários robôs Carter operando simultaneamente em um armazém virtual. Cada um operado por um Jetson Xavier independente


Veja a documentação para mais casos de uso de simulação ›