NVIDIA Isaac SDK
Construa e implante robôs de nível comercial com tecnologia AI. O NVIDIA Isaac SDK™ é um kit de ferramentas que inclui blocos de construção e ferramentas que aceleram o desenvolvimento de robôs que exigem maior percepção, navegação e recursos de manipulação habilitados por AI.
Comece AgoraRobôs Impulsionados pelo SDK Isaac Colaborando
em um Ambiente Simulado de Fábrica
Inteligência Artificial
O SDK apresenta algoritmos acelerados por GPU e redes neurais profundas (DNNs) para percepção e planejamento e workflows de machine learning para aprendizado supervisionado e de reforço.
Navegação e Manipulação
Algoritmos robóticos modulares que oferecem detecção, planejamento ou ação para casos de uso de navegação e manipulação.
Simulação
O treinamento e os testes contínuos em física de alta fidelidade e simulação fotorrealística aceleram o desenvolvimento e a implantação do robô.
Plataforma de Software Rica para Desenvolvimento de Robôs Baseados em AI
O SDK vem com o Isaac Engine (framework de softwares), os Isaac GEMs (pacotes com algoritmos de robótica de alto desempenho), os Isaac Apps (softwares de referência) e o Isaac Sim™ (uma plataforma avançada de simulação). Essas ferramentas e APIs aceleram o desenvolvimento de robôs, facilitando a integração para percepção e navegação.
Oferecendo Desempenho em Tempo Real Acelerado por GPU usando SDK Isaac
Desempenho GEMS com Base em DNN
| Resolução de Inferência | Frames por Segundo Jetson Xavier™ NX | Frames por Segundo Jetson AGX Xavier™ | |
|---|---|---|---|
| 1Posição 3D: Rede Neural Convolucional (CNN) + DetectNetv2,ResNet-18 | 640x368 | 47 | 82 |
| Detecção de Objeto (Detect_netv2, resnet18) | 640x368 | 120 | 205 |
| Segmentação Freespace (Unet) | 512x256 | 49 | 86 |
Desempenho de GEMS Não-DNNe
| Resolução | Tempo de Execução Jetson Xavier™ NX | Tempo de Execução Jetson AGX Xavier™ | |
|---|---|---|---|
| Superpixel | 640 x 360 | 20.72 ms | 16.89 ms |
| Detecção AprilTag | 701 x 935 | 17.51 ms | 11.64 ms |
| 2Localização global inicial / inicialização de dois lidar | 1250 x 500 (mapa binário) | 6.93 s | 4.57 s |
| 3Fusão de mapas de grade de evidências (EGM) | 256 x 256 (mapa local) | 8.94 ms | 3.33 ms |
GEMS Acelerados por GPU em Destaque
GEMS são algoritmos de robótica de alto desempenho.
Localização com Vários Sensores LIDAR
Caso de Uso em Destaque - Intralogística Baseada em Ai
Fábricas, depósitos e centros de distribuição são ambientes muito dinâmicos. Os robôs que movem produtos e peças em ambientes em constante mudança devem ser flexíveis e adaptáveis. Isaac SDK fornece GEMS de percepção, localização e manipulação de planejamento com base em AI, permitindo que os desenvolvedores de robôs construam os robôs para o desafio intralogístico de amanhã.
Desenvolvimento de Robô Baseado em Simulação
Desenvolver, testar e implantar robôs é um processo lento e caro. Aproveitar uma abordagem de simulação pode reduzir muito o tempo e as despesas de desenvolvimento de um novo robô. O Isaac Sim, que é construído em cima da plataforma NVIDIA Omniverse, aproveita a tecnologia GPU para fornecer física realista e fotorrealismo atraente em simulação. Além disso, o Isaac Sim conecta facilmente o cérebro do robô ao mundo simulado.
Veja a Apresentação da BMW sobre a Simulação da Primeira Abordagem para o Desenvolvimento
Adicionar AI a Plataformas de Robôs Existentes
Muitos fabricantes de robôs têm investimentos significativos em seus pacotes de software de robôs. Mas eles enfrentam o desafio de atualizar o robô com novos recursos que foram habilitados recentemente por avanços nas tecnologias de AI. Os recursos do ROS BRIDGE com suporte no Isaac SDK versão 2020.2 permitem que os desenvolvedores adicionem GEMS acelerados por GPU como estimativa de pose 3D aos seus sistemas baseados em ROS.
Parceiros Isaac SDK
Os parceiros do SDK Isaac oferecem drivers que se integram perfeitamente ao SDK Isaac. Uma lista completa de drivers pode ser encontrada aqui. Uma visão completa do ecossistema de máquinas autônomas da NVIDIA pode ser encontrada aqui.
Testemunhos
“O BMW Group está comprometido com o poder de escolha de nossos clientes: personalização de diversos recursos em diversos veículos para diversos clientes. A fabricação de carros de alta qualidade e altamente customizados, em vários modelos, com maior volume, em uma linha de montagem, requer soluções de computação avançadas de ponta a ponta. Nossa colaboração com a NVIDIA nos permite desenvolver a logística do futuro da fábrica hoje e, em última instância, encantar os clientes do BMW Group em todo o mundo.”
— BMW Group
“A Agência de Tecnologia do Governo de Cingapura desenvolveu recursos adicionais para o robô de pernas ‘Spot’ da Boston Dynamics que nos permitiu implantá-lo para apoiar operações de distanciamento seguro em um parque público em Cingapura. Nosso projeto incluiu algoritmos baseados em AI, como Visual SLAM em execução na plataforma NVIDIA Jetson para aumentar a autonomia do robô e sua capacidade de se adaptar a novos ambientes; também aproveitamos o SDK NVIDIA Isaac para navegação autônoma do robô 'Spot'.”
— Agência de Tecnologia do Governo de Cingapura
Visão Detalhada da Plataforma Isaac
O Isaac Engine é um framework de softwares para criar aplicações modulares de robótica facilmente. Ele possibilita o processamento de dados de alto desempenho e o deep learning em robôs inteligentes. As aplicações de robótica desenvolvidas com o Isaac Robot Engine podem ser executadas perfeitamente em dispositivos no edge, como o NVIDIA® Jetson AGX Xavier™ e o NVIDIA® Jetson Nano™, e em uma workstation com uma GPU NVIDIA® dedicada, como a T4.
Gráfico ComputacionalGráfico Computacional e Arquitetura de Componentes de Entidades
- O Isaac Engine ajuda a dividir casos de uso de robótica complexos em blocos menores, além de personalizá-los com a configuração de componentes predefinidos
- Evite cópias da memória do dispositivo host e aumente o desempenho das aplicações conectando objetos do buffer do CUDA a mensagens
- Agrupe nós em subgráficos e unifique-os com eficácia em uma aplicação de robótica
Ferramentas para visualização, gravação, reprodução e muito mais
- O Isaac Robot Engine também vem com um framework personalizável de visualização para criar visualizações para diagramas variáveis, desenhos, sobreposições de imagens ou cenas 3D.
- Os desenvolvedores podem usar o Isaac WebSight para inspecionar e corrigir seus softwares de robótica em um navegador da Web
Software "Isaac WebSight"API em Python
- Crie pequenas sequências de código totalmente funcionais com o Issac em Python
- Use a C++ e os GEMs de alto desempenho do Isaac em aplicações desenvolvidas em Python
- Gerencie qualquer aplicação do Isaac com um notebook Jupyter
Os GEMs são recursos modulares para detecção, planejamento ou ação que podem ser conectados facilmente a um software de robótica. Os desenvolvedores podem, por exemplo, adicionar detecção de obstáculos, estimativa de profundidade estéreo ou reconhecimento de fala humana para aprimorar seus casos de uso de robôs. Eles também podem usar no robô o pacote de navegação do Isaac, uma coleção de módulos para criar um software de navegação robótica.
A estimativa de pose de objeto profundo (DOPE - Deep Object Pose Estimation) fornece um novo modelo para estimar a pose de seis graus de liberdade (6DOF) de um objeto usando uma imagem RGB. É adequado para tarefas de manipulação.
Uma aplicação que permite aos usuários enviar missões a um robô e controlar vários robôs por meio de dependências de missão programáveis
Um algoritmo que monitora e valida as comunicações lidar para ajudar na recuperação de erros de localização repetidos do robô
Uma aplicação que permite aos usuários visualizar um mapa 3D de um ambiente com nuvens de pontos construídas online
Um algoritmo de planejamento que evita obstáculos verificando as trajetórias de colisões, alcance e velocidade antes da execução
Um algoritmo de planejamento global personalizável que aproveita as informações da zona semântica, como velocidade reduzida, acesso restrito ou movimento unidirecional
Um algoritmo que fornece um movimento suave, previsível e direto para a frente e para trás
Uma interface flexível para funções de custo do planejador LQR, que pode ser personalizada, combinada e usada em diferentes robôs
Um processo bem definido para ajudar os parceiros de câmeras de profundidade Jetson a trazerem suas câmeras no SDK Isaac
Uma aplicação que demonstra a amplitude dos recursos de navegação e manipulação do SDK Isaac, mostrando como os robôs trabalham juntos para completar uma missão em um ambiente de fábrica simulado.
Uma aplicação que mostra nossos recursos de manipulação de pick-and-place Isaac SDK usando o braço do robô UR10.
Uma aplicação que mostra nossos recursos de manipulação de pick-and-place do SDK Isaac usando o braço do robô Franka
Um docker NGC™ que torna mais fácil experimentar em simulação (Unity 3D) com o Isaac Pose CNN GEM
Siga uma bola na simulação para demonstrar como fazer treinamento e inferência na simulação para um robô de baixo custo
O Isaac Sim fornece os recursos essenciais para a construção de mundos e experimentos robóticos virtuais. O Isaac Sim oferece suporte a aplicações de navegação e manipulação através do SDK Isaac com sensores RGB-D, lidar e unidade de medição inercial (IMU), randomização de domínio, rotulagem de verdade do solo, segmentação e caixas delimitadoras.
Treinamento de pipeline de estimativa de pose usando workflows de machine learning possíveis com o SDK Isaac
Mostra mudanças aleatórias no material (textura, cor), direção da luz, condições de luz, mudanças de luz solar, colocação de objetos/obstáculos, pisos, etc., para treinar a percepção e o comportamento do robô, bem como testar o comportamento robusto na vida real
Vários robôs Carter operando simultaneamente em um armazém virtual. Cada um operado por um Jetson Xavier independente
