NVIDIA Isaac SDK

Cree e implemente robots con tecnología de inteligencia artificial de grado comercial. NVIDIA Isaac SDK™ es un conjunto de herramientas que incluye componentes básicos y herramientas que aceleran el desarrollo de robots que requieren una mayor percepción, navegación y funciones de manipulación habilitadas por la IA.

Comenzar



Robots con Tecnología SDK Isaac que Colaboran
en un Entorno de Fábrica Simulado




Inteligencia Artificial

El SDK presenta algoritmos acelerados por GPU y redes neuronales profundas (DNN) para la percepción y la planificación, y workflows de machine learning para el aprendizaje supervisado y reforzado.

Navegación y Manipulación

Algoritmos robóticos modulares que proporcionan detección, planificación o actuación para casos de uso de navegación y manipulación.

Simulación

La formación y las pruebas continuas en física de alta fidelidad y simulación fotorrealista acelera el desarrollo y la implementación de robot.




Plataforma de Software Enriquecida para el Desarrollo de Robots Basado en Inteligencia Artificial

El SDK incluye Isaac Engine (framework de aplicaciones), Isaac GEMs (paquetes con algoritmos robóticos de alto rendimiento), Isaac Apps (aplicaciones de referencia) e Isaac Sim (una potente plataforma de simulación). Estas herramientas y APIs aceleran el desarrollo de robots dado que facilitan la incorporación para la percepción y la navegación.



Entrega de rendimiento en tiempo real acelerado por GPU con SDK Isaac


Rendimiento de GEMS Basado en DNN

Resolución de Inferencia Jetson Xavier™ NX Frames per Second Jetson AGX Xavier™ Frames per Second
1Pose 3D: Pose de red neuronal convolucional (CNN)
+ DetectNetv2,ResNet-18
640x368 47 82
Detección de Objetos (Detect_netv2, resnet18) 640x368 120 205
Segmentación de Espacio Libre (Unet) 512x256 49 86
Todas las mediciones se realizan con el modo MAX perf y MAX Clocks. La pose 13D para la detección de objetos utilizó modelos predeterminados sin podar. Todos los DNN utilizan FP16.

Rendimiento de GEMS Sin DNN

Resolución Tiempo de Ejecución de Jetson Xavier™ NX Tiempo de Ejecución de Jetson AGX Xavier™
Superpixel 640 x 360 20.72 ms 16.89 ms
Detection AprilTag 701 x 935 17.51 ms 11.64 ms
2Localización global inicial/inicial de dos lidar 1250 x 500 (mapa binario) 6.93 s 4.57 s
3Fusión de mapas de cuadrícula evidenciales (EGM) 256 x 256 (mapa local) 8.94 ms 3.33 ms
Todas las mediciones se realizan con el modo MAX perf y MAX Clocks. La medición de la unidad de localización de 22 lidar es "localización inicial completa" (o cada vez que se pierde la localización). La unidad de medición 3EGM es la “operación de fusión única” para el mapa local 256x256x3 (valores de masa).


GEMS Destacados con Aceleración por GPU

GEMS son algoritmos robóticos de alto rendimiento.


Estimación de la Postura del Objeto 3D

Un pipeline de estimación de pose 3D actualizada que consta de detección de objetos seguida de estimación de pose 3D, y luego seguida de un refinamiento de pose utilizando imagen de profundidad.

Más Información

Localización Multilidar

El algoritmo de localización actualizado basado en lidar ahora admite una cantidad arbitraria de llidars para mejorar el rendimiento y admitir mapas más grandes.


Mapas de Cuadrícula Probatorios

El mapeo local basado en EGM proporciona una salida de fusión limpia y rápida. Todas las aplicaciones de navegación Isaac SDK aprovechan EGM.

Más Información


Ver más Isaac SDK GEMS a continuación



Caso de Uso Destacado: Intralogística Basada en IA

Las fábricas, almacenes y centros de distribución son entornos muy dinámicos. Los robots que mueven productos y piezas en entornos en constante cambio deben ser flexibles y adaptables. SDK Isaac proporciona información clave basada en inteligencia artificial, localización y planificación de manipulación GEMS que permite a los desarrolladores de robots construir los robots para el desafío intralogístico del mañana.

Ver Presentación de BWW sobre Intralogística con Isaac


Desarrollo de Robot Basado en Simulación

Desarrollar, probar e implementar robots es un proceso lento y costoso. Aprovechar un enfoque de simulación puede reducir en gran medida el tiempo y los gastos de desarrollo de un nuevo robot. Isaac Sim, que se basa en la plataforma NVIDIA Omniverse, aprovecha la tecnología GPU para ofrecer una física realista y un fotorrealismo convincente en la simulación. Además, Isaac Sim conecta fácilmente el cerebro del robot al mundo simulado.

Vea la presentación de BMW sobre el Primer Enfoque de Simulación para el Desarrollo


Agregue IA a las Plataformas de Robots Existentes

Muchos fabricantes de robots tienen inversiones significativas en sus pilas de software de robots. Pero enfrentan el desafío de actualizar el robot con nuevas características que recientemente han sido habilitadas por los avances en las tecnologías de IA. Las capacidades de ROS BRIDGE compatibles con la versión 2020.2 del SDK de Isaac permiten a los desarrolladores agregar GEMS acelerados por GPU como estimación de pose 3D a sus sistemas basados en ROS.

Lea el blog sobre cómo usar Isaac y ROS juntos




Socios del SDK de Isaac

Los socios del SDK Isaac ofrecen controladores que se integran a la perfección con SDK Isaac. Puede encontrar una lista completa de controladores aquí. Puede encontrar una vista completa del ecosistema de máquinas autónomas de NVIDIA aquí.





Testimonios

“BMW Group está comprometido con el poder de elección para nuestros clientes: personalización de diversas funciones en diversos vehículos para diversos clientes. La fabricación de automóviles de alta calidad y altamente personalizados, en varios modelos, con mayor volumen, en una línea de fábrica, requiere soluciones informáticas avanzadas de principio a fin. Nuestra colaboración con NVIDIA nos permite desarrollar hoy la logística del futuro de la fábrica y, en última instancia, deleitar a los clientes de BMW Group en todo el mundo.”

— BMW Group

“La Agencia de Tecnología del Gobierno de Singapur desarrolló capacidades adicionales para el robot de patas ‘Spot’ de Boston Dynamics que nos permitió implementarlo para respaldar operaciones de distanciamiento seguro en un parque público en Singapur. Nuestro proyecto incluyó algoritmos basados en inteligencia artificial como Visual SLAM que se ejecuta en la plataforma NVIDIA Jetson para aumentar la autonomía del robot y su capacidad para adaptarse a nuevos entornos; también aprovechamos el SDK de NVIDIA Isaac para la navegación autónoma del robot 'Spot'.”

— Agencia de Tecnología del Gobierno de Singapur



Vista Detallada de la Plataforma Isaac


Isaac Engine es un framework de software para crear fácilmente aplicaciones robóticas modulares. Permite el procesamiento de datos de alto rendimiento y deep learning para robots inteligentes. Las aplicaciones de robótica desarrolladas en Isaac Robot Engine pueden ejecutarse sin problemas en dispositivos periféricos como NVIDIA® Jetson AGX Xavier™ y NVIDIA® Jetson Nano™, así como en una workstation con una GPU NVIDIA® discreta como T4.



Gráfico Computacional

Gráfico Computacional y Arquitectura de Componente de Entidad

  • Ayuda a examinar el caso de uso de robótica complejo en componentes fundamentales más pequeños y a personalizarlos mediante la configuración de componentes preempaquetados
  • Evita las copias de memoria del dispositivo host y aumenta el rendimiento de la aplicación adjuntando objetos de búfer CUDA® a los mensajes
  • Agrupa los nodos en subgráficos y combínalos eficazmente en una aplicación robótica




Herramientas para visualización, grabación, reproducción y más

  • Isaac Robot Engine también incluye un framework de visualización personalizable para crear visualizaciones para trazados variables, dibujos, superposiciones de imágenes de cámara o escenas 3D.
  • Los desarrolladores pueden utilizar Isaac WebSight para inspeccionar y depurar sus aplicaciones de robótica en un navegador web.
Aplicación "Isaac WebSight"




API de Python

  • Escribe piezas de código completamente funcionales para Isaac en Python
  • Aproveche Isaac C++ y los GEMs de alto rendimiento en tu aplicación de Python
  • Administra cualquier aplicación de Isaac desde un Jupyter Notebook


Los GEM son capacidades modulares para detección, planificación o actuación que se pueden conectar fácilmente a una aplicación robótica. Por ejemplo, los desarrolladores pueden agregar detección de obstáculos, estimación de profundidad estéreo o reconocimiento de voz humana para enriquecer sus casos de uso de robots. De manera similar, los desarrolladores pueden usar la pila de navegación Isaac, una colección de módulos para construir una aplicación de navegación robótica, para su robot.



DOPE

La estimación de pose de objetos profundos (DOPE) proporciona un modelo novedoso para estimar los seis grados de libertad (6DOF) de pose de un objeto utilizando una imagen RGB. Es adecuado para tareas de manipulación.

Más Información

Envío de la Misión del Robot NVIDIA EGX™

Una aplicación que permite a los usuarios enviar misiones a un robot y controlar varios robots a través de dependencias de misiones programables.

Más Información

Monitoreo de Localización

Un algoritmo que monitorea y valida las comunicaciones LIDAR para ayudar a recuperarse de la mala localización repetida del robot

Más Información


Odometría Inercial Visual Estéreo de Simulación

Una aplicación que permite a los usuarios visualizar un mapa 3D de un entorno con nubes de puntos construidas en línea.

Más Información

Planificador LQR con Validación de Trayectoria

Un algoritmo de planificación que evita obstáculos al verificar las trayectorias en busca de colisiones, alcance y velocidad antes de la ejecución.

Planificador Global con Zonas Semánticas

Un algoritmo de planificación global personalizable que aprovecha la información de la zona semántica como velocidad reducida, acceso restringido o movimiento unidireccional


Planificador de Movimiento Recto OTG5

Un algoritmo que proporciona un movimiento suave, predecible y directo hacia adelante y hacia atrás.

Más Información

Funciones de Costes del Planificador Personalizables

Una interfaz flexible para las funciones de costos del planificador LQR, que se puede personalizar, combinar y utilizar en diferentes robots

Certificación de Sensor de Cámara de Profundidad

Un proceso bien definido para ayudar a los socios de cámaras de profundidad de Jetson a mostrar sus cámaras en el SDK de Isaac


Fábrica del Futuro (FoF) / Aplicación de Producción Intralogística

Una aplicación que demuestra la amplitud de las capacidades de navegación y manipulación del SDK de Isaac, mostrando cómo los robots trabajan juntos para completar una misión en un entorno de fábrica simulado.

Más Información

Aplicación Python Pick-and-Place industrial

Una aplicación que muestra nuestras capacidades de manipulación de pick-and-place de SDK Isaac utilizando el brazo robótico UR10.

Más Información

Aplicación Python Pick-and-Place de apilamiento de cubos

Una aplicación que muestra nuestras capacidades de manipulación de pick-and-place de SDK Isaac utilizando el brazo robótico Franka

Más Información


Contenedor Docker de Estimación de Pose 3D

Un docker NGC™ que facilita la experimentación en simulación (Unity 3D) con Isaac Pose CNN GEM

Más Información

Aplicación Jetbot

Sigue una pelota en simulación para demostrar cómo hacer entrenamiento e inferencia en simulación para un robot de bajo costo.

Más Información

Isaac Sim proporciona las funciones esenciales para construir mundos y experimentos robóticos virtuales. Isaac Sim admite aplicaciones de navegación y manipulación a través del SDK Isaac con sensores RGB-D, lidar y de unidad de medida inercial (IMU), aleatorización de dominio, etiquetado de la verdad del terreno, segmentación y cuadros delimitadores.


Entrenamiento de Machine Learning en Simulación (Estimación de Pose)

Capacitación de la canalización de estimación de pose utilizando workflows de machine learning posible con SDK Isaac

Aleatorización de dominio

Muestra cambios aleatorios en el material (textura, color), la dirección de la luz, las condiciones de la luz, los cambios de la luz solar, la colocación de objetos/obstáculos, pisos, etc., para entrenar la percepción y el comportamiento del robot, así como para probar el comportamiento robusto en la vida real.

Más Información

Simulación de Varios Robots con Hardware in-the Loop (HIL)

Varios robots Carter operando simultáneamente en un almacén virtual. Cada uno operado por un Jetson Xavier independiente


Consulte la documentación para ver más casos de uso de simulación ›