NVIDIA Isaac SDK
Cree e implemente robots con tecnología de inteligencia artificial de grado comercial. NVIDIA Isaac SDK™ es un conjunto de herramientas que incluye componentes básicos y herramientas que aceleran el desarrollo de robots que requieren una mayor percepción, navegación y funciones de manipulación habilitadas por la IA.
ComenzarRobots con Tecnología SDK Isaac que Colaboran
en un Entorno de Fábrica Simulado
Inteligencia Artificial
El SDK presenta algoritmos acelerados por GPU y redes neuronales profundas (DNN) para la percepción y la planificación, y workflows de machine learning para el aprendizaje supervisado y reforzado.
Navegación y Manipulación
Algoritmos robóticos modulares que proporcionan detección, planificación o actuación para casos de uso de navegación y manipulación.
Simulación
La formación y las pruebas continuas en física de alta fidelidad y simulación fotorrealista acelera el desarrollo y la implementación de robot.
Plataforma de Software Enriquecida para el Desarrollo de Robots Basado en Inteligencia Artificial
El SDK incluye Isaac Engine (framework de aplicaciones), Isaac GEMs (paquetes con algoritmos robóticos de alto rendimiento), Isaac Apps (aplicaciones de referencia) e Isaac Sim (una potente plataforma de simulación). Estas herramientas y APIs aceleran el desarrollo de robots dado que facilitan la incorporación para la percepción y la navegación.
Entrega de rendimiento en tiempo real acelerado por GPU con SDK Isaac
Rendimiento de GEMS Basado en DNN
| Resolución de Inferencia | Jetson Xavier™ NX Frames per Second | Jetson AGX Xavier™ Frames per Second | |
|---|---|---|---|
| 1Pose 3D: Pose de red neuronal convolucional (CNN) + DetectNetv2,ResNet-18 | 640x368 | 47 | 82 |
| Detección de Objetos (Detect_netv2, resnet18) | 640x368 | 120 | 205 |
| Segmentación de Espacio Libre (Unet) | 512x256 | 49 | 86 |
Rendimiento de GEMS Sin DNN
| Resolución | Tiempo de Ejecución de Jetson Xavier™ NX | Tiempo de Ejecución de Jetson AGX Xavier™ | |
|---|---|---|---|
| Superpixel | 640 x 360 | 20.72 ms | 16.89 ms |
| Detection AprilTag | 701 x 935 | 17.51 ms | 11.64 ms |
| 2Localización global inicial/inicial de dos lidar | 1250 x 500 (mapa binario) | 6.93 s | 4.57 s |
| 3Fusión de mapas de cuadrícula evidenciales (EGM) | 256 x 256 (mapa local) | 8.94 ms | 3.33 ms |
GEMS Destacados con Aceleración por GPU
GEMS son algoritmos robóticos de alto rendimiento.
Localización Multilidar
Caso de Uso Destacado: Intralogística Basada en IA
Las fábricas, almacenes y centros de distribución son entornos muy dinámicos. Los robots que mueven productos y piezas en entornos en constante cambio deben ser flexibles y adaptables. SDK Isaac proporciona información clave basada en inteligencia artificial, localización y planificación de manipulación GEMS que permite a los desarrolladores de robots construir los robots para el desafío intralogístico del mañana.
Desarrollo de Robot Basado en Simulación
Desarrollar, probar e implementar robots es un proceso lento y costoso. Aprovechar un enfoque de simulación puede reducir en gran medida el tiempo y los gastos de desarrollo de un nuevo robot. Isaac Sim, que se basa en la plataforma NVIDIA Omniverse, aprovecha la tecnología GPU para ofrecer una física realista y un fotorrealismo convincente en la simulación. Además, Isaac Sim conecta fácilmente el cerebro del robot al mundo simulado.
Vea la presentación de BMW sobre el Primer Enfoque de Simulación para el Desarrollo
Agregue IA a las Plataformas de Robots Existentes
Muchos fabricantes de robots tienen inversiones significativas en sus pilas de software de robots. Pero enfrentan el desafío de actualizar el robot con nuevas características que recientemente han sido habilitadas por los avances en las tecnologías de IA. Las capacidades de ROS BRIDGE compatibles con la versión 2020.2 del SDK de Isaac permiten a los desarrolladores agregar GEMS acelerados por GPU como estimación de pose 3D a sus sistemas basados en ROS.
Socios del SDK de Isaac
Los socios del SDK Isaac ofrecen controladores que se integran a la perfección con SDK Isaac. Puede encontrar una lista completa de controladores aquí. Puede encontrar una vista completa del ecosistema de máquinas autónomas de NVIDIA aquí.
Testimonios
“BMW Group está comprometido con el poder de elección para nuestros clientes: personalización de diversas funciones en diversos vehículos para diversos clientes. La fabricación de automóviles de alta calidad y altamente personalizados, en varios modelos, con mayor volumen, en una línea de fábrica, requiere soluciones informáticas avanzadas de principio a fin. Nuestra colaboración con NVIDIA nos permite desarrollar hoy la logística del futuro de la fábrica y, en última instancia, deleitar a los clientes de BMW Group en todo el mundo.”
— BMW Group
“La Agencia de Tecnología del Gobierno de Singapur desarrolló capacidades adicionales para el robot de patas ‘Spot’ de Boston Dynamics que nos permitió implementarlo para respaldar operaciones de distanciamiento seguro en un parque público en Singapur. Nuestro proyecto incluyó algoritmos basados en inteligencia artificial como Visual SLAM que se ejecuta en la plataforma NVIDIA Jetson para aumentar la autonomía del robot y su capacidad para adaptarse a nuevos entornos; también aprovechamos el SDK de NVIDIA Isaac para la navegación autónoma del robot 'Spot'.”
— Agencia de Tecnología del Gobierno de Singapur
Vista Detallada de la Plataforma Isaac
Isaac Engine es un framework de software para crear fácilmente aplicaciones robóticas modulares. Permite el procesamiento de datos de alto rendimiento y deep learning para robots inteligentes. Las aplicaciones de robótica desarrolladas en Isaac Robot Engine pueden ejecutarse sin problemas en dispositivos periféricos como NVIDIA® Jetson AGX Xavier™ y NVIDIA® Jetson Nano™, así como en una workstation con una GPU NVIDIA® discreta como T4.
Gráfico ComputacionalGráfico Computacional y Arquitectura de Componente de Entidad
- Ayuda a examinar el caso de uso de robótica complejo en componentes fundamentales más pequeños y a personalizarlos mediante la configuración de componentes preempaquetados
- Evita las copias de memoria del dispositivo host y aumenta el rendimiento de la aplicación adjuntando objetos de búfer CUDA® a los mensajes
- Agrupa los nodos en subgráficos y combínalos eficazmente en una aplicación robótica
Herramientas para visualización, grabación, reproducción y más
- Isaac Robot Engine también incluye un framework de visualización personalizable para crear visualizaciones para trazados variables, dibujos, superposiciones de imágenes de cámara o escenas 3D.
- Los desarrolladores pueden utilizar Isaac WebSight para inspeccionar y depurar sus aplicaciones de robótica en un navegador web.
Aplicación "Isaac WebSight"API de Python
- Escribe piezas de código completamente funcionales para Isaac en Python
- Aproveche Isaac C++ y los GEMs de alto rendimiento en tu aplicación de Python
- Administra cualquier aplicación de Isaac desde un Jupyter Notebook
Los GEM son capacidades modulares para detección, planificación o actuación que se pueden conectar fácilmente a una aplicación robótica. Por ejemplo, los desarrolladores pueden agregar detección de obstáculos, estimación de profundidad estéreo o reconocimiento de voz humana para enriquecer sus casos de uso de robots. De manera similar, los desarrolladores pueden usar la pila de navegación Isaac, una colección de módulos para construir una aplicación de navegación robótica, para su robot.
La estimación de pose de objetos profundos (DOPE) proporciona un modelo novedoso para estimar los seis grados de libertad (6DOF) de pose de un objeto utilizando una imagen RGB. Es adecuado para tareas de manipulación.
Una aplicación que permite a los usuarios enviar misiones a un robot y controlar varios robots a través de dependencias de misiones programables.
Un algoritmo que monitorea y valida las comunicaciones LIDAR para ayudar a recuperarse de la mala localización repetida del robot
Una aplicación que permite a los usuarios visualizar un mapa 3D de un entorno con nubes de puntos construidas en línea.
Un algoritmo de planificación que evita obstáculos al verificar las trayectorias en busca de colisiones, alcance y velocidad antes de la ejecución.
Un algoritmo de planificación global personalizable que aprovecha la información de la zona semántica como velocidad reducida, acceso restringido o movimiento unidireccional
Un algoritmo que proporciona un movimiento suave, predecible y directo hacia adelante y hacia atrás.
Una interfaz flexible para las funciones de costos del planificador LQR, que se puede personalizar, combinar y utilizar en diferentes robots
Un proceso bien definido para ayudar a los socios de cámaras de profundidad de Jetson a mostrar sus cámaras en el SDK de Isaac
Una aplicación que demuestra la amplitud de las capacidades de navegación y manipulación del SDK de Isaac, mostrando cómo los robots trabajan juntos para completar una misión en un entorno de fábrica simulado.
Una aplicación que muestra nuestras capacidades de manipulación de pick-and-place de SDK Isaac utilizando el brazo robótico UR10.
Una aplicación que muestra nuestras capacidades de manipulación de pick-and-place de SDK Isaac utilizando el brazo robótico Franka
Un docker NGC™ que facilita la experimentación en simulación (Unity 3D) con Isaac Pose CNN GEM
Sigue una pelota en simulación para demostrar cómo hacer entrenamiento e inferencia en simulación para un robot de bajo costo.
Isaac Sim proporciona las funciones esenciales para construir mundos y experimentos robóticos virtuales. Isaac Sim admite aplicaciones de navegación y manipulación a través del SDK Isaac con sensores RGB-D, lidar y de unidad de medida inercial (IMU), aleatorización de dominio, etiquetado de la verdad del terreno, segmentación y cuadros delimitadores.
Capacitación de la canalización de estimación de pose utilizando workflows de machine learning posible con SDK Isaac
Muestra cambios aleatorios en el material (textura, color), la dirección de la luz, las condiciones de la luz, los cambios de la luz solar, la colocación de objetos/obstáculos, pisos, etc., para entrenar la percepción y el comportamiento del robot, así como para probar el comportamiento robusto en la vida real.
Varios robots Carter operando simultáneamente en un almacén virtual. Cada uno operado por un Jetson Xavier independiente
