Dar instrucciones en lenguaje natural para que un robot doble toallas, cierre cajones y cuelgue auriculares —como si se le preguntara a ChatGPT—: los desarrolladores ahora pueden, a través de una interfaz abierta, hacer que los robots ejecuten tareas en el mundo real.
El 20 de octubre, Dream Labs, fundada por un equipo de exmiembros clave de GR00T de NVIDIA, lanzó Dream API, la primera API pública mundial de modelos fundacionales para robots. Mifeng Technology proporciona a Dream-1, el modelo de acción del mundo que lo respalda, servicios de proceso completo que abarcan datos sin cuerpo, datos de robots reales, pruebas y evaluación en robots reales, apoyando el desarrollo del modelo y la verificación de viabilidad de la generalización zero-shot.
A medida que el costo del hardware robótico continúa disminuyendo, la industria necesita urgentemente un "cerebro universal" que pueda reutilizarse entre tareas y entre cuerpos, reduciendo el costo de reentrenamiento y adaptación cada vez que se cambia de robot o de tarea. Dream API abre al público las capacidades del modelo robótico en forma de API, de modo que los desarrolladores, sin necesidad de tener formación en aprendizaje automático, pueden conectar su propio robot y, mediante instrucciones en lenguaje natural, impulsarlo a ejecutar tareas. El precio de uso de Dream-1 es de 3 dólares por hora. Actualmente, más de 20 fabricantes de hardware se han sumado a la colaboración.
Dream API está respaldada por el modelo de acción del mundo (WAM) Dream-1, que aprende conjuntamente la predicción de video y la generación de acciones, y puede controlar robots en tiempo real y en bucle cerrado. Según reveló el equipo, en evaluaciones de simulación con 27 tipos de robots nunca vistos, 24 alcanzaron más de la mitad del rendimiento del cuerpo de entrenamiento YAM; en robots reales, Dream-1 puede completar tareas como doblar toallas, cerrar cajones y colgar auriculares sin necesidad de entrenamiento adicional con datos específicos del robot objetivo. Actualmente, su capacidad zero-shot entre cuerpos está orientada principalmente a robots de doble brazo con pinza paralela.
Lograr que un robot "aprenda sin muestras" en un nuevo cuerpo depende de la acumulación de datos de entrenamiento y de la verificación mediante ejecución real.
En esta colaboración, Mifeng Technology proporciona datos sin cuerpo para el preentrenamiento del modelo de acción del mundo Dream-1, apoyando al modelo en el aprendizaje de procesos operativos de distintas tareas mediante abundante información de manipulación humana e interacción con objetos; al mismo tiempo, proporciona datos de robots reales que complementan la experiencia de movimiento, operación y contacto en la ejecución real del robot. Ambos tipos de datos se complementan mutuamente y sustentan el aprendizaje de capacidades y la optimización iterativa del modelo.
Desde el suministro de datos hasta la verificación en robots reales, Mifeng ofrece además servicios de prueba y evaluación que ayudan al equipo a comprobar la viabilidad de la generalización zero-shot de Dream-1 en nuevos cuerpos. Mediante la observación de la comprensión de las instrucciones por parte del robot, el proceso de ejecución de tareas y su finalización, se evalúa si las capacidades existentes del modelo pueden transferirse a nuevos robots, se identifican problemas en la ejecución y se proporciona una base para la posterior complementación de datos, la optimización del modelo y la adaptación del cuerpo.
Como plataforma integral de servicios de datos para IA física, Mifeng ha construido un sistema de servicios de datos que abarca datos sin cuerpo, teleoperación de robots reales y simulación. En esta ocasión, al impulsar a Dream-1, conecta el suministro de datos con la verificación de ejecución, ampliando aún más la práctica de Mifeng en el servicio al desarrollo de modelos fundacionales.
En el futuro, Mifeng ampliará continuamente el suministro de datos de alta calidad, perfeccionará sus capacidades de gobernanza de datos, entrega estandarizada y evaluación en robots reales, y ofrecerá servicios de proceso completo a equipos de desarrollo de modelos, fabricantes de robots e instituciones de investigación, impulsando los modelos robóticos hacia más escenarios reales.
