EgoX: Anuncio de un marco de aprendizaje de manipulación cross-embodiment egocéntrico
Se ha anunciado el marco EgoX para integrar diversas experiencias de humanos, robots reales y agentes simulados.
Las políticas de manipulación generalistas pueden beneficiarse de la experiencia complementaria de humanos, robots reales y agentes simulados. Sin embargo, las diferencias en la morfología, la detección y las interfaces de control dificultan el aprendizaje efectivo a partir de sus demostraciones combinadas.
En respuesta, EgoX introduce un marco de aprendizaje cross-embodiment egocéntrico que organiza demostraciones heterogéneas a través de modalidades de observación y acción semánticamente correspondientes. EgoX realiza el preentrenamiento de un Modularized Cross-Embodiment Transformer with Embodiment Dreaming (MXT+) con esta mezcla y lo ajusta mediante demostraciones de la encarnación objetivo.
Esta noticia es un resumen. La versión completa y verificable está en la fuente original:
Leer el original en Hugging Face Papers ↗