Mejores prácticas para desarrollar XR para aplicaciones industriales

Resumen ejecutivo

En las últimas décadas, los desarrolladores han llevado la industria al ámbito digital. Han codificado plataformas en línea donde las personas pueden comprar o vender cualquier cosa. Han creado bibliotecas abiertas que enseñan desde CAD 3D hasta fundición de mineral en bruto. Han producido herramientas de red para colaborar en optimizaciones de diseño y geometría 3D, y mucho más. Como resultado, los expertos de la industria pueden compartir y aprender cualquier cosa con solo unos pocos clics. Pero para hacerlo, aún deben conectarse a ese ámbito digital.

Esto ha llevado a la siguiente etapa de la transformación digital de la industria. En lugar de conectar el ámbito físico de la industria con el digital, los desarrolladores pretenden fusionarlos. En esencia, el ámbito digital ahora está llegando directamente al piso de producción a través de la realidad virtual (VR), la realidad aumentada (AR) y la realidad mixta (MR), que se denominan colectivamente realidad extendida (XR). Las aplicaciones actuales de la industria de estas tecnologías incluyen:

• Entrenamiento en VR en líneas de producción digitales para reducir los riesgos para las personas, los productos y la propiedad.
• Mantenimiento asistido por AR, permitiendo que las personas en la línea vean cómo los diseñadores pretenden solucionar un problema.
• Tiendas habilitadas para MR donde los clientes pueden recorrer virtualmente o probar productos antes de comprarlos.
• Las aplicaciones industriales de las tecnologías XR aún están en su infancia. Por lo tanto, los desarrolladores de la industria pueden cuestionar qué aplicaciones están disponibles.

Sin embargo, la reciente incorporación de XR a la industria ha llevado a los desarrolladores a plantear otra pregunta: ¿Cuáles son las mejores prácticas para producir estas experiencias? Eso se discutirá aquí.

Este e-book fue encargado por engineering.com.

¿Qué es XR y cómo cambiará la industria?

Aunque la mayoría de los desarrolladores saben instintivamente la diferencia entre las tecnologías XR, es mejor definirlas aquí para establecer una base:

• La realidad virtual (VR) es una experiencia completamente digital; las únicas conexiones con el mundo real son los dispositivos de entrada y visualización del usuario.
• La realidad aumentada (AR) es una mezcla suave entre el mundo físico y el reino virtual; los activos digitales, la información y los datos se superponen a los activos del mundo real.
• La realidad mixta (MR) mezcla completamente el reino digital y el mundo físico; los activos digitales interactúan con los activos del mundo real y viceversa.
• La realidad extendida (XR) abarca todo lo anterior.

"Definiría [XR] de manera amplia como la creación de experiencias inmersivas que difuminan la línea entre las realidades física y digital", coincide Seth Glaze, gerente de producto técnico senior en el equipo de industria de Unity. "Eso incluye específicamente VR, o realidad virtual, AR, realidad aumentada y luego realidad mixta."

Un ejemplo industrial de VR podría involucrar una reunión o taller digital. Aquí, empleados de todo el mundo interactúan simultáneamente con un paisaje digital y gemelos digitales de activos del mundo real. En realidad, cada empleado está usando un visor de VR y un dispositivo de entrada para interactuar con el entorno virtual y los gemelos digitales. Pero dentro del reino digital, los empleados podrían escalar los gemelos a cualquier tamaño (para inspeccionar o probar los detalles más pequeños) o simular el rendimiento de un producto en cualquier entorno.

Otra buena aplicación de VR es "entrenamiento inmersivo [ya que] a menudo es la única forma de capacitar a gran escala", dice Jerome Maurey-Delaunay, arquitecto de soluciones senior en el equipo de industria de Unity. "No puedes llevar a [los aprendices] a una planta de fabricación a la ligera. [VR] puede dar acceso a [la instalación] a [estos] empleados ... acostumbrando a las personas a los peligros [y las mejores prácticas]."

El ejemplo de mantenimiento mencionado anteriormente, sin embargo, es un buen descriptor de AR. Imagina que un ingeniero de mantenimiento está usando un casco con un accesorio similar a Google Lens. La pantalla puede notificarles que una máquina en la línea de producción necesita mantenimiento, dirigirles a dónde se encuentra la máquina, mostrarles la parte de la máquina que está rota y luego superponer un video que explique cómo arreglar esa parte.

La realidad mixta lleva el concepto de la realidad combinada de la AR un paso más allá y, al hacerlo, a menudo lo combina con elementos de VR. Imagina el ejemplo de mantenimiento de AR mencionado anteriormente. Solo que ahora, el ingeniero de mantenimiento está trabajando desde casa con dispositivos de entrada de VR y un auricular. Desde la perspectiva del ingeniero, está atravesando un paisaje digital compuesto por el gemelo digital de la línea de producción. Mientras tanto, en la línea de producción física, un robot controlado por ese ingeniero está arreglando físicamente una máquina.

Desafíos para crear experiencias industriales de XR

Con los términos de XR completamente definidos y su potencial para aplicaciones industriales claro, los desarrolladores naturalmente comenzarán a preguntarse sobre los desafíos que enfrentarán al crear estas experiencias inmersivas. Jonathan de Belle, gerente de desarrollo de software en el equipo de la industria en Unity, explica que su equipo a menudo es llamado para ayudar a los clientes a adaptar sus datos y diseños para aplicaciones de XR. Como resultado, conoce los desafíos comunes de XR que enfrentan los desarrolladores.

Él explica que el primer desafío tiende a ser que los modelos 3D del cliente son demasiado grandes para integrarse fácilmente en una experiencia digital. De Belle dice que su equipo a menudo trabaja con "modelos muy grandes y muy detallados... La cantidad de partes es enorme y cada una de esas partes es altamente detallada porque [estamos trabajando con] datos de fabricación." Esto no son datos tradicionales de videojuegos."

Un desafío relacionado pero diferente proviene del gran volumen de metadatos relacionados con modelos 3D y otros activos digitales. Ejemplos de estos datos no geométricos podrían incluir las propiedades del material de un activo. En una experiencia de XR, esos valores pueden ser extraídos y añadidos a la pantalla digital. Aunque la resistencia a la tracción de un activo no es mucha información, es probable que se extraiga de datos de propiedades de materiales que abarcan toda la instalación, lo que puede ser una gran cantidad de datos.

"También tienes los datos no visuales," coincide de Belle. "Quieres que esos datos sean accesibles dentro de la aplicación en muchos casos. Y obtener esa... información relevante también es un desafío porque hay mucha de ella."

Este volumen de datos trae otro desafío: Compatibilidad de hardware XR. No se puede predecir qué dispositivo puede tener un usuario al acceder a una experiencia XR en el mundo real. Por lo tanto, esta gran cantidad de datos debe ser transferible y compatible con numerosos dispositivos de software y hardware, incluidos CPUs, GPUs y visores heredados.

Por extensión, esto también significa que los desarrolladores enfrentan el desafío de preparar sus aplicaciones XR para el futuro. Dado que muchos dispositivos móviles, como los teléfonos, tienden a tener un cambio anual entre modelos, es igualmente importante asegurar que la experiencia XR funcione en dispositivos futuros así como en los heredados.

Otro desafío que enfrentan los diseñadores al construir modelos XR para aplicaciones industriales es que típicamente necesitan acceso a gemelos digitales, datos propietarios e información bloqueada dentro de varios silos de datos de la empresa. Este problema se agrava al tratar con datos en tiempo real. Dado que es importante que el reino digital refleje el físico, el control de versiones de activos 3D y varias otras fuentes de datos es crítico.

Mejores prácticas al crear experiencias XR

Aunque las experiencias XR serán diferentes, Unity ha demostrado que muchos de los desafíos que enfrentan los desarrolladores siguen siendo los mismos. Como resultado, la empresa ha desarrollado mejores prácticas para abordar muchos de estos desafíos.

Pregúntate a ti mismo, “¿Qué problema resuelve esta experiencia XR?”

Glaze señala que la primera y a menudo más importante mejor práctica al crear aplicaciones XR es entender y definir el caso de uso y los beneficios al inicio del desarrollo. Agregar XR a los flujos de trabajo industriales no debería ser solo una moda tecnológica. Por ejemplo, no hay beneficio en llevar cada reunión a un entorno XR cuando una videollamada puede ser suficiente. No hay necesidad de forzar experiencias inmersivas a los usuarios a menos que resuelva un problema tangible.

Al definir primero el caso de uso y el beneficio de una aplicación XR, los desarrolladores pueden usar esta información para limitar su alcance, presupuesto y tiempo de desarrollo. También les ayuda a limitar muchos de los desafíos mencionados anteriormente. Una vez que se completa esa experiencia XR inicial, los desarrolladores pueden buscar expandir su alcance o construir otra.

Las mejores experiencias XR están adaptadas al problema que se está resolviendo

Una vez que los desarrolladores entienden el problema que su experiencia XR está resolviendo, pueden adaptarla mejor a esa necesidad. Por ejemplo, si la aplicación se supone que debe:

• Ayudar a los clientes a probar productos, entonces el showroom definitivo es el ‘patio trasero’ de los clientes.
• Entrenar a los trabajadores de mantenimiento, entonces la sala de entrenamiento definitiva es su propio equipo.
• Probar diseños de productos, entonces el campo de pruebas definitivo es el entorno natural de su producto.

Por ejemplo, Glaze hace referencia a un desarrollador australiano que se centra en experiencias de entrenamiento inmersivas en VR para aplicaciones industriales. Una de estas experiencias involucró entrenar a trabajadores para reparar plataformas petroleras en alta mar. El equipo funciona 24/7 y cuesta millones de dólares detenerlo. Mientras tanto, simular escenarios de emergencia en estos activos podría ser peligroso. Por lo tanto, es difícil entrenar a los trabajadores en el equipo en el mundo real.

Para resolver este problema, el desarrollador creó gemelos digitales personalizados de equipos del mundo real y los agregó a aplicaciones XR. Durante el entrenamiento, los empleados ahora utilizan esta herramienta para practicar la resolución de problemas potenciales que pueden surgir en la realidad.

El desarrollador descubrió que no es suficiente que estas simulaciones XR modelen cualquier plataforma petrolera; necesita modelar la plataforma petrolera en la que el empleado está trabajando. De lo contrario, pueden tropezar durante un momento crucial al intentar traducir su conocimiento de entrenamiento a la configuración actual del equipo.

Usa los modelos que tienes

La industria está llena de datos, modelos y geometría 3D que se pueden utilizar dentro de aplicaciones XR. Glaze utilizó un ejemplo de una empresa que desarrolla atracciones y paseos para un parque temático. Los modelos CAD 3D de esos paseos y atracciones ya existen. Por lo tanto, se pueden usar para acelerar el desarrollo de aplicaciones XR.

Los parques temáticos son lugares muy buscados, pero no todos tienen los medios o la capacidad para visitarlos. Esto puede considerarse ingresos perdidos para el parque y una oportunidad perdida para los posibles visitantes. En cambio, el parque podría construir experiencias inmersivas utilizando sus modelos 3D para alcanzar a estos fanáticos. Ahora más personas pueden acceder a estas atracciones, desde lejos, independientemente de su ubicación física o condición. Mientras tanto, el parque crea una nueva fuente de ingresos mejorando el ROI de esas atracciones.

“Puedes aprovechar esos activos muchas veces más,” dice Glaze. “Están desactivados en ese momento desde un [punto de vista] de seguridad. No vas a incluir todo tu modelo CAD. Pero puedes reutilizar esos [modelos desactivados] para potenciar a tu equipo de ventas. … Estas [experiencias] podrían ser cosas como … pruebas virtuales, o estás haciendo un recorrido por las instalaciones que has creado utilizando estos [modelos].”

Limpiar y simplificar tus datos para trabajar en tiempo real 3D

Gran parte de los datos 3D internos a los que los desarrolladores de la industria tienen acceso vienen en forma de archivos CAD. Esto tiene sentido, ya que las herramientas CAD están diseñadas para flujos de trabajo industriales como el diseño, desarrollo y fabricación de productos. Estos flujos de trabajo requieren más información de la que se necesita, o que es compatible, con los entornos XR. Pero como afirman las mejores prácticas anteriores, estos datos CAD deberían ser utilizados. De Belle y Maurey-Delaunay explican que esta contradicción alimenta otra mejor práctica de desarrollo XR: simplificar y agilizar los datos.

“Disocia tu aplicación de tus datos, externaliza los datos,” dice Maurey-Delaunay. “Eso es realmente importante porque el próximo hardware que va a salir, podrías necesitar rehacer los datos para ajustarlos a los requisitos de hardware de esa plataforma. Si tus datos están incrustados en tu aplicación, va a crear un [montón de trabajo] para reabrir el proyecto [para ingerir los datos].”

La primera forma de hacer esto es crear sistemas de carga jerárquicos de nivel de detalle (o LODing), donde las características de un objeto 3D son variables. Esencialmente, cuando el usuario ve un objeto desde lejos, es un simple contorno del modelo 3D — incluso si ese objeto está hecho de miles de partes. A medida que los usuarios se acercan, se dibujan más detalles y se añaden más modelos a la experiencia. Eventualmente, se introduce suficiente datos en la realidad digital para que los usuarios puedan acercarse a partes individuales. De Belle se refiere a esto como un método de transmisión de polígonos a geometría 3D.

También explica que se pueden usar herramientas para extraer datos de modelos CAD para que puedan ser utilizados en un entorno más 'gamificado'. Esto tiene un beneficio adicional de proteger la propiedad intelectual (PI). Estas herramientas pueden variar cuánto de un modelo 3D se abstrae según el caso de uso de XR.

“Esto se relaciona con la primera [mejor práctica]”, dice de Belle. “Pregúntate, '¿qué estás tratando de hacer con estos datos y luego qué partes de los datos puedo eliminar?' Esto va a eliminar problemas de seguridad, [reduciendo] filtraciones de datos, pero por otro lado, va a reducir el peso total de los datos y hacer que sea mucho más fácil procesarlos para realmente llevarlos a una experiencia en tiempo real.”

Preparado para el futuro para nuevo equipo XR, fuentes de datos e integraciones

Para optimizar el ROI de una experiencia XR, los desarrolladores necesitan asegurarse de que están preparados para el futuro. Esto no solo significa que un gemelo digital dentro de estas aplicaciones debe reflejar un activo del mundo real en tiempo real, sino que también significa que la aplicación XR en sí es compatible con el hardware XR actual. Para hacer esto, los desarrolladores deben asegurarse de que sus datos se adhieran a estándares abiertos. Esto puede ser difícil ya que los estándares siempre están evolucionando y no están bien definidos para aplicaciones XR.

Para combatir esto, Maurey-Delaunay sugiere que los sistemas automatizados son vitales. “Tener inteligencia incorporada en nuestras herramientas hace una gran diferencia”, dice. “No es solo una conversión [de modelos 3D], son conversiones dinámicas que se adaptan a tu caso de uso... Un ensamblaje complejo puede ver 60 actualizaciones al día, ¿verdad? Porque hay 30 personas trabajando en él en varias partes. Así que tener esas automatizaciones es crítico.”

Comienza pequeño, luego expande

Una experiencia XR no tiene que abarcar toda una organización desde su lanzamiento. Puede, y a menudo debe, comenzar pequeño para simplificar el desarrollo, reducir desafíos y mejorar las integraciones de flujo de trabajo. Es mucho mejor hacer una aplicación XR que muestre a un ingeniero de mantenimiento cómo arreglar una parte que nunca lanzarla debido a la acumulación de características. Una vez que la experiencia ha demostrado su valía, se puede expandir a otras situaciones.

Maurey-Delaunay señala que esto una vez más se relaciona con preguntar qué va a resolver la experiencia XR, ya que esto ayuda a definir su alcance inicial. Él dice: “Se trata de encontrar esos pequeños problemas, resolverlos y luego construir sobre eso una vez que hayas demostrado el retorno de inversión para esa solución. Construyes sobre eso para abordar más y más problemas dentro de la organización.”

Cómo Unity puede ayudar a crear experiencias XR

Con la ayuda de Unity, los desarrolladores pueden construir experiencias XR industriales mientras se adhieren a las mejores prácticas y limitan los desafíos comunes.

Por ejemplo, Unity Pixyz puede ser un gran activo para los desarrolladores que buscan llevar los datos 3D de su organización a aplicaciones XR. La herramienta puede importar y convertir formatos de datos CAD, BIM, malla, nubes de puntos y muchos formatos de datos 3D, optimizarlos y gestionar los metadatos internos para hacerlos adecuados para su uso en experiencias XR. Unity también ofrece herramientas de gestión de activos, que facilitan a los desarrolladores encontrar y usar esos datos para que puedan construir experiencias inmersivas.

Como prueba, Glaze señala un ejemplo de cliente de Unity de una empresa constructora japonesa. La empresa digitalizó todos sus activos y diseños. Cualquier máquina que use o construya puede ser utilizada en cualquier experiencia XR que la empresa desee crear. Y debido a que la empresa utiliza el ecosistema de Unity, estas aplicaciones pueden ser implementadas tanto en navegadores web como en aplicaciones nativas. El ecosistema de Unity también ofreció una plataforma de extremo a extremo que agiliza la ingestión, procesamiento, preparación y gestión de los activos 3D de la empresa constructora.

“El poder de Unity es que podemos ayudarte a crear experiencias XR que funcionen en una tableta, o en el último auricular,” dice Glaze, “pero también te ayudamos a soportar tus dispositivos heredados, extendiendo tus presupuestos y la necesidad de capacitar a los empleados en nuevo equipo.”

En cuanto a otras formas en que Unity puede ayudar a los desarrolladores a producir experiencias XR, Glaze dice: “Creo que se reduce a, ¿quieres hacerlo tú mismo, o quieres tener un equipo completo en Unity ayudando a asegurarte de que eres compatible con el último dispositivo que está a punto de salir? En algunos casos, incluso tenemos acceso anticipado al hardware, lo que ayuda a nuestros usuarios a ser los primeros en implementar en la próxima gran novedad... También nos mantenemos actualizados sobre los últimos estándares abiertos. Ya sea el último proyecto de código abierto de Meta, o formatos de archivo como la descripción de escena universal (USD). Tenemos los recursos para poder seguir esos y asegurarnos de que nuestros usuarios estén lo más actualizados posible.

Unity también ofrece recursos educativos para ayudar a los desarrolladores a producir aplicaciones industriales de XR. Estos recursos incluyen capacitaciones, consultoría y foros de discusión comunitarios.