Tendencias21

Una nueva tecnología permite trasladar las expresiones de una cara a otra

Investigadores estadounidenses y alemanes han creado un método para transferir en tiempo real expresiones faciales grabadas en vídeo. La novedad del estudio radica en la posibilidad de trasladar esas expresiones de un rostro a otro de forma tan realista, que resulta indistinguible del vídeo real. Para lograrlo basta con un ordenador, dos cámaras especiales de captura de movimiento del cuerpo en 3D y el software que han creado, que registra cada píxel de ambas caras para después reconstruir la expresión. El sistema podría ser de utilidad en el campo de la realidad virtual y la traducción instantánea. Por Patricia Pérez

Una nueva tecnología permite trasladar las expresiones de una cara a otra

El sector de los gráficos por ordenador está cada vez más desarrollado, con avatares basados en personas reales, o incluso personajes animados de lo más realista creados completamente en un entorno sintético con las más avanzadas gráficas 3D de la industria. Sin embargo, lo que plantea un equipo de informáticos de Estados Unidos y Alemania es utilizar esa tecnología para transferir instantáneamente expresiones faciales de un rostro real a otro.

Matthias Niessner, profesor de la Universidad de Stanford especializado en superficies tridimensionales de gráficos por ordenador, se refiere al proceso como «reconstrucción facial en vivo», en un artículo publicado en The New York Times. Junto a otros compañeros de la universidad californiana y de las alemanas Max Planck Institute for Informatics y Erlangen-Nuremberg, donde estudió, han desarrollado un software que registra cada píxel de ambas caras y después transfiere la expresión.

De esta forma, la sonrisa de una persona aparece sin problema en un vídeo en directo de la cara de otra persona, aunque esta segunda no sonría. Bastará con un ordenador, dos cámaras especiales de captura de movimiento del cuerpo en 3D y el software que han creado, para tomar el control de una cara. Los resultados de la investigación se han publicado en un documento bajo el título “Transferencia de expresión en tiempo real para la reconstrucción facial” y ese el precisamente el objetivo, aunque el resultado impresiona más que la descripción.

La tecnología allana el camino a nuevas aplicaciones en el contexto de la realidad virtual y la teleconferencia. Así, se podría aplicar para mejorar el doblaje de películas -ajustando los movimientos faciales y la boca de los actores al idioma en cuestión-, hacer más realistas los vídeos de realidad virtual, crear avatares fotorrealistas para infinidad de usos o proporcionar una traducción instantánea.

Procedimiento

En los últimos años se han realizado varios estudios enfocados a la transferencia de expresiones faciales capturadas de un sujeto real para animar un personaje virtual. Sin embargo, la reconstrucción facial va un paso más allá, al trasladar las expresiones de origen a otro actor verdadero. Se trata de una tarea mucho más difícil, pues el más mínimo error en las expresiones transferidas o en la apariencia del vídeo sería percibido por el ojo humano.

Para lograr este objetivo, el software tiene que resolver desafiantes problemas algorítmicos bajo las restricciones del tiempo real. El primer paso es capturar con precisión las actuaciones faciales de los sujetos de origen y destino, usando para ello una cámara RGB-D, capaz de capturar imágenes en RGB y asociar a cada uno de los puntos tomados información de profundidad para crear el efecto tridimensional. En concreto, para esta investigación se ha utilizado la Asus Xtion Pro, aunque existen otros modelos conocidos como la Kinect de Microsoft.

Cada fotograma incluye información sobre los colores y la iluminación para reconstruir la escena. Para transferir la expresión, se calcula la diferencia entre las expresiones de origen y destino en el espacio de parámetros, y se modifican los parámetros de destino para que coincidan con las expresiones de origen. El proceso es bastante similar al utilizado por la tecnología de captura de movimiento.

El ordenador procesa la transferencia en unos 30 milisegundos, aunque algunas cámaras pueden requerir un poco más, pero seguirá siendo muy poco tiempo para que un observador humano lo perciba. Los investigadores han puesto a prueba su tecnología haciendo un seguimiento en vivo de varios actores en diferentes contextos, y el resultado es cuanto menos inquietante.

Sin embargo, también tiene algunas limitaciones. Por ejemplo, cuando se realizan movimientos de cabeza muy rápidos, puede dar lugar a fallos de seguimiento. También los entornos oscuros introducen ruido a los sensores RGB, lo que reduce la estabilidad de seguimiento temporal. Otra incidencia se produce a veces al copiar arrugas o diferencias significativas en la piel, lo que puede llevar a resultados inverosímiles. En este caso, el sistema funciona mucho mejor si la edad de los actores es similar.

Una nueva tecnología permite trasladar las expresiones de una cara a otra

Aplicaciones

La teleconferencia y la traducción instantánea son los dos campos donde esta tecnología tiene más que aportar. Precisamente Skype ha presentado ya un avance de su sistema de traducción de voz en tiempo real durante las videollamadas. Niessner asegura que, con un poco más de esfuerzo, se podría combinar esa traducción en tiempo real con la transferencia de expresiones faciales acordes. Así, si una persona de habla Inglesa estuviera hablando con un hablante de mandarín, cada uno parecería estar hablando el idioma del otro.

Los informáticos también creen que su método abre nuevas posibilidades para futuras líneas de investigación. Por ejemplo, en lugar de realizar el seguimiento del actor de origen con una cámara RGB-D, el vídeo de destino podría manipularse en base a la entrada de audio.

A pesar de todo, son conscientes de que la herramienta puede generar cierta preocupación en torno a los peligros de la alteración de la realidad visual. “Cuando aparecieron por primera vez programas como Photoshop, también había incertidumbre, pero ahora toda la industria de la publicidad gira en torno a ellos», subraya Niessner. El público ha sabido adaptarse y, además, existen técnicas para detectar cualquier alteración oculta de una imagen, algo que podría extrapolarse a la transformación en vídeo.

RedacciónT21

Hacer un comentario

RSS Lo último de Tendencias21

  • Oleada cósmica: cinco asteroides rozan la Tierra en solo cuatro días 3 junio, 2025
    Cinco rocas espaciales pasarán a millones de kilómetros de nuestro planeta en apenas cuatro días, con el 4 de junio como jornada clave. No representan peligro, pero ofrecen una oportunidad única para la ciencia.
    Redacción T21
  • Estados Unidos crea una "máquina del tiempo científica", capaz de condensar en días décadas de investigación 3 junio, 2025
    El próximo superordenador Doudna, que Estados Unidos tendrá operativo en 2026, está diseñado para ser el catalizador de una nueva era de descubrimientos, transformando la forma en que abordamos desde los misterios del cosmos hasta las complejidades de la vida misma.
    EDUARDO MARTÍNEZ DE LA FE/T21
  • Se revela una estructura oculta al borde del Sol 3 junio, 2025
    La atmósfera exterior del Sol, conocida como corona solar, ha revelado recientemente detalles asombrosos gracias a avances en óptica adaptativa y técnicas de observación de alto contraste. Un equipo internacional de científicos ha logrado capturar las imágenes más nítidas hasta la fecha de la corona solar, mostrando fenómenos como las “gotas de lluvia” solares y […]
    Redacción T21
  • Dormir mal puede estar relacionado con problemas en la audición 2 junio, 2025
    Una investigación realizada en China y otros estudios recientes sugieren que las patologías del sueño, como el insomnio, el trastorno del movimiento periódico de las extremidades y la apnea del sueño podrían estar relacionados con la pérdida auditiva.
    Pablo Javier Piacente / T21
  • Un tatuaje electrónico puede leer los niveles de estrés 2 junio, 2025
    Un nuevo tatuaje electrónico portátil y ultradelgado que se coloca en la frente de forma no invasiva monitorea de manera inalámbrica la actividad cerebral, rastrea la carga cognitiva en tiempo real y potencialmente predice la fatiga mental y el estrés antes que se haga evidente.
    Pablo Javier Piacente / T21
  • ¿El próximo Einstein será un algoritmo? Nace la primera científica artificial que genera conocimiento 2 junio, 2025
    Una inteligencia artificial ha concebido, ejecutado y escrito una investigación original que ha sido aceptada en ACL 2025, uno de los foros científicos más prestigiosos del mundo. Zochi es la primera científica artificial reconocida por la élite.
    EDUARDO MARTÍNEZ DE LA FE/T21
  • Crean un "hormigón viviente" que se repara a sí mismo 2 junio, 2025
    Un equipo de investigadores ha desarrollado un tipo de concreto que puede curarse a sí mismo aprovechando el poder del liquen sintético. Mejora notablemente intentos anteriores de producir hormigón "vivo" hecho con bacterias, ya que el nuevo material logra ser completamente autosuficiente.
    Redacción T21
  • El eco cuántico del cerebro: ¿estamos entrelazados con nuestros pensamientos? 2 junio, 2025
    El entrelazamiento cuántico, la "acción fantasmal a distancia" que tanto intrigó a Einstein, podría no ser solo una rareza del microcosmos, sino que tendría un eco medible en los procesos cognitivos inconscientes mediante un aparente fenómeno “supercuántico”.
    EDUARDO MARTÍNEZ DE LA FE/T21
  • Un enorme desierto en Asia se está transformando en un vergel gracias al cambio climático 1 junio, 2025
    Los hallazgos de un nuevo estudio muestran que la ecologización del desierto de Thar ha sido impulsada principalmente por más lluvias durante las temporadas de monzones de verano, un aumento del 64% en las precipitaciones en general por el cambio climático y, en segundo lugar, por la infraestructura de riego que lleva el agua subterránea […]
    Pablo Javier Piacente / T21
  • La NASA está observando una enorme y creciente anomalía en el campo magnético de la Tierra 31 mayo, 2025
    La NASA está haciendo un seguimiento detallado de la "abolladura" o "bache" en el campo magnético terrestre descubierta en 1961, que crece rápidamente y podría ser el preludio de una inversión geomagnética: ocurre cuando los polos magnéticos norte y sur intercambian posiciones.
    EDUARDO MARTÍNEZ DE LA FE/T21