Tendencias21

Una nueva tecnología permite trasladar las expresiones de una cara a otra

Investigadores estadounidenses y alemanes han creado un método para transferir en tiempo real expresiones faciales grabadas en vídeo. La novedad del estudio radica en la posibilidad de trasladar esas expresiones de un rostro a otro de forma tan realista, que resulta indistinguible del vídeo real. Para lograrlo basta con un ordenador, dos cámaras especiales de captura de movimiento del cuerpo en 3D y el software que han creado, que registra cada píxel de ambas caras para después reconstruir la expresión. El sistema podría ser de utilidad en el campo de la realidad virtual y la traducción instantánea. Por Patricia Pérez

Una nueva tecnología permite trasladar las expresiones de una cara a otra

El sector de los gráficos por ordenador está cada vez más desarrollado, con avatares basados en personas reales, o incluso personajes animados de lo más realista creados completamente en un entorno sintético con las más avanzadas gráficas 3D de la industria. Sin embargo, lo que plantea un equipo de informáticos de Estados Unidos y Alemania es utilizar esa tecnología para transferir instantáneamente expresiones faciales de un rostro real a otro.

Matthias Niessner, profesor de la Universidad de Stanford especializado en superficies tridimensionales de gráficos por ordenador, se refiere al proceso como «reconstrucción facial en vivo», en un artículo publicado en The New York Times. Junto a otros compañeros de la universidad californiana y de las alemanas Max Planck Institute for Informatics y Erlangen-Nuremberg, donde estudió, han desarrollado un software que registra cada píxel de ambas caras y después transfiere la expresión.

De esta forma, la sonrisa de una persona aparece sin problema en un vídeo en directo de la cara de otra persona, aunque esta segunda no sonría. Bastará con un ordenador, dos cámaras especiales de captura de movimiento del cuerpo en 3D y el software que han creado, para tomar el control de una cara. Los resultados de la investigación se han publicado en un documento bajo el título “Transferencia de expresión en tiempo real para la reconstrucción facial” y ese el precisamente el objetivo, aunque el resultado impresiona más que la descripción.

La tecnología allana el camino a nuevas aplicaciones en el contexto de la realidad virtual y la teleconferencia. Así, se podría aplicar para mejorar el doblaje de películas -ajustando los movimientos faciales y la boca de los actores al idioma en cuestión-, hacer más realistas los vídeos de realidad virtual, crear avatares fotorrealistas para infinidad de usos o proporcionar una traducción instantánea.

Procedimiento

En los últimos años se han realizado varios estudios enfocados a la transferencia de expresiones faciales capturadas de un sujeto real para animar un personaje virtual. Sin embargo, la reconstrucción facial va un paso más allá, al trasladar las expresiones de origen a otro actor verdadero. Se trata de una tarea mucho más difícil, pues el más mínimo error en las expresiones transferidas o en la apariencia del vídeo sería percibido por el ojo humano.

Para lograr este objetivo, el software tiene que resolver desafiantes problemas algorítmicos bajo las restricciones del tiempo real. El primer paso es capturar con precisión las actuaciones faciales de los sujetos de origen y destino, usando para ello una cámara RGB-D, capaz de capturar imágenes en RGB y asociar a cada uno de los puntos tomados información de profundidad para crear el efecto tridimensional. En concreto, para esta investigación se ha utilizado la Asus Xtion Pro, aunque existen otros modelos conocidos como la Kinect de Microsoft.

Cada fotograma incluye información sobre los colores y la iluminación para reconstruir la escena. Para transferir la expresión, se calcula la diferencia entre las expresiones de origen y destino en el espacio de parámetros, y se modifican los parámetros de destino para que coincidan con las expresiones de origen. El proceso es bastante similar al utilizado por la tecnología de captura de movimiento.

El ordenador procesa la transferencia en unos 30 milisegundos, aunque algunas cámaras pueden requerir un poco más, pero seguirá siendo muy poco tiempo para que un observador humano lo perciba. Los investigadores han puesto a prueba su tecnología haciendo un seguimiento en vivo de varios actores en diferentes contextos, y el resultado es cuanto menos inquietante.

Sin embargo, también tiene algunas limitaciones. Por ejemplo, cuando se realizan movimientos de cabeza muy rápidos, puede dar lugar a fallos de seguimiento. También los entornos oscuros introducen ruido a los sensores RGB, lo que reduce la estabilidad de seguimiento temporal. Otra incidencia se produce a veces al copiar arrugas o diferencias significativas en la piel, lo que puede llevar a resultados inverosímiles. En este caso, el sistema funciona mucho mejor si la edad de los actores es similar.

Una nueva tecnología permite trasladar las expresiones de una cara a otra

Aplicaciones

La teleconferencia y la traducción instantánea son los dos campos donde esta tecnología tiene más que aportar. Precisamente Skype ha presentado ya un avance de su sistema de traducción de voz en tiempo real durante las videollamadas. Niessner asegura que, con un poco más de esfuerzo, se podría combinar esa traducción en tiempo real con la transferencia de expresiones faciales acordes. Así, si una persona de habla Inglesa estuviera hablando con un hablante de mandarín, cada uno parecería estar hablando el idioma del otro.

Los informáticos también creen que su método abre nuevas posibilidades para futuras líneas de investigación. Por ejemplo, en lugar de realizar el seguimiento del actor de origen con una cámara RGB-D, el vídeo de destino podría manipularse en base a la entrada de audio.

A pesar de todo, son conscientes de que la herramienta puede generar cierta preocupación en torno a los peligros de la alteración de la realidad visual. “Cuando aparecieron por primera vez programas como Photoshop, también había incertidumbre, pero ahora toda la industria de la publicidad gira en torno a ellos», subraya Niessner. El público ha sabido adaptarse y, además, existen técnicas para detectar cualquier alteración oculta de una imagen, algo que podría extrapolarse a la transformación en vídeo.

RedacciónT21

Hacer un comentario

RSS Lo último de Tendencias21

  • Una corriente oceánica fundamental para el equilibrio climático podría anticipar su colapso 13 febrero, 2024
    Los científicos han descubierto una señal de advertencia clave antes que una corriente crucial del Atlántico colapse y sumerja al hemisferio norte en un verdadero caos climático: la Circulación de Vuelco Meridional del Atlántico (AMOC) genera una liberación de calor que ayuda a mantener a Europa, y también en parte a América del Norte, más […]
    Pablo Javier Piacente
  • Toda la biblioteca privada de Darwin ya está disponible en Internet 13 febrero, 2024
    La biblioteca privada de Charles Darwin ha sido completamente reconstruida y está disponible en Internet por primera vez, coincidiendo con el 215 cumpleaños del naturalista. El catálogo, de 300 páginas, contiene 7.400 títulos con un total de 13.000 volúmenes entre libros, escritos y revistas, que están al alcance de todo el mundo sin salir de […]
    Redacción T21
  • El metro de Londres implanta IA para vigilar la red subterránea 13 febrero, 2024
    El metro de Londres ha probado herramientas de vigilancia con IA en tiempo real para detectar posibles situaciones de riesgo o de conflicto y permitir al personal intervenir rápidamente. Detecta comportamientos agresivos e identifica a las personas que se cuelan sin pagar.
    Redacción T21
  • La memoria universal promete revolucionar a la informática 12 febrero, 2024
    La memoria universal podría reemplazar tanto a la RAM como al almacenamiento interno en los ordenadores de uso masivo, brindando una alternativa más rápida y más eficiente a nivel energético. Un nuevo estudio muestra un posible enfoque revolucionario de la memoria universal: empleando un nuevo material denominado GST467, los investigadores apreciaron que la memoria mejora […]
    Pablo Javier Piacente
  • Los relámpagos volcánicos habrían encendido la llama de la vida en la Tierra primitiva 12 febrero, 2024
    Cuando la Tierra era joven y salvaje, los procesos en nuestro planeta transformaron una mezcla de ingredientes en lo necesario para impulsar la vida. Para esto es crucial el nitrógeno, un nutriente esencial para formar proteínas, aminoácidos y ácidos nucleicos. Los científicos han descubierto evidencias geológicas que indican que las descargas de rayos asociadas con […]
    Pablo Javier Piacente
  • La genética tiene mucho que decir sobre el asesinato de una madre adoptiva 12 febrero, 2024
    Según la genética, el comportamiento de los hijos adoptados está mayoritariamente influido por los padres biológicos, mientras que el parecido entre padres e hijos en una familia adoptiva es muy pequeño. Además, un hijo adoptado no tiene vínculos genéticos con su madre adoptiva y puede heredar ciertas maneras de pensar de sus padres biológicos, especialmente […]
    Eduardo Costas | Catedrático de la UCM y Académico de Farmacia
  • Europa logra un récord mundial de fusión nuclear 12 febrero, 2024
    En un importante logro científico, investigadores de la instalación Joint European Torus (JET) han establecido un récord energético mundial de 69 megajulios liberados en energía de fusión sostenida y controlada. Otro impulso para el futuro reactor europeo a gran escala ITER.
    Eduardo Martínez de la Fe
  • Un árbol fosilizado hace 350 millones de años sorprende a los científicos: parece alienígena 11 febrero, 2024
    Un fósil tridimensional de árboles más antiguos que los dinosaurios revela que los bosques de hace 350 millones de años eran extraños y alienígenas. Formaban parte de un bosquecillo que fue sepultado después de un terremoto.
    Redacción T21
  • El meteorito de Berlín resultó ser un raro objeto de origen ígneo 11 febrero, 2024
    El asteroide que se desintegró sobre Berlín a mediados de enero pertenece a un tipo raro de meteorito de origen ígneo. Se compone principalmente de silicatos de magnesio, enstatita y forsterita, además casi no contiene hierro y tiene una corteza vítrea translúcida.
    Redacción T21
  • Descubren un helecho tropical que transforma sus hojas muertas en nuevas raíces 9 febrero, 2024
    Para sobrevivir en el suelo anegado y bajo en nutrientes del bosque de Quebrada Chorro, en el oeste de Panamá, una especie de helecho tropical arborescente reutiliza sus hojas muertas, convirtiéndolas en nuevas raíces. Los científicos descubrieron que el helecho reconfigura estas “hojas zombis”, invirtiendo el flujo de agua para atraer nutrientes de regreso a […]
    Pablo Javier Piacente