Tendencias21

Recrean conciertos en 3D a partir de vídeos grabados con los móviles

Científicos israelíes financiados por la UE están desarrollando una tecnología que permitirá recrear en tres dimensiones conciertos de música, a partir de los vídeos e imágenes registrados por los asistentes con sus teléfonos móviles desde distintos puntos del estadio. Aún tienen que perfeccionarla, y arreglar la cuestión de los derechos.

Recrean conciertos en 3D a partir de vídeos grabados con los móviles

¿Alguna vez ha estado en un concierto de rock y, después, ha deseado poder vivirlo otra vez exactamente igual, o incluso mejor? Esto podría ser posible pronto gracias a un proyecto de investigación financiado con fondos europeos llamado SceneNet, cuyos responsables están desarrollando una tecnología que permite combinar vídeos captados con el móvil y remitidos por distintos espectadores situados en distintos puntos de un estadio para reconstruir el espectáculo en tres dimensiones.

Chen y Nizan Sagiv tuvieron esta idea cuando se encontraban en un concierto de Depeche Mode en Tel Aviv hace cinco años. «Yo no quitaba ojo del espectáculo y, mientras tanto, Nizan contemplaba a la multitud», relata Chen, coordinadora del proyecto SceneNet, en un reportaje de Cordis.

«Llamó su atención la innumerable cantidad de luces tenues proyectadas por las pantallas de los teléfonos móviles. El público estaba grabando vídeos de la actuación. A Nizan se le ocurrió la interesante posibilidad de fusionar todos los vídeos captados por toda esa gente y elaborar un vídeo mejorado, fruto de la sinergia y posiblemente en 3D. Sopesamos la idea durante muchos meses, pero nos parecía demasiado futurista, arriesgada y complicada».

Primer año

Durante el primer año del proyecto, su equipo ha desarrollado la infraestructura móvil necesaria para los canales de transmisión de vídeo, un mecanismo para etiquetarlos y su transmisión a un servidor en la nube. También se han desarrollado herramientas básicas para crear una interfaz humano-ordenador que permitirá a los usuarios visualizar el espectáculo en 3D desde cualquier punto del estadio y modificar por sí mismos la grabación resultante.

En opinión de sus responsables, de este modo surgirán comunidades en línea que compartirán los contenidos para poder revivir todos juntos la experiencia del concierto. Con este objetivo en mente, los socios se disponen a estudiar temas de privacidad y de derechos de propiedad intelectual durante los próximos dos años del proyecto.

«Al final del primer año, adelantándonos a las previsiones, habíamos articulado el procedimiento completo de SceneNet partiendo de componentes tecnológicos punteros», asegura Chen. La creación de los algoritmos de visión artificial acelerados para móviles representa una labor pionera a nivel mundial, y por ello algunos de los más importantes fabricantes de chips siguen muy de cerca la evolución de esta iniciativa.

El proyecto plantea varios retos tecnológicos: un preprocesado en el propio dispositivo que requiere una potencia de computación inmensa; la transmisión eficaz de las grabaciones en vídeo; el desarrollo de métodos precisos y rápidos de registro entre las distintas grabaciones; y la reconstrucción tridimensional. Todas estas tareas deben ejecutarse casi en tiempo real.

«Opinamos que los distintos componentes que forman SceneNet, por ejemplo el registro de imágenes y la reconstrucción tridimensional, poseen grandes posibilidades para la computación móvil y en la nube. Así, ofrece una innovación tecnológica drástica, tanto en conjunto como en cada uno de sus componentes», añade la investigadora.

No solo conciertos

A medida que avanza el proyecto se plantea una infinidad de usos posibles del sistema. Siempre que se solventen los aspectos relacionados con la privacidad y otros derechos, esta tecnología podría utilizarse también para recrear otros acontecimientos en tres dimensiones, como noticias de última hora o deportivas, o también en los sectores del turismo y la vigilancia.

Los socios estudian la posibilidad de grabar objetos estáticos y también activos desde distintos ángulos a fin de crear instrucciones que puedan enviarse a impresoras en 3D. Su modelo de servidor en la nube para móviles podría emplearse asimismo para un sinfín de otras aplicaciones, afirman los investigadores. Pero por el momento se centran en los aficionados a la música.

«SceneNet trata sobre cámaras de móvil y visión en 3D. Gracias a la «invasión» de las cámaras de móvil y la mejora constante de su calidad, estamos rebosantes de imágenes que queremos mejorar y enseñar con gran orgullo a los demás. Se están desarrollando muchos dispositivos que «comprenden» la información visual recibida (como Google Glass), y la mayor parte de sus trabajos se fundamentan en el tratamiento de la imagen y en la visión artificial. La visión en 3D no hace sino cobrar importancia para mejorar la visualización del mundo y también para facilitar el análisis de ese mundo», explica la coordinadora.

Colaboración entre Israel y Europa

Para desarrollar el proyecto, Chen y Nizan Sagiv solicitaron asesoramiento en Iserd, la dirección de I+D para Israel y Europa, y se pusieron en contacto con el profesor Peter Maass, de la Universidad de Bremen (Alemania), y con el profesor Pierre Vandergheynst, de la École Polytechnique Fédérale (EPFL) de Lausana (Suiza), con quien Chen ya había colaborado en un proyecto anterior amparado en el Séptimo Programa Marco llamado UNLocX.

Fruto de todo ello es Scenenet, al que la Comisión Europea otorgó fondos por valor de 1,33 millones de euros y que está coordinado por la empresa de Chen y Nizan, con sede en Ra’anana, y llamada SagivTech, especializada en visión artificial y computación paralela.

SceneNet, financiado a través del programa de tecnologías futuras y emergentes (TFE), estará en marcha hasta enero de 2016 y cuenta con el concurso de cuatro socios europeos: la Universidad de Bremen, Steinbeis Innovation y European Research Services (los tres con sede en Alemania) y la EPFL (Suiza).

El proyecto supone un buen ejemplo de colaboración investigadora entre la Unión Europea e Israel. Cerca de 1.600 científicos israelíes se han beneficiado del Séptimo Programa Marco por medio de más de 800 proyectos financiados por la Comisión Europea con fondos por valor de 634 millones de euros dedicados a muy diversos campos, desde la investigación puntera y las TIC hasta la nanotecnología, pasando por la energía y la salud.

«Esta es una oportunidad de formar parte de las prósperas comunidades científica e industrial europeas y de colaborar con destacados socios académicos y empresas de Europa», reconoce Chen a modo de conclusión.

RedacciónT21

Hacer un comentario

RSS Lo último de Tendencias21

  • Ya es posible transmitir el tacto a través de Internet 26 junio, 2024
    Un nuevo estándar para la compresión y transmisión del sentido del tacto mediante Internet sienta las bases para la telecirugía, la teleconducción y nuevas experiencias de juego en línea, entre otras aplicaciones. El flamante estándar HCTI (Haptic Codecs for the Tactile Internet) es para el “tacto digital” lo que son JPEG, MP3 y MPEG para […]
    Pablo Javier Piacente
  • Las primeras muestras de la cara oculta de la Luna ya están en la Tierra 26 junio, 2024
    La cápsula de reingreso de la sonda Chang'e-6 de China, que transporta hasta dos kilogramos de materiales extraídos y perforados de la cuenca más antigua de la Luna ubicada en su lado oscuro, aterrizó este martes 25 de junio en la región de Mongolia Interior y fue rápidamente recuperada, según informó la Administración Nacional del […]
    Pablo Javier Piacente
  • La Tierra tendrá dos soles dentro de 1,3 millones de años y durante 60.000 años 26 junio, 2024
    Dentro de 1,3 millones de años, la Tierra tendrá una especie de segundo sol porque la estrella Gliese 710 se acercará a 1,1 años luz de la Tierra y la veríamos del mismo tamaño que Júpiter. Lo malo es que esa alteración cósmica puede provocar un episodio en nuestro planeta como el que acabó con […]
    Eduardo Martínez de la Fe
  • China descubre grafeno natural en la Luna 25 junio, 2024
    Investigadores chinos han descubierto recientemente grafeno natural de escasas capas por primera vez en la Luna, a partir de las muestras traídas a la Tierra por la sonda Chang'e 5. El hallazgo proporciona nuevos conocimientos sobre las actividades geológicas, la historia evolutiva y las características ambientales de la Luna.
    Pablo Javier Piacente
  • Los incendios forestales extremos se duplicaron en los últimos 20 años en todo el planeta 25 junio, 2024
    Una nueva investigación concluye que la frecuencia e intensidad de los incendios forestales extremos se ha más que duplicado en todo el mundo en las últimas dos décadas, debido al calentamiento global antropogénico y otros factores relacionados. Se trata de la primera ocasión en la cual los científicos pudieron trazar una tendencia global para los […]
    Pablo Javier Piacente
  • Detectado en el Mediterráneo el neutrino más energético del universo 25 junio, 2024
    El neutrino más potente jamás observado ha dejado su huella en las profundidades del Mediterráneo, aunque todavía se desconoce de qué rincón del universo procede. Los neutrinos cosmogénicos son los mensajeros de algunos de los eventos más cataclísmicos del cosmos.
    Eduardo Martínez de la Fe
  • La IA identifica seis formas diferentes de depresión 24 junio, 2024
    Los científicos han identificado seis formas biológicamente distintas de depresión gracias a la aplicación de la Inteligencia Artificial (IA) en estudios cerebrales. El hallazgo podría explicar por qué algunas personas no responden a los tratamientos tradicionales para la afección, como los antidepresivos y la terapia psicológica.
    Pablo Javier Piacente
  • La NASA pondrá en órbita una estrella artificial que revolucionará el estudio del Universo 24 junio, 2024
    La NASA encarará un ambicioso proyecto para colocar en órbita una estrella artificial: permitirá la calibración de telescopios a niveles previamente inalcanzables. El proyecto tiene como objetivo mejorar significativamente las mediciones de la luminosidad estelar y abordar varios otros desafíos que dificultan la astrofísica moderna.
    Pablo Javier Piacente
  • Los macacos nos enseñan cómo sobrevivir a un desastre natural 24 junio, 2024
    Los macacos de la isla caribeña de Puerto Rico se volvieron más tolerantes y menos agresivos después del huracán María, que los obligó a compartir la sombra de los árboles para sobrevivir al intenso calor.
    Redacción T21
  • Extrañas formas de vida se ocultan en antiguas cuevas de lava de Hawai 23 junio, 2024
    Científicos estadounidenses han logrado identificar una gran diversidad de especies microbianas únicas, que se han desarrollado en cuevas geotérmicas, tubos de lava y fumarolas volcánicas de la isla de Hawái. Estas estructuras subterráneas se formaron hace entre 65 y 800 años y reciben poca o ninguna luz solar, en ambientes similares a los que pueden encontrarse […]
    Pablo Javier Piacente