Tendencias21

Recrean conciertos en 3D a partir de vídeos grabados con los móviles

Científicos israelíes financiados por la UE están desarrollando una tecnología que permitirá recrear en tres dimensiones conciertos de música, a partir de los vídeos e imágenes registrados por los asistentes con sus teléfonos móviles desde distintos puntos del estadio. Aún tienen que perfeccionarla, y arreglar la cuestión de los derechos.

Recrean conciertos en 3D a partir de vídeos grabados con los móviles

¿Alguna vez ha estado en un concierto de rock y, después, ha deseado poder vivirlo otra vez exactamente igual, o incluso mejor? Esto podría ser posible pronto gracias a un proyecto de investigación financiado con fondos europeos llamado SceneNet, cuyos responsables están desarrollando una tecnología que permite combinar vídeos captados con el móvil y remitidos por distintos espectadores situados en distintos puntos de un estadio para reconstruir el espectáculo en tres dimensiones.

Chen y Nizan Sagiv tuvieron esta idea cuando se encontraban en un concierto de Depeche Mode en Tel Aviv hace cinco años. «Yo no quitaba ojo del espectáculo y, mientras tanto, Nizan contemplaba a la multitud», relata Chen, coordinadora del proyecto SceneNet, en un reportaje de Cordis.

«Llamó su atención la innumerable cantidad de luces tenues proyectadas por las pantallas de los teléfonos móviles. El público estaba grabando vídeos de la actuación. A Nizan se le ocurrió la interesante posibilidad de fusionar todos los vídeos captados por toda esa gente y elaborar un vídeo mejorado, fruto de la sinergia y posiblemente en 3D. Sopesamos la idea durante muchos meses, pero nos parecía demasiado futurista, arriesgada y complicada».

Primer año

Durante el primer año del proyecto, su equipo ha desarrollado la infraestructura móvil necesaria para los canales de transmisión de vídeo, un mecanismo para etiquetarlos y su transmisión a un servidor en la nube. También se han desarrollado herramientas básicas para crear una interfaz humano-ordenador que permitirá a los usuarios visualizar el espectáculo en 3D desde cualquier punto del estadio y modificar por sí mismos la grabación resultante.

En opinión de sus responsables, de este modo surgirán comunidades en línea que compartirán los contenidos para poder revivir todos juntos la experiencia del concierto. Con este objetivo en mente, los socios se disponen a estudiar temas de privacidad y de derechos de propiedad intelectual durante los próximos dos años del proyecto.

«Al final del primer año, adelantándonos a las previsiones, habíamos articulado el procedimiento completo de SceneNet partiendo de componentes tecnológicos punteros», asegura Chen. La creación de los algoritmos de visión artificial acelerados para móviles representa una labor pionera a nivel mundial, y por ello algunos de los más importantes fabricantes de chips siguen muy de cerca la evolución de esta iniciativa.

El proyecto plantea varios retos tecnológicos: un preprocesado en el propio dispositivo que requiere una potencia de computación inmensa; la transmisión eficaz de las grabaciones en vídeo; el desarrollo de métodos precisos y rápidos de registro entre las distintas grabaciones; y la reconstrucción tridimensional. Todas estas tareas deben ejecutarse casi en tiempo real.

«Opinamos que los distintos componentes que forman SceneNet, por ejemplo el registro de imágenes y la reconstrucción tridimensional, poseen grandes posibilidades para la computación móvil y en la nube. Así, ofrece una innovación tecnológica drástica, tanto en conjunto como en cada uno de sus componentes», añade la investigadora.

No solo conciertos

A medida que avanza el proyecto se plantea una infinidad de usos posibles del sistema. Siempre que se solventen los aspectos relacionados con la privacidad y otros derechos, esta tecnología podría utilizarse también para recrear otros acontecimientos en tres dimensiones, como noticias de última hora o deportivas, o también en los sectores del turismo y la vigilancia.

Los socios estudian la posibilidad de grabar objetos estáticos y también activos desde distintos ángulos a fin de crear instrucciones que puedan enviarse a impresoras en 3D. Su modelo de servidor en la nube para móviles podría emplearse asimismo para un sinfín de otras aplicaciones, afirman los investigadores. Pero por el momento se centran en los aficionados a la música.

«SceneNet trata sobre cámaras de móvil y visión en 3D. Gracias a la «invasión» de las cámaras de móvil y la mejora constante de su calidad, estamos rebosantes de imágenes que queremos mejorar y enseñar con gran orgullo a los demás. Se están desarrollando muchos dispositivos que «comprenden» la información visual recibida (como Google Glass), y la mayor parte de sus trabajos se fundamentan en el tratamiento de la imagen y en la visión artificial. La visión en 3D no hace sino cobrar importancia para mejorar la visualización del mundo y también para facilitar el análisis de ese mundo», explica la coordinadora.

Colaboración entre Israel y Europa

Para desarrollar el proyecto, Chen y Nizan Sagiv solicitaron asesoramiento en Iserd, la dirección de I+D para Israel y Europa, y se pusieron en contacto con el profesor Peter Maass, de la Universidad de Bremen (Alemania), y con el profesor Pierre Vandergheynst, de la École Polytechnique Fédérale (EPFL) de Lausana (Suiza), con quien Chen ya había colaborado en un proyecto anterior amparado en el Séptimo Programa Marco llamado UNLocX.

Fruto de todo ello es Scenenet, al que la Comisión Europea otorgó fondos por valor de 1,33 millones de euros y que está coordinado por la empresa de Chen y Nizan, con sede en Ra’anana, y llamada SagivTech, especializada en visión artificial y computación paralela.

SceneNet, financiado a través del programa de tecnologías futuras y emergentes (TFE), estará en marcha hasta enero de 2016 y cuenta con el concurso de cuatro socios europeos: la Universidad de Bremen, Steinbeis Innovation y European Research Services (los tres con sede en Alemania) y la EPFL (Suiza).

El proyecto supone un buen ejemplo de colaboración investigadora entre la Unión Europea e Israel. Cerca de 1.600 científicos israelíes se han beneficiado del Séptimo Programa Marco por medio de más de 800 proyectos financiados por la Comisión Europea con fondos por valor de 634 millones de euros dedicados a muy diversos campos, desde la investigación puntera y las TIC hasta la nanotecnología, pasando por la energía y la salud.

«Esta es una oportunidad de formar parte de las prósperas comunidades científica e industrial europeas y de colaborar con destacados socios académicos y empresas de Europa», reconoce Chen a modo de conclusión.

RedacciónT21

Hacer un comentario

RSS Lo último de Tendencias21

  • Una pequeña luna de Saturno parecida a la “Estrella de la Muerte” de Star Wars contiene un océano oculto 8 febrero, 2024
    Por debajo de la superficie repleta de cráteres de Mimas, una de las lunas más pequeñas de Saturno, se esconde un océano global de agua líquida de reciente formación. El satélite posee tan sólo unos 400 kilómetros de diámetro y presenta un notable parecido con la “Estrella de la Muerte”, una estación espacial imperial que […]
    Pablo Javier Piacente
  • Logran controlar un objeto virtual con la mente durante un sueño lúcido 8 febrero, 2024
    Un grupo de participantes en un nuevo estudio científico logró manejar un vehículo virtual a través de un avatar únicamente con su mente, mientras sus cerebros permanecían en la fase REM del sueño. Además de profundizar en los misterios de la consciencia humana, la innovación podría facilitar el acceso a nuevos desarrollos tecnológicos, como un […]
    Pablo Javier Piacente
  • Un proyecto global trabaja para crear de forma colaborativa un cerebro robótico general 8 febrero, 2024
    El auge de la inteligencia artificial generativa impulsa un proyecto global que trabaja para crear un cerebro robótico general, capaz de generar androides como los que hemos visto hasta ahora solo en la ciencia ficción. Pero es cuestión de tiempo que convivamos con ellos en perfecta armonía. Ya no es una utopía.
    Eduardo Martínez de la Fe
  • La IA está capacitada para resolver dilemas morales cuando conduce vehículos autónomos 8 febrero, 2024
    Los sistemas de IA muestran significativas similitudes éticas con las reacciones humanas ante dilemas morales, lo que los acreditan para conducir vehículos autónomos tal como lo harían las personas.
    Redacción T21
  • Los huracanes se están volviendo tan fuertes que ya no existen categorías para clasificarlos 7 febrero, 2024
    Cinco tormentas en la última década tuvieron velocidades de viento que pertenecen a una hipotética categoría 6 en la escala de huracanes Saffir-Simpson: el fenómeno obligaría a los científicos a crear una nueva clasificación, capaz de reflejar la virulencia de los huracanes en la actualidad. Las causas principales del fenómeno tienen su origen en el […]
    Pablo Javier Piacente
  • Un asteroide habría explotado sobre la Antártida hace unos 2,5 millones de años 7 febrero, 2024
    Un asteroide se desintegró sobre el continente antártico hace aproximadamente 2,5 millones de años: la evidencia proviene de un análisis químico de más de 100 pequeños trozos de roca extraterrestre, que se han preservado dentro de las enormes capas de hielo. Hasta el momento, solo se conocen otros dos eventos de explosiones aéreas antiguas en […]
    Pablo Javier Piacente
  • Crean la primera niña de inteligencia artificial del mundo 7 febrero, 2024
    La primera niña IA del mundo ha sido creada por científicos chinos, que la han dotado de emociones e intelecto y de la capacidad de aprender de forma autónoma. Se comporta como si tuviera tres o cuatro años y representa un avance significativo para el campo de la inteligencia artificial general.
    Redacción T21
  • Oponerse a la regulación de los pesticidas no es la solución al problema de los agricultores 7 febrero, 2024
    Los agricultores que se movilizan en España y Europa se oponen con firmeza a las nuevas regulaciones europeas en materia de pesticidas, lo que representa una amenaza mayor para la salud pública que tener una central nuclear al lado de casa: estos químicos han costado miles de vidas y enfermos crónicos, al tiempo que han […]
    Eduardo Costas | Catedrático de la UCM y Académico de Farmacia
  • El arte existió antes del surgimiento de los humanos modernos 6 febrero, 2024
    Nuevas investigaciones sugieren que nuestros parientes humanos arcaicos, como los neandertales, ya contaban con las capacidades cognitivas para desarrollar arte: el hallazgo de ejemplos cada vez más antiguos de expresión artística en el registro arqueológico confirmaría esta hipótesis. Sin embargo, aún se discute si estas manifestaciones creativas pueden catalogarse como arte.
    Pablo Javier Piacente
  • Descubren una nueva supertierra que podría ser un mundo habitable 6 febrero, 2024
    Un planeta extrasolar del tipo supertierra, denominado TOI-715 b y aproximadamente una vez y media más ancho que la Tierra, podría ser capaz de albergar vida: orbita dentro de la zona habitable de una enana roja, a escasa distancia de nuestro planeta. Además, podría estar acompañado de otro cuerpo planetario, con un tamaño casi idéntico al […]
    Pablo Javier Piacente