Tendencias21
Un sistema automático convierte vídeos tediosos en películas interesantes

Un sistema automático convierte vídeos tediosos en películas interesantes

Cada vez existen más herramientas para grabar rutinas diarias, bien sea por interés propio, vigilancia u otros motivos. Sin embargo, esto da lugar a pesadas grabaciones de larga duración que, en la mayoría de los casos, no pueden ser revisadas en detalle. Investigadores de la Universidad de Texas en Austin, Estados Unidos, han desarrollado una técnica capaz de analizar estos vídeos y montar la mejor historia reducida, pero sin perder la coherencia ni información relevante. Por Patricia Pérez.

Un sistema automático convierte vídeos tediosos en películas interesantes

Algún día no muy lejano los ordenadores nos facilitarán automáticamente el videoresumen de un día de nuestra vida, las vacaciones familiares o las ocho horas de patrulla policial, según auguran científicos de la Universidad de Texas (UT) en Austin.

Los investigadores se adelantan así a lo que está por venir, sobre todo cuando se extienda el uso comercial de dispositivos como Looxcie, la primera videocámara con conexión móvil y manos libres, o las novedosas Google Glass, un paso más en la realidad aumentada.

“La cantidad de lo que nosotros llamamos vídeo ‘egocéntrico’, aquel que graba lo que sucede alrededor de la perspectiva de una persona, está a punto de explotar”, avanza Kristen Grauman, profesora asociada de Ciencias de la Computación, en un comunicado de la UT. Por ello, “vamos a necesitar mejores métodos para resumir y seleccionar de entre todos esos datos”, continúa.

La necesidad es cada vez más clara, pues aparecen nuevos dispositivos y escenarios que generan vídeos de gran volumen, por lo que resulta complicado revisarlos al detalle. Además, con los métodos actuales, existe el riesgo de perder información esencial al sintetizar la grabación.

Como alternativa, Grauman y su equipo han desarrollado una avanzada técnica que utiliza aprendizaje automático para analizar los vídeos grabados, de forma que puedan acortarlos mediante clips muy breves o una serie de imágenes fijas que sigan transmitiendo la esencia de la historia. El método, al que han bautizado como videoresumen “Story-driven”, se presentó este verano en la Conferencia IEEE sobre Visión Artificial y Reconocimiento de Patrones.

Este tipo de videoresumen ayudará a las autoridades militares a gestionar las imágenes de las cámaras de los soldados, a los investigadores a seleccionar información a través de vídeos grabados con teléfonos móviles en sucesos como el atentado en el maratón de Boston, o a los mayores que usan esta herramienta en su día a día para compensar pérdidas de memoria.

Un sistema automático convierte vídeos tediosos en películas interesantes

Esencia y coherencia

Diversos estudios demuestran la utilidad que supone para personas con pérdidas de memoria llevar una cámara en su vida diaria, la cual toma una instantánea una vez por minuto de todo aquello que le rodea.

El hecho de revisar esas imágenes al final del día puede ayudarles en su recuperación. Pero, “¿y si en lugar de imágenes seleccionadas por un minuto de diferencia, tuvieran un vídeo o resumen fotográfico cribado con las mejores historias? Tal vez eso les ayudaría aún más”. Ese es el planteamiento de Grauman y el objetivo que persigue con su método.

Para ponerlo en práctica se valieron de grabaciones de más de 12 horas de actividad diaria tomadas por 23 voluntarios que utilizaron cámaras Looxcie. Se trata de dispositivos que se ajustan cómodamente en la oreja como un dispositivo Bluetooth convencional y son capaces de grabar hasta cinco horas seguidas. Se conectan al smartphone para compartir los contenidos generados, y cuestan alrededor de 200 dólares.

El siguiente paso era determinar qué hace buena una historia visual. Los métodos tradicionales para resumir vídeos seleccionan bien una serie de fotogramas clave o aquellas tomas que mejor representan la entrada original. Para ello se basan en factores como la diversidad (fotogramas no redundantes), anomalías (sucesos inusuales), y el espacio temporal. Se tiene en cuenta el movimiento o el color, y se rastrean objetos de interés.

Todo ello consigue reducir el tiempo de visionado, pero para los investigadores se trata de una opción “demasiado limitante”, pues no se atiende al progreso de las acciones. Como resultado, se pueden omitir sucesos importantes -pero cortos en el tiempo-, mientras se mantienen los redundantes -aunque visualmente diversos- que no afectan a la narrativa general.

Por tanto, Grauman y su equipo tienen claro que más allá de mostrar personas, objetos o escenarios importantes, se debe transmitir cómo una cosa lleva a la siguiente. En definitiva, darle coherencia a la narración visual.

Buscar la influencia

Una vez claro el objetivo, el mecanismo consta de dos pasos. El primero implica el uso de técnicas de aprendizaje automático para enseñar al sistema de “puntuación” el significado de los objetos visualizados. Para ello se basan en factores egocéntricos, tales como la frecuencia con la que aparecen ciertos objetos en el centro de la imagen, que es un buen indicador de hacía dónde mira el portador de la cámara, o si los toca con sus manos. De esta forma se seleccionan los fotogramas más importantes.

El siguiente paso fue utilizar dichos fotogramas para buscar aquellos que influyen en los posteriores. Para ello adaptaron un método desarrollado por investigadores de la Universidad Carnegie Mellon, en Estados Unidos, que podía predecir cómo una noticia lleva a la otra, reuniendo una serie de artículos para la transición desde un punto de partida a un punto final conocido.

En el trabajo sobre texto, los investigadores prestaron especial atención a la frecuencia de uso de ciertas palabras y a las correlaciones a través de artículos para cuantificar su influencia. Para su adaptación al vídeo, Grauman y su equipo utilizaron objetos y fotogramas significativos para hacer lo mismo. Así fueron capaces de dar forma a una cadena de vídeos ensamblados eficientemente para rellenar la historia de principio a fin.

A continuación realizaron encuestas para comparar su método con los anteriores, y “entre el 75 y el 90 por ciento de las personas que evaluaron los resúmenes calificaron nuestro sistema como superior», asegura la profesora.

La misma considera que a medida que las técnicas para sumariar vídeos sigan mejorando, se convertirán en una valiosa herramienta no sólo para aquellos con necesidades muy especializadas, como los investigadores policiales y los que sufren pérdida de memoria, sino también para los usuarios habituales de Internet.

De hecho, mejorar la exploración de vídeo en la web es una de las aplicaciones que se augura al sistema. Grauman puso como ejemplo la posibilidad de visualizar 50 imágenes en una página web. “Es manejable, ya que se pueden desplazar hacia arriba o abajo y verlas todos de una sola pasada. Ahora imagínese tratando de ver 50 vídeos online; simplemente no es viable”, sentencia. Ahí radica su próximo reto.

RedacciónT21

Hacer un comentario

RSS Lo último de Tendencias21

  • La IA podría estar atrofiando poco a poco nuestros cerebros, según un nuevo estudio 16 febrero, 2024
    De la misma forma que el GPS de los smartphones ha dañado nuestro sentido de la cognición espacial y la memoria, según sugieren algunos estudios, la Inteligencia Artificial (IA) también podría afectar progresivamente nuestra capacidad para tomar decisiones de forma independiente, de acuerdo a una nueva investigación. La hipótesis plantea que los chatbots de IA […]
    Pablo Javier Piacente
  • El Metaverso surgió de la imaginación y se hizo real gracias al progreso tecnológico 16 febrero, 2024
    El Metaverso inició su recorrido en la ciencia ficción y se hizo real inspirado en novelas como “Snow Crash" de Neal Stephenson y apoyado en tecnologías que han posibilitado universos paralelos para la experiencia humana. La novela "Ready Player One" de Ernest Cline y su adaptación cinematográfica dirigida por Steven Spielberg, han desempeñado un papel […]
    Carlos Peña González (*)
  • Revelan el origen de la falla geológica de Seattle, una de las más peligrosas del mundo 15 febrero, 2024
    Los datos magnéticos sugieren que la falla de Seattle, en Estados Unidos, se formó hace 55 millones de años, cuando la mitad sur de una cadena de islas volcánicas en subducción se amontonó sobre el continente y se separó de otra parte de la estructura, "desgarrando" el borde de América del Norte.
    Pablo Javier Piacente
  • Gigantescos "huevos espaciales" podrían ayudarnos a descubrir civilizaciones extraterrestres 15 febrero, 2024
    Un elipsoide SETI es un enfoque geométrico que identifica una región del espacio con forma de huevo, dentro de la cual cualquier civilización inteligente habría logrado observar un evento astronómico significativo, como por ejemplo una supernova, basándose en el tiempo que tarda la luz en viajar a través del espacio. Ahora, un nuevo análisis muestra […]
    Pablo Javier Piacente
  • ¿Qué pasaría si viajáramos a la velocidad de la luz? 15 febrero, 2024
    La física dice que es imposible, pero soñamos con la posibilidad de viajar a la velocidad de la luz. En ese supuesto, el tiempo se dilataría y se alteraría nuestro campo de visión, pero la fuerza de la aceleración nos destruiría. Sin ayuda alguna, no podemos ir a más de 45 kilómetros por hora.
    Redacción T21
  • Nuevo hito en la tecnología cuántica 15 febrero, 2024
    Investigadores alemanes han logrado un avance en la tecnología cuántica al visualizar las posiciones tridimensionales de átomos individuales en un cristal de diamante. Este logro allana el camino para la visualización de moléculas individuales con una precisión atómica, lo que podría revolucionar la investigación y el diseño de materiales y fármacos. Con un poco de […]
    ST/T21
  • Una extraña y antigua megaestructura acecha bajo el mar Báltico 14 febrero, 2024
    En la bahía alemana de Mecklenburg, a 21 metros de profundidad, los científicos han encontrado una antigua megaestructura que data de la Edad de Piedra, concretamente de hace más de 10.000 años. La estructura, que abarca una longitud de casi un kilómetro y está compuesta por piedras de distintos tamaños, desafía toda explicación natural: los […]
    Pablo Javier Piacente
  • Detectan por primera vez materia oscura en un cúmulo galáctico 14 febrero, 2024
    La materia oscura identificada, detectada indirectamente en un cúmulo conformado por miles de galaxias, podría ayudar a los científicos a comprobar la existencia de una estructura a gran escala que se extiende por todo el Universo: de esta forma, un "andamiaje" de materia oscura atravesaría todo el cosmos y sería el sostén de innumerables galaxias, […]
    Pablo Javier Piacente
  • El primer implante cerebral de Neuralink en un humano está rodeado de misterio 14 febrero, 2024
    Existen dudas sobre si el primer implante cerebral a un humano, anunciado por Elon Musk el 29 de enero, se ha producido realmente, ya que todo está rodeado de falta de transparencia, ausencia de certificación científica, escasos detalles sobre su tecnología, sus métodos y sus resultados.
    Eduardo Martínez de la Fe
  • Los robots que atienden a pacientes llegan a los hospitales 9 febrero, 2024
    Robots diseñados para brindar comodidad a los pacientes de edad avanzada y aliviar su ansiedad, han sido probados con éxito en un hospital de París: saludan, responden a preguntas, comprenden conversaciones grupales y apoyan las tareas de enfermería.
    Redacción T21