Tendencias21
Un nuevo software permite ver en 3D conciertos de piano grabados en audio

Un nuevo software permite ver en 3D conciertos de piano grabados en audio

Investigadores de la Universidad de California en Davis han desarrollado un algoritmo capaz de analizar una pista de audio con acordes de piano y generar, a partir de ella, unas conseguidas manos en 3D, como si estas la tocaran. El sistema recibe órdenes para saber qué dedos usar y cuándo, si debe cruzar las manos o tocar varias notas al mismo tiempo. Todo ello en cualquier estilo musical. La técnica podría utilizarse para la enseñanza y adaptarse a otros instrumentos. Por Patricia Pérez.

Un nuevo software permite ver en 3D conciertos de piano grabados en audio

Aprender a tocar el piano nunca fue una tarea fácil. Hay que ser capaz de ubicar el dedo correcto sobre la tecla que representa una nota en particular y en el momento adecuado. A veces hay que leer no sólo una nota a la vez, sino acordes de tres, cuatro e incluso diez al mismo tiempo.

A ello se suman las técnicas específicas de movimiento de cada mano, la muñeca y el brazo, sin olvidar las marcas de expresión, matices, fraseo y tiempo, o el toque interpretativo según el estilo de la pieza.

El aprendizaje de algunos de estos puntos se podría facilitar con un nuevo software desarrollado por investigadores de la Universidad de California (UC) en Davis, Estados Unidos, diseñado para generar una animación en tres dimensiones en la que un personaje toca el piano mostrando la colocación idónea de los dedos y los movimientos de muñeca.

Lo novedoso del programa es que genera la animación automáticamente a partir de un archivo de audio. Se trata de todo un reto, teniendo en cuenta la dificultad que conlleva cualquier reproducción tocando el piano de forma correcta, por la limitación en la coordinación de movimientos de la mano derecha, los complejos cruces de dedos para dar en la nota correcta y conseguir acordes variados o, como apuntan los investigadores, “por el elevado grado de libertad de la mano y los dedos”.

El trabajo se ha dado a conocer recientemente con la publicación de un artículo aparecido en la revista Animación por ordenador y mundos virtuales, bajo el título “Un sistema para animar piezas de piano por ordenador”.

De él también se ha hecho eco la revista Phys.org. En él, los autores Yuanfeng Zhu, Ajay Sundar Ramakrishnan, Bernd Hamann y Michael Neff explican los algoritmos y métodos utilizados para generar de forma automática animaciones de interpretaciones al piano a partir de un archivo de música.

Planificando el movimiento

El sistema recibe órdenes para saber qué dedos usar y cuándo, si debe cruzar las manos o tocar varias notas al mismo tiempo, y todo ello en cualquier estilo musical sin nada más que una pista de audio. Para que esto ocurra, los investigadores diseñaron un algoritmo que tiene en cuenta dónde están las notas en un piano y cómo funciona el cuerpo humano.

Al igual que el hombre ha evolucionado su técnica para tocar este instrumento a lo largo de la historia, buscando el uso de los dedos y las posiciones de las manos más fáciles de alcanzar, el sistema reproduce esta lógica.

Así, se utiliza un gráfico basado en el método de planificación de movimiento para decidir qué dedos deben golpear las teclas del piano para cada acorde. Como se prevé la progresión de la música, el algoritmo calcula también la posición de los dedos no utilizados, para hacer posible una digitación eficiente de las próximas notas.

La clave es la postura de las manos, incluyendo la de técnicas complejas como cruzar los dedos y adornos más avanzados como los arpegios. Para refinar estas posturas se utilizar un método de optimización, reproduciendo una secuencia de poses naturales y mínimamente enérgicos. La transición de movimientos entre posturas se genera mediante una combinación de muestras reales de personas tocando el piano y de propiedades musicales, de forma que el sistema pueda adaptarse a diferentes estilos.

Los investigadores de la UC validaron su propuesta comparando directamente el toque real del piano con una simulación de una pieza musical completa en la que se pusieron a prueba diferentes habilidades. En concreto, se seleccionó la composición Childhood Memory de Mussorgsky para demostrar cómo se defendía el software en el cruce de dedos o con los arpegios.

El resultado es una técnica lo suficientemente realista como para aplicarse a la enseñanza. “En una clase de piano, dada cualquier pieza de música, los aprendices tienen dificultades para determinar la digitación más eficaz y para conseguir exactamente la forma en que se supone que debe realizarse. Por lo tanto, un sistema capaz de generar una animación de alta calidad puede ser útil en la enseñanza”, plantean los investigadores.

Así, estudiantes de piano podrían utilizar una cámara para grabar su práctica y a continuación comprobar la actuación del programa con la misma pieza musical, para ver si sus manos habían seguido la mejor posición posible. Los autores también afirman que sería posible aplicar la animación a otros instrumentos, como violines y flautas.

Un nuevo software permite ver en 3D conciertos de piano grabados en audio

Limitaciones

No obstante, el software actual parece quedarse por debajo de su objetivo para ofrecer una “animación de piano de alta calidad”, pues tiene algunas limitaciones. Varios comentarios de reacción al vídeo de este trabajo cuestionan si los dedos parecen reales o incluso los comparan con crepes enrollados, lo que puede distraer al espectador que trata de concentrarse en el sistema como una herramienta de aprendizaje.

Por ello, los investigadores tratarán de mejorar el sistema para generar animaciones con diferentes modelos de manos, y en diversos tamaños, para adaptarse a las necesidades de cada estudiante. En la misma línea, otra limitación que han apreciado es que, aunque parece que los dedos rozan la superficie del piano, no se aprecia lo suficiente en las teclas negras, como si no alcanzaran, punto que también deberán mejorar.

Pero sobre todo seguirán trabajando para generar “el toque emocional del piano que refleja una comprensión personal de la pieza y del rendimiento del aprendiz”, así como la digitación automática de las dos manos. El método actual genera los dedos de cada mano por separado, lo que ocasiona problemas a la hora de interpretar una melodía de manera continua con las dos manos, por lo que tratarán de planificarlas simultáneamente.

RedacciónT21

Hacer un comentario

RSS Lo último de Tendencias21

  • Descubierto el ritual más antiguo del mundo, transmitido durante 500 generaciones 2 julio, 2024
    Un ritual ancestral en una cueva de Australia podría ser el más antiguo del mundo: practicado durante 500 generaciones por indígenas australianos, se desarrolla sin interrupciones desde hace 12.000 años hasta la actualidad, aunque fue documentado inicialmente en el siglo XIX. Identificado a partir de restos de viejas fogatas, los científicos creen que podría ser […]
    Pablo Javier Piacente
  • Revelan un nuevo paraíso hidrotermal en las profundidades del océano 2 julio, 2024
    Frente a la costa de Svalbard, en Noruega, a más de 3.000 metros de profundidad, los científicos han descubierto un campo de fuentes hidrotermales a lo largo de la cresta Knipovich, una cadena montañosa submarina. El sitio esconde un oasis de extrañas formas de vida, capaces de prosperar en los ambientes más extremos de la […]
    Pablo Javier Piacente
  • El camino a los viajes espaciales de larga duración empieza a abrirse gracias a la criónica 2 julio, 2024
    La criónica ha conseguido revivir a gusanos y ampliar la ralentización biológica en operaciones a corazón abierto. El siguiente paso será la criopreservación de órganos y organismos enteros de forma reversible a temperaturas bajo cero. Entonces será posible viajar durante cientos de años a planetas lejanos.
    Alejandro Sacristán
  • Una sola molécula podría revertir el envejecimiento en los músculos y el cerebro 1 julio, 2024
    Un nuevo estudio en ratones y células humanas sugiere que una molécula especialmente seleccionada por los investigadores puede ayudar a revertir los signos del envejecimiento en los músculos y el cerebro, al extender los telómeros y modular genes de vital importancia. En concreto, la molécula inyecta dinamismo a una proteína denominada TERT, que es un engranaje […]
    Pablo Javier Piacente
  • El Telescopio Web detecta extrañas formas brillantes sobre Júpiter 1 julio, 2024
    En lo alto de la atmósfera de Júpiter, específicamente en la ionosfera, los astrónomos han identificado con la ayuda del Telescopio Espacial James Webb (JWST), nuevas características extrañas y brillantes. Se ubican en la región situada encima de la tempestuosa Gran Mancha Roja, y serían un reflejo de las potentes tormentas que se desatan en […]
    Pablo Javier Piacente
  • Fabrizio Gagliardi: la IA Generativa está provocando un giro copernicano en cómo hacemos ciencia 1 julio, 2024
    La comunidad científica se ha unido en un consorcio para alumbrar la IA de la ciencia, cuyo lanzamiento europeo tuvo lugar recientemente en Barcelona. Fabrizio Gagliardi, representante del BSC-CNS en ese consorcio, advierte que Europa está lejos de alcanzar el nivel de desarrollo de la IA Generativa que vemos en Estados Unidos.
    Eduardo Martínez de la Fe
  • Una revolucionaria mano biónica se fusiona directamente con el cuerpo humano 30 junio, 2024
    Una nueva mano biónica desarrollada por un grupo de investigadores se basa en una tecnología revolucionaria, capaz de conectar directamente la prótesis robótica a los huesos, músculos y nervios del usuario. Esto permite crear una interfaz humano-máquina, que facilita a la Inteligencia Artificial (IA) la traducción de señales cerebrales en movimientos simples pero precisos.
    Pablo Javier Piacente
  • Un proyecto global trabaja para crear de forma colaborativa un cerebro robótico general 29 junio, 2024
    El auge de la inteligencia artificial generativa impulsa un proyecto global que trabaja para crear un cerebro robótico general, capaz de generar androides como los que hemos visto hasta ahora solo en la ciencia ficción. Pero es cuestión de tiempo que convivamos con ellos en perfecta armonía. Ya no es una utopía.
    Eduardo Martínez de la Fe
  • Las hormigas invasoras hacen autostop para encontrar un nuevo hogar 28 junio, 2024
    Se sabe que los insectos son especialistas en utilizar todo tipo de formas de transporte para atravesar amplias distancias, pero un nuevo estudio ha revelado que las hormigas también dominan el autostop: estos insectos sociales recogen a toda la familia, incluida su reina, y se suben al primer vehículo que encuentran para emprender un viaje […]
    Pablo Javier Piacente
  • Los recuerdos imborrables se adhieren a algunas neuronas 28 junio, 2024
    Los científicos han descubierto una explicación biológica para los recuerdos a largo plazo, esos que acompañan a una persona prácticamente durante toda la vida. Revelaron que una molécula, KIBRA, sirve como “pegamento” para otras moléculas, consolidando así la formación de la memoria al activar y mantener una etiqueta sináptica persistente, que queda adherida a un […]
    Pablo Javier Piacente