Gesti di Suono: ascoltare danze, vedere musiche

Exhibit interattivo e tavola rotonda su nuove tecnologie e sostituzione sensoriale:

il progetto europeo Horizon 2020 ICT DANCE

L’antico poeta persiano Rumi sosteneva che per vedere fosse necessario chiudere gli occhi. Il cuore del progetto europeo Horizon 2020 ICT DANCE trasforma il paradosso poetico e cognitivo in un’affascinante sfida tecnologica: come e quanto le qualità affettive e relazionali del movimento possono esprimersi, rappresentarsi, analizzarsi entro una dimensione sonoro/musicale? Come (e soprattutto fino a che punto) si può comprendere, a occhi chiusi, l’espressività di corpi che si muovono nel tempo e nello spazio?

Gli innovativi studi neurofisiologici del gruppo dell’Università di Maastricht, sotto la guida di Beatrice de Gelder, e le affascinanti sperimentazioni sulle tecniche di sonificazione del movimento del KTH di Stoccolma, dirette da Roberto Bresin, incontrano la ricerca di Casa Paganini sulle tecnologie capaci di vedere nel gesto qualità emozionali e indicatori sociali (la sincronizzazione del comportamento, il coinvolgimento nelle attività di un gruppo, l'emergere di un leader), trasformandole in tempo reale in contenuti visuali, sonori, musicali. Casa Paganini - InfoMus mette in scena la sua ricerca scientifica e tecnologica, artistica e concettuale, proponendo al pubblico una diretta esperienza degli strumenti elaborati per ascoltare in tempo reale le sequenze di una coreografia o per sentire (e indagare) le qualità della la propria gestualità attraverso l'interazione con la tecnologia (exhibit interattivo). Una tavola rotonda approfondirà implicazioni metodologiche e prospettive applicative di questo progetto.

Appuntamento il 27/10/2015, presso 

Casa Paganini-InfoMus Research Centre,

DIBRIS, Università di Genova

Piazza S.Maria in Passione, 34 

Ore 16:30: Exhibit interattivo: con coinvolgimento di pubblico e di danzatori, permetterà di sperimentare i modelli tecnologici in fase di realizzazione in DANCE per tradurre in ascolto le qualità espressive del movimento, analizzate in tempo reale attraverso sensori, telecamere, vestiti sonori, smartphones.

Equilibri (Chiesa interna 1) Del senso di equilibrio si può parlare, sul concetto di equilibrio si può riflettere. L'equilibrio si vede, si percepisce ma si può anche ascoltare? Prova a muoverti intorno al baricentro del tuo corpo per sentire come suona la perdita del tuo equilibrio:

Immagini (Chiesa interna 2) Muoviti con libertà. Osserva sul muro davanti a te come l'immagine del tuo corpo si colora in base alla qualità dei tuoi movimenti, si modifica, si riduce in punti, rimane impigliata nelle impronte dei tuoi gesti:

Fluidità (Stanza dei paesaggi) Come acqua, il tuo corpo ricerca la fluidità del movimento. Non guardare: puoi vedere questa qualità dei gesti, ascoltando i suoni che sapranno generare:

Pesi (Cappella delle Monache) Come pietra, il tuo corpo è attratto dalla gravità. Non guardare: puoi vedere questa qualità dei gesti, ascoltando i suoni che sapranno generare:

Vesti (Coro delle Monache) Puoi metterti il mantello. I Tuoi gesti, ascoltati e tradotti dal tuo abito, ti permetteranno di creare e indossare un paesaggio sonoro elettronico:

Giochi (Presbiterio) Questo gioco è una sfida tra voi due. Bendatevi e, nella concentrazione del non vedere, ascoltate i suoni intorno a voi. Iniziate a muovervi seguendo il vostro ascolto. Provate a esprimere nei vostri gesti quello che state sentendo. Quanto più riuscirete a tradurre con il vostro corpo la qualità dei suoni intorno a voi, tanto più alta sarà la possibilità di vincere la sfida:

Ore 17:30: Tavola rotonda: approfondirà le differenti metodologie (scientifiche, tecnologiche, artistiche e riabilitative) di indagine sulle relazioni tra ascolto e visione, tra spazio, movimento ed emozione.

Scarica i PDF:

eNTERFACE 2015

Analysis of the qualities of human movement in individual performances

eNTERFACE Workshop aims at establishing a tradition of collaborative, localized research and development work by gathering, in a single place, a team of leading professionals in multimodal human-machine interfaces together with students (both graduate and undergraduate), to work on a prespecified list of challenges, for 4 complete weeks. In this respect, it is an innovative and intensive collaboration scheme, designed to allow researchers to integrate their software tools, deploy demonstrators, collect novel databases, and work side by side with a great number of experts. It brings together 80 researchers for a whole month, subsequently it is the largest workshop on multimodal interfaces.

The project that has been coordinated by Casa Paganini-Infomus is named : "Analysis of the qualities of human movement in individual performances"" related to the DANCE project 1st Use Case.

The project slides are available here.

As real time application of our system, we have developed a game named "Move in the Dark".

The "Move in the dark" demo have been presented at the Mundaneum Museum of Mons.

VIDEO : PROJECT DEVELOPMENT AND "MOVE IN THE DARK" :

Sonar+ 2015

DANCE at Sonar+D and STARTS Symposium

DANCE at Sonar+D demos on real-time analysis and interactive sonification of full-body human movement expressive qualities. Sonification is based on processing of sound spaces and ways of using affective music content in relation to the quality of gestures.

Developed by University of Genoa (Casa Paganini – InfoMus Research Centre), in collaboration with the composer Pablo Palacio and dancers Muriel Romero and Roberta Messa, demos at the stand of the European Commission were kindly supported by the dancer Sabrina Ribes. A further demo, iLabelMusic, was shown on an early example of creative commercial exploitation of DANCE concepts and technology, designed and developed by University of Genoa in collaboration with Rotas.

Demos and proof of concepts are developed using the freely available EyesWeb XMI software platform and are based on movement sensors avaiilable on smartphones.

The same demos have been presented at the STARTS Symposium in Brussels.

Interactive Sonification of Movement (ENERGY/WEIGHT/SMOOTHNESS):

Interactive Sonification of Two Dancers:

Multimodal recording sessions

An excerpt from a synchronized multimodal recording session (motion capture and physiology) to create a dataset of  movement data to be used to validate algorithms for the real-time analysis of movement qualities. Dancer Roberta Messa. April-May 2015.