5 Teams Put TouchDesigner to Work at HackLab24

With the theme "Highlighting Diversity Through Digital Arts," HACKLAB's third edition aimed to create an inclusive co-creation lab for all artists, showcasing diverse abilities and raising awareness about the exclusion of disabled individuals in the technological arts sector.

How it worked: 40 participants—developers, artists, and musicians, primarily emerging talent—self-assembled into five unique teams. They were aided by mentors, volunteers, technological partners, and tools in creating their individual works. At the end of the three days, the teams presented and demonstrated their works to the community and a panel of judges during a festive "open house."

TouchDesigner was utilized in various and innovative ways by all five teams. Throughout the event, Derivative's Greg Hermanovic, Michel Didier, and Isabelle Rousset were on hand to assist participants with technical aspects. Here's a look at what transpired, French texts follow the English, enjoy!

Avec pour thème "Mettre en avant la diversité à travers les arts numériques," la troisième édition de HACKLAB visait à créer un laboratoire de co-création inclusif pour tous les artistes, mettant en valeur des capacités diverses et sensibilisant à l'exclusion des personnes handicapées dans le secteur des arts technologiques.

Comment ça a fonctionné : 40 participants — développeurs, artistes et musiciens, principalement des talents émergents — se sont regroupés en cinq équipes uniques. Ils ont été aidés par des mentors, des bénévoles, des partenaires technologiques et des outils pour créer leurs œuvres individuelles. À la fin des trois jours, les équipes ont présenté et démontré leurs œuvres à la communauté et à un panel de juges lors d'une "journée portes ouvertes" festive.

TouchDesigner a été utilisé de manière innovante par les cinq équipes. Tout au long de l'événement, Greg Hermanovic, Michel Didier et Isabelle Rousset de Derivative étaient présents pour aider les participants avec les aspects techniques. Voici un aperçu de ce qui s'est passé, les textes français suivent l'anglais, profitez-en !

Ripple Effect (EN)

Team Ripple Effect’s primary inspiration came from the simple belief that ‘ dance is for everyone’, which led to our mission statement, to create a piece that allowed users, regardless of their abilities, to experience joy through simple motion. “The Chamber of Memories” embodies the ideology that small actions can lead to significant impacts.

Our installation provides a platform for its participants to engage in the interplay of light, visuals and music enabling them to explore the nuances and impact of their subtle gestures, regardless of their abilities.

The participant is given a small sensor (HTC Vive Tracker) and asked to enter the canopy of LED’s. By attaching the sensor to any part of the body- hand, leg, forehead, etc. they are able to play freely, controlling the visual and audio elements that surround them. As the participant moves, the tracker's position sends complex data to a variety of feeds in the background. These feeds include elements created with TouchDesigner, Ossia, Unity, and Ableton Live. The participant’s motion manipulates mellow electronic generative audio loops within Ableton Live.

Visuals on the LED matrix consist of bold animated patterns that give satisfying feedback when the user moves even slightly. Animation projected on the floor includes a water simulation blended with a video of the participant that, much like a memory, shifts and fades as they move. The floor animation is driven by depth data from a RealSense camera.

Ripple Effect (fr)

L’installation immersive “Chamber Of Memories” a été créée par l’équipe de Ripple Effect avec pour but d’inviter tout le monde, indépendamment de ses capacités, à participer à la danse. En créant ainsi différents types de mouvements adaptés aux limitations individuelles, cette installation fournit un espace à ses participants pour expérimenter leurs gestes subtils et les traduire visuellement, par le biais de lumières LEDs et de projections au sol, ainsi que sonorement.

Cette version de l’installation est conçue pour une personne. Les participants entrent dans l’espace un par un et reçoivent comme instruction de porter un HTC Vive Tracker (un appareil servant à suivre la position d’un membre du corps) à l'intérieur de l’installation. Le tracker envoie par la suite des données métriques à TouchDesigner, Ossia, Unity et Ableton Live lorsque le participant le tient dans ses mains ou l’attache à n’importe quelle partie du corps.

Dès qu’un flux de données est configuré, les mouvements du participant manipulent les paramètres affectant des boucles audio génératives, ainsi que ceux des visuels diffusés sur la matrice de LED consistant en des motifs animés couplé de feedback vidéo.

L’imagerie visuelle projetée au sol est un mélange de deux types de vidéos: une simulation d’eau et une vidéo en temps réel qui trace les mouvements des participants avec une caméra RealSense. Chaque action laisse des traces qui s’accumulent au fil du temps, rappelant le flux constant de la mémoire.

RAÍCES (EN)

At the MusicMotion hackathon, our team, Raíces, orchestrated an immersive live music experience that merged traditional performance with cutting-edge technology. Rooted in the concept of connectivity, our project aimed to engage audiences from the outset, blending live cello and vocals with interactive 3D visuals.

From the onset, our project invited participants into a live music performance where a cellist and vocalist seamlessly intertwined their talents with the audience, fostering a sense of communal participation. The emotive resonance of the cello and the captivating vocals served as the heart of our performance, drawing listeners into a journey of musical exploration.

Central to our innovation was the real-time interaction between the cello's arch movements and dynamic 3D visuals. Using microelectronics programming, we crafted a visual landscape that responded in sync with the cellist's gestures, enhancing the audience's immersion in both auditory and visual realms.

Powered by Ableton Live, our performance featured a meticulously curated soundtrack that served as the foundation for our live improvisations. The fusion of live instrumentation with digital composition added depth and richness to the musical experience, further accentuated by the reactive 3D visuals.

TouchDesigner provided the canvas for our virtual environment, where participants could immerse themselves in the symbiotic interplay between music and visuals. Spark AR augmented this experience, allowing audiences to interact with the performance through augmented reality elements, blurring the boundaries between performer and observer.

In essence, Raíces redefined the traditional music performance paradigm by intertwining live music, interactive technology, and audience participation. Through the harmonious integration of live cello, vocals, and reactive 3D visuals, we crafted an unforgettable journey that celebrated the roots of music while embracing the possibilities of the digital age.

RAÍCES (FR)

Au HackLab24 de MusicMotion, notre équipe Raíces a proposé une expérience musicale immersive qui combine la performance musicale traditionnelle et les technologies de pointe. Ancré dans le concept de la connectivité, notre projet visait à impliquer l'audience dès le départ, dans un mélange de violoncelle et voix combiné à du contenu visuel 3D interactif.

Dès le départ, notre projet conviait les participants à une performance musicale au cours de laquelle un violoncelliste et une chanteuse jonglaient avec leurs talents parmi les visiteurs, suscitant un esprit de participation. La résonance émotive du violoncelle et la voix captivante formaient le coeur de notre performance, invitant la foule à un voyage d'exploration musical.

Une savante utilisation de la programmation microélectronique nous a permis de capter l'accélération de l'archet du musicien afin de nourrir de riches effets visuels. Nous avons ainsi peint un paysage qui répondait en temps réel aux mouvements du violoncelliste.

TouchDesigner a servi de canevas à nos environnements visuels, dans lesquels les visiteurs pouvaient plonger dans un jeu symbiotique de musique et d'effets visuels. Spark AR a alimenté l'expérience en permettant aux membres de l'audience d'interagir avec la performance via des éléments de réalité augmentée, flouant ainsi la frontière entre l'interprète et son audience.

Raíces a redéfini le paradigme de la performance musicale traditionnelle en mêlant musique en direct, technologie interactive et participation des visiteurs. À travers une intégration harmonieuse du violoncelle, de la voix et des effets visuels en trois dimensions, nous avons tissé un voyage inoubliable qui célèbre les origines de la musique tout en s'ouvrant aux possibilités de l'ère numérique.

In the third person (EN)

“Altérité” or “Otherness” presented by the “In the Third Person” team is an interactive installation based on the recognition of others in their difference. It offers an experiential approach to human life in a wheelchair. The installation is designed so that one person at a time can interact. The space used and the context promote the deconstruction of stereotypes and standard places used by the person in wheelchair.

A camera is fixed at the height of the user’s face. A mirror effect is suggested via an electronic tablet attached, like a head, to the back of an autonomous motorized wheelchair. Here, the face of the user of the manual wheelchair appears on the screen attached to the motorized wheelchair, thus becoming an objectified mechanism. A projection on the wall reflects the interactions in the space in the third person. Sounds and voices present “killer sentences”, those which invisibilize, discriminate and limit the presence of people in wheelchair in the public square.

This document exists thanks to different innovative digital technologies: visual art, interaction design, sound design, electroacoustic composition, spatial audio. Communication was carried out between the software with the OSC protocol. TouchDesigner was used for visual generation. Ableton Live11 and Max8 to manage audio and spatialization.

Gaëtane Cummings, multidisciplinary artist in wheelchair, is at the origin of the artistic concept. The work reaches audiences of “Diversité capacitaire ” thanks to audio description, touch, immersive sound and sign language interpretation integrated into the interactive installation.

 Team:

João Nogueira Tragtenberg - Interaction Design
Rebecca Acone - Interaction Design
Consuelo Donati - Visual & Multimedia Design
Matteo Tomasetti - Sound Design & Sound Spatialization
Kamyar Karimi -Developer
Salomon Lewis - Sound & Interaction Design
Gaëtane Cummings - Visual & Concept

À la troisième personne (Fr)

« Altérité » présentée par l’équipe « À la troisième personne » est une installation interactive basée sur la reconnaissance de l’autre dans sa différence. Elle propose une approche expérientielle de la vie humaine en fauteuil roulant (FR). L'installation est conçue pour qu'une personne , à la fois, puisse interagir. L’espace utilisé et le contexte favorisent la déconstruction des stéréotypes et des lieux entendus utilisés par la personne en FR .

Une caméra est fixée à la hauteur du visage de l’utilisateur.trice. Un effet miroir est suggéré via une tablette électronique fixée, telle une tête, au dossier d’un fauteuil roulant motorisé autonome. Ici, le visage de l’utilisateur du FR manuel apparait sur l’écran fixé au FR motorisé devenant ainsi une mécanique objectivée. Une projection au mur, reflète à la troisième personne les interactions dans l’espace. Sons et voix présentent des « phrases assassines » , celles qui invisibilisent, discriminent et limitent la présence des personnes en FR sur la place publique.

Ce document existe grâce à différentes technologies numériques innovantes : art visuel, design d’interaction, design sonore, composition électroacoustique, audio spatial. La communication s’est effectuée entre les logiciels avec le protocole OSC. TouchDesigner a servi à la génération visuelle. Ableton Live11et Max8 à gérer l’audio et la spacialisation.

GÉNÉRATION D'ARBRE (EN)

The exhibition BE THE OTHER offers a fascinating multisensory exploration of empathy and the concept of otherness through an immersive installation. The exploration of becoming a tree as a metaphor for the individual takes place here within a critical posthuman discourse. This reflection is enriched by dynamic animations and visual effects that react in real time to visitors' interactions.

A digital guest book collects visitors' comments, making the work a constantly evolving dialogue, allowing it to evolve and transform through interactions. This component makes each visit a unique and personalized experience, reflecting the diversity of perceptions and reactions to the work.The narration is accompanied by the music of the inanga, a traditional Rwandan instrument, which plays soothing and meditative music. This soundtrack creates an environment conducive to relaxation and contemplation, strengthening the visitors' connection with nature and their own inner selves.

Through these elements, the exhibition invites each visitor on an introspective journey, offering a space for rejuvenation and reconnection with the earth. It is an invitation to rethink our relationship with others and the environment, placing us in a perspective where humans and nature coexist in harmony.

GÉNÉRATION D'ARBRE (FR)

L'exposition immersive ETRE L’AUTRE propose une exploration multisensorielle fascinante de l'empathie et de la notion d'altérité à travers une installation immersive. L'exploration du devenir arbre comme métaphore pour l'individu prend ici place dans un discours posthumain critique. Cette réflexion est enrichie par des animations dynamiques et des effets visuels qui réagissent en temps réel aux interactions des visiteurs.

Un livre d'or numérique recueille les commentaires des visiteurs, faisant de l'œuvre un dialogue en constante évolution, permettant à l'œuvre d'évoluer et de se transformer au fil des interactions. Cette composante fait de chaque visite une expérience unique et personnalisée, reflétant la diversité des perceptions et des réactions face à l'œuvre.

Une narration est accompagnée par la musique de l'inanga, un instrument traditionnel rwandais, qui joue une musique apaisante et méditative. Cette bande sonore crée un environnement propice à la détente et à la contemplation, renforçant le lien des visiteurs avec la nature et leur propre intériorité.À travers ces éléments, l'exposition invite chacun à un voyage introspectif, offrant un espace de ressourcement et de reconnexion avec la terre. C'est une invitation à repenser notre relation à l'autre et à l'environnement, en nous plaçant dans une perspective où l'humain et la nature coexistent en harmonie.

NUO RANKU IKI AUSU (From Hands to Ears) (EN)

The multisensory artwork is a technological device combining visual arts, sound and musical compositions, as well as tactile and vibratory sensations. Participants are invited to explore a pictorial artwork using their hands, created on-site by artist Marven Clerveau.

Filmed by an overhead camera, the hands are detected by Derivative's TouchDesigner software, accompanied by algorithms from the MediaPipe machine learning solution. Various positional, movement, and color information is sent to audio equipment via Ableton software to generate the sound environments composed of a blend of natural, urban and musical sounds. Different sound vibrations are transmitted to the participant's body using the Subpac tactile audio system, particularly those arising from hand friction captured by a piezoelectric microphone directly on the artwork.

NUO RANKU IKI AUSU (Des mains jusqu’aux oreilles) (FR)

L’œuvre multisensoriel est un dispositif technologique rassemblant arts plastiques, compositions sonores et musicales ainsi que sensations tactiles et vibratoires. Les participants sont invités à parcourir à l’aide de leurs mains une œuvre pictural, réalisé sur les lieux par l’artiste Marven Clerveau.

Filmé par une caméra en contre-plongée, les mains sont détectées par le logiciel Touch Designer de la compagnie Derivative, accompagné des algorithmes de la solution d’apprentissage automatique MediaPipe. Différentes informations de positions, de mouvement et de couleurs sont envoyées vers les équipements audios par l’intermédiaire du logiciel Ableton, afin de générer les environnements sonores composées d’un mélange de sonorités naturels, urbaines et musicales.

Différentes vibrations sonores sont transmises dans le corps du participant à l’aide du système audio tactile Subpac, en particulier celles provenant du frottement des mains captée par un microphone piézoélectrique posé directement sur l’œuvre.