Aide à l’utilisation des jeux audio

FPMs TCTS - Multitel

 

Télécharger ici

 

 

Bienvenue dans ces jeux interactifs basés sur l'analyse acoustique du signal vocal. Le logiciel que vous avez installé a été développé au laboratoire TCTS (http://tcts.fpms.ac.be) de la Faculté Polytechnique de Mons (FPMs : www.fpms.ac.be), en collaboration avec MULTITEL ASBL (www.multitel.be).

Les algorithmes qui constituent le cœur de ce logiciel ont été développés par Mamadou DIALLO, dans le cadre de son travail de fin d'études d'Ingénieur Civil Electricien (2004). La mise en forme finale du logiciel a été financée par le réseau d'excellence européen SIMILAR (www.similar.cc), dont la FPMs et MULTITEL ASBL font partie, et qui rassemble au niveau européen 32 laboratoires de recherche travaillant dans le domaine des interfaces homme-machine.

 

1.     Activation du microphone

·        Utiliser la zone de lancement rapide : Vous disposez sur le bureau, sur la barre des tâches d’une icône indiquant le volume. Double cliquez sur cette icône, puis aller dans le menu ‘options’. Ensuite, choisissez ‘enregistrement’, puis ok. Dans la nouvelle fenêtre, cochez la case ‘microphone’ et positionnez le curseur au quart.

·        Utiliser le menu démarrer : Aller dans ‘paramètres’, puis ‘panneau de configuration’, puis ‘sons et Multimédia’. Ensuite, choisissez la fenêtre ‘audio’, puis cliquer sur ‘Volume’ dans ‘enregistrement des sons’. Cochez la case ‘Microphone’ et positionner le curseur au quart.

 

2.     Calibrage

Pour une première utilisation du logiciel, il est impératif de procéder au calibrage du volume sonore. Le but de ce calibrage est de fixer les valeurs de volume minimal et maximal en vue d'associer des valeurs d'énergie de la voix à des positions à l'écran entre autres.

Vous pourrez changer le calibrage (les bornes d’énergie) à tout moment, à condition de ne pas exécuter simultanément une des interfaces de jeu.

      Pour vérifier que le calibrage et le choix du gain du microphone ont été bien fait, lancez le jeu ‘Casse-Musiques’, choisissez le jeu 2 (appuyer sur la touche 2 du clavier) et testez. Si le déplacement de la barre est très sensible, diminuez le gain du microphone et réessayez.

 

3.     Description des jeux

v    Premier jeu : Casse-Musiques

            L’interface est composée de :

·        Un ballon, provenant du ciel et dont la position d’origine est aléatoire, tombe avec une trajectoire rectiligne. Ce ballon rebondit au contact des parois latérales de l’interface, avec un angle égal à l’angle d’incidence. Ce ballon finit sa course dans l’eau s’il n’est pas arrêté et, quelques instants après sa chute, un autre ballon apparaît dans le ciel. S’il est arrêté, il rebondit vers le ciel.

·        Une caisse (ou une barre, les deux sont possibles), de largeur donnée est placée un peu au-dessus de l’eau. Le déplacement de cette caisse est géré par l’énergie de la voix, et ce déplacement se limite à l’horizontal. Le rôle de la caisse est d’arrêter le ballon pour qu’il rebondisse.

·        Un hélicoptère qui tourne en émettant un son à chaque fois qu’il est touché par le ballon.

·        Deux oiseaux qui volent et émettent des cris quand ils sont touchés.

·        Une note de musique qui subit une rotation en émettant le son qui lui est associé quand elle est touchée.

·        Une planète qui s’éloigne et émet un son à chaque fois qu’elle est touchée.

·        Enfin, une sorcière qui fait rétrécir la caisse à chaque fois qu’elle est touchée.

 


Figure 1 : Représentation de l’interface du jeu ‘Casse-Musiques

           

Le but du jeu consiste donc, à déplacer la caisse avec l’énergie de sa voix, pour capter le ballon afin que celui-ci rebondisse et aille toucher des objets dans le ciel.

A chaque objet touché, le joueur gagne 20 points, et à chaque fois que le ballon tombe dans l’eau, il perd 10 points.

Nous avons conçu quatre manières différentes de gérer le déplacement de la caisse avec l’énergie :

1.      Déplacement absolu : La position de la caisse à l’écran est calculée en fonction du niveau d’énergie de la voix. Ainsi, la position à l’extrême gauche de l’écran correspond au seuil de parole (Emin), c'est-à-dire l’énergie correspondant au bruit en l’absence de parole. La position à l’extrême droite correspond à une énergie élevée fixée par expérience (Emax). La fonction qui associe l’énergie à la position de la caisse à l’écran est une fonction linéaire :

     


Il existe deux jeux pour lesquels le déplacement de la caisse est géré par ce principe.

·        Pour le premier (touche 2 du clavier), il faut garder une énergie constante si on veut maintenir la caisse à une position donnée de l’écran, à défaut de quoi la caisse se mettra à vibrer.

·        Pour le second (touche 3 du clavier), pour fixer la caisse à une position donnée, il suffit de fournir l’énergie qu’il faut en une fois, après quoi on peut arrêter de parler sans que la caisse ne bouge comme dans le premier cas.

2.      Déplacement relatif : La caisse a cette fois-ci un mouvement horizontal continu et  change de sens à chaque collision avec les  bords (gauche et droit) de l’interface. Si on veut changer le sens du mouvement de la caisse, il faut fournir une énergie de niveau donné en fonction du niveau d’énergie précédemment fourni. L'utilisateur doit donc mémoriser constamment le niveau d'énergie précédemment fourni.

Il existe également deux jeux dont le mouvement de la caisse est géré comme ceci:

·       Pour le premier (touche 1 du clavier), si la caisse va vers la gauche et qu’on a envie de l’amener vers la droite, on fournit une énergie supérieure à la précédente. Et si on se rend compte qu’il faut ramener la caisse vers la gauche pour capter le ballon, il faut fournir une énergie inférieure à celle fournie précédemment. Et ainsi de suite.

·       Pour le second (touche 4 du clavier), le changement de sens dépend de l’évolution pendant un certain temps, du niveau d’énergie. Si l’énergie est croissante pendant un certain temps (de l’ordre d’1 seconde), la caisse change de sens si elle allait vers la gauche. Et si l’énergie est décroissante pendant, la caisse change de sens si elle allait vers la droite.

Ces deux derniers jeux s’adressent aux plus grandes personnes, car ils nécessitent une certaine technique, alors que les 2 premiers sont accessibles aux enfants car ils sont plus intuitifs.

 

v    Deuxième jeu : Chasse aux Voyelles

L’interface est composée de plusieurs ‘oiseaux-voyelles, qui représentent des oiseaux mais dont le dos est tacheté d'une voyelle. Ces oiseaux-voyelles traversent l’interface de gauche à droite en suivant  une trajectoire aléatoire. A chaque fois qu’un oiseau-voyelle sort du cadre, un autre y est injecté aléatoirement. Le nombre d’oiseaux-voyelles simultanément présents dans le cadre est fixé à trois. La Figure 2 montre l’interface de ce jeu, avec uniquement trois voyelles sur l’écran, et une caisse représentant la position du couple (premier formant, deuxième formant) de la tranche de parole présente:


Figure 2 : Représentation de l’interface du jeu ‘Chasse aux Voyelles’

 

Quand l’utilisateur prononce le nom d’une voyelle correctement, l’oiseau-voyelle est secoué. Si l’énergie de la voix de l’utilisateur à ce moment est inférieure à un seuil fixé, l’oiseau-voyelle vibre dans tous les sens et son déplacement est ralenti. Si cette énergie dépasse le seuil, alors l’oiseau-voyelle vibre et son déplacement est accéléré.

A chaque fois que l’utilisateur touche un oiseau-voyelle, il gagne des points et s’il n’en touche pas un jusqu’à ce qu’il sorte du cadre, il perd des points.

 

v    Troisième jeu : Chasse aux Trésors

            La Figure 3 montre cette interface, avec les trésors et la caisse qu’il faut déplacer pour les atteindre :


Figure 3 : Représentation de l’interface du jeu ‘Chasse aux Trésors’

 

            On associe chaque axe de l’interface à une des deux caractéristiques de la parole : l’énergie est associée à l’axe des ordonnées alors que le pitch est associé à l’axe des abscisses. Il existe donc une bijection entre les valeurs d’énergie et de pitch de chaque tranche, et la position à l’écran d’une caisse. L’axe des abscisses part des voix graves à gauche, aux voix très aiguës à droite. L’axe des ordonnées part du silence (énergie du bruit ambiant) en bas, à une énergie élevée tout en haut.

            Le but du jeu est de jauger son énergie et sa fréquence fondamentale pour amener une caisse aux positions des trésors. La contrainte du jeu est qu’on ne doit prendre un trésor que si tous les trésors qui le précèdent ont été pris. Autrement, il y a une pénalité.