¶

Stage "Nina beaming"¶

(David Klora, 05/05/2026 -> 16/06/2026)

Plan du Stage¶

• Mettre à jour la documentation Beaming de Nina pour HTC Vive
• Valider la synchronisation visuelle
• Remettre en place une procédure d'enregistrement audio (même horloge pour les cartes vidéos et audios)
• Valider les synchronisations d'un enregistrement complet
• Construire un outil pour afficher les cibles 3D combinant regard et mouvement de tête
• Construire un scénario
• Campagne d'enregistrement avec 10-20 sujets

Checklist David¶

• DONE : Lire l'extrait de la thèse de Léa
  https://theses.hal.science/tel-04957993 page 38+ puis 129
• DONE : Regarder les parties utiles de la doc de la carte son fireface ucx ii
• DONE : Lire la documentation QTM
  https://docs.qualisys.com/qtm-rt-protocol/#command-packet et https://docs.qualisys.com/qtm/content/techref/rt_protocol.htm
• DROPPED : Capturer un event dans Audacity ? lire la doc scripting Audacity
  https://manual.audacityteam.org/man/scripting.html
• DONE : Expliciter la procédure pour synchroniser les horloges CPU
  sur mical-008: sudo systemctl start chrony
  sur icub-head: sudo ntpdate 192.168.70.52
  sur mical-008: sudo systemctl stop chrony
  (tester: ntpdate p-captif ou ntpdate lnx-install.gipsa-lab.grenoble-inp.fr - ou chrony ?)-
• DONE : Premier enregistrement vidéo
  Doc. : https://www.yarp.it/v3.5/yarpdatadumper.html
• DONE : Valider la synchronisation visuelle des cameras
• DONE : Vérifier la chaîne des timestamps
  - Depuis icub/cam/left jusqu'à vr...out : les mêmes ? Oui mais différent entre droit et gauche
  - Est-ce influencé par la date icub-head? Oui
  - Timestamp d’émission ou de réception ? Émission
• DONE : Essayer d'ajouter naggle algorithm au port de sorti sur windows
  Est-ce que le délai a été raccourci ? Non , dû moins pas suffisamment pour le constater
• DONE : Écrire un script python info_expe.py qui créer un fichier .txt dans Documentation avec des informations utiles des expe précédentes
• DONE : Modifier mk_sound_index pour l'adapter à notre situation, sachant les horloges synchronisés, pour afficher les croix du gaze
• DONE : Changer les messages renvoyés dans le start de memo en event
• DROPPED : Yarpdevice (dualgrabber?) qui contrôle les deux caméras icub-head en même temps
  https://www.yarp.it/v3.7/group__grabber__basic.html
• Synchroniser les caméras de Nina en développement avec une librairie en c++
• DROPPED : Remettre en place la procédure de mouvement de mâchoire ou avec python procédure de capture de mouvement sans les marqueurs
• Sous python, utiliser la classe minimal jerk pour augmenter la fréquence des trajectoires (post process avant training ML)
• DONE : Vérifier la chaine des Timestamps de gaze
• DONE : Modifier le code python en modele directe: ~/gipsa_dev/_beaming/ABC_head/py_DirectModel$ ./show_gaze_dual.py
• DONE : Gagner du temps sur les Start et les rec avec un mcast (multicast) ? Faire des tests de Start
• DONE : Faire un enregistrement avec 4 caméras
• DONE : Effectuer un enregistrement de test complet (vidéo + mouvement + son) pour valider toutes les synchronisations

Tâches parallèles¶

• DONE : Suivre le tutoriel yarp + python https://github.com/s4hri/yarp-python-tutorials
• DONE : Programmer une application python pour détecter des visages avec opencv https://docs.opencv.org/3.4/db/d28/tutorial_cascade_classifier.html
• DONE : Programmer un code python qui combine yarp et opencv pour détecter les visages en direct