Nina beaming 2026¶

Changes in Nina (hardware), in middleware (now YARP3) and in computers (icub-laptop with Ubuntu 22, Mical-008 with Ubuntu 24) makes it mandatory to redevelop the Beaming platform.

Old "cluster" could not be used anymore (YARP image format has changed...)

Changes in Nina¶

• eyelids min/max and direction

Changes on icub-head¶

• new PA_yarpmic (stereo, 48kHz)
• new PA_yarphear (mono, 48kHz)

Changes on mical-006¶

• upgraded to newer yarp (because of the new image format)
• modified/recompiled for YARP 2.3
• new PA_yarpmic (mono, 48kHz)
• new PA_yarphear (stereo, 48kHz)

Changes on mical-008¶

• changes from conda binary-only YARP to localy compiled YARP + iCub
• compiled support for YARP from python
• now an alias for icub-srv (with /root, not /icub)
• redefined cluster for yarprun
• new app for Bayer cameras
• new versions, compiled:
  - yarp_aruco
  - vrmonitor
  - Start
  - gipsadatadumper (with MJPG video) + Video
  - Head
  - gaze_thread

Changes on icub-laptop¶

• recompiled binaries/new versions for the beaming
  - yarp_aruco
  - vrmonitor, Start...

Plan du Stage¶

• Mettre à jour la documentation Beaming de Nina pour HTC Vive
• Valider la synchronisation visuelle
• Remettre en place une procédure d'enregistrement audio (même horloge pour les cartes vidéos et audios)
• Valider les synchronisations d'un enregistrement complet
• Construire un outil pour afficher les cibles 3D combinant regard et mouvement de tête
• Construire un scénario
• Campagne d'enregistrement avec 10-20 sujets

Checklist David¶

• DONE : Lire l'extrait de la thèse de Léa https://theses.hal.science/tel-04957993 page 38+ puis 129
• Regarder les parties utiles de la doc de la carte son fireface ucx ii
• DONE : Lire la documentation QTM https://docs.qualisys.com/qtm-rt-protocol/#command-packet et https://docs.qualisys.com/qtm/content/techref/rt_protocol.htm
• Capturer un event dans Audacity ? lire la doc scripting Audacity https://manual.audacityteam.org/man/scripting.html
• DONE : Expliciter la procédure pour synchroniser les horloges CPU
  sur mical-008: sudo systemctl start chrony
  sur icub-head: sudo ntpdate 192.168.70.52
  sur mical-008: sudo systemctl stop chrony
  (tester: ntpdate p-captif ou ntpdate lnx-install.gipsa-lab.grenoble-inp.fr - ou chrony ?)-
• DONE : Premier enregistrement vidéo
  Doc. : https://www.yarp.it/v3.5/yarpdatadumper.html
• ON GOING : Valider la synchronisation visuelle des cameras
• DONE : Vérifier la chaîne des timestamps
  - Depuis icub/cam/left jusqu'à vr...out : les mêmes ? Oui mais différent entre droit et gauche
  - Est-ce influencé par la date icub-head? Oui
  - Timestamp d’émission ou de réception ? Émission
• DONE : Essayer d'ajouter naggle algorithm au port de sorti sur windows
  Est-ce que le délai a été raccourci ? Non , dû moins pas suffisamment pour le constater
• DONE : Écrire un script python info_expe.py qui créer un fichier .txt dans Documentation avec des informations utiles des expe précédentes
• DONE : Modifier mk_sound_index pour l'adapter à notre situation, sachant les horloges synchronisés, pour afficher les croix du gaze
• Yarpdevice (dualgrabber?) qui contrôle les deux caméras icub-head en même temps https://www.yarp.it/v3.7/group__grabber__basic.html
• Remettre en place la procédure de mouvement de mâchoire ou avec python procédure de capture de mouvement sans les marqueurs
• Sous python, utilisé la classe minimal jerk pour augmenter la fréquence des trajectoires
• Modifier le code python en modele directe: ~/gipsa_dev/_beaming/ABC_head/py_DirectModel$ ./show_gaze_dual.py
• Gagner du temps sur les Start avec un broadcast ? Faire des tests de Start
• DONE : Faire un enregistrement avec 4 caméras
• Effectuer un enregistrement de test complet (vidéo + mouvement + son) pour valider toutes les synchronisations

Tâches parallèles¶

• DONE : Suivre le tutoriel yarp + python https://github.com/s4hri/yarp-python-tutorials
• DONE : Programmer une application python pour détecter des visages avec opencv https://docs.opencv.org/3.4/db/d28/tutorial_cascade_classifier.html
• DONE : Programmer un code python qui combine yarp et opencv pour détecter les visages en direct