Nina beaming 2026 » Historique » Révision 56
Révision 55 (Frederic Elisei, 03/06/2026 09:53) → Révision 56/64 (Frederic Elisei, 03/06/2026 11:15)
h1. Nina beaming 2026 Changes in Nina (hardware), in middleware (now YARP3) and in computers (icub-laptop with Ubuntu 22, Mical-008 with Ubuntu 24) makes it mandatory to redevelop the Beaming platform. Old "cluster" were could not compatible be used anymore (YARP image format has changed, OS libraries and tools updated...) changed...) h2. Changes in Nina * eyelids min/max and direction h2. Changes on icub-head * new PA_yarpmic (stereo, 48kHz) * new PA_yarphear (mono, 48kHz) h2. Changes on mical-006 * upgraded to newer yarp (because of the new image format) * modified/recompiled for YARP 2.3 * new PA_yarpmic (mono, 48kHz) * new PA_yarphear (stereo, 48kHz) h2. Changes on mical-008 * localy compiled YARP3 + iCub (from the superbuild procedure) * compiled support for YARP from python * now an alias for icub-srv (with /root, not /icub) * redefined cluster for yarprun * new app for Bayer cameras * new versions, compiled: - yarp_aruco - vrmonitor - Start - gipsadatadumper (with MJPG video for VideoLogs) + Video - Head - gaze_thread h2. Changes on icub-laptop * recompiled binaries/new versions for the beaming - yarp_aruco - vrmonitor, Start... h2. Changes on cluster * icub-001 and icub-002 are back (with ubuntu 22) - same yarp/icub sources, recompiled with superbuild procedure - recompiled: aruco and gipsadatadumper (with MJPG video for VideoLogs) - !!! UDP error if deporting camCalib; fast_tcp should be used ??? different libACE version ? h2. Plan du Stage * Mettre à jour la documentation Beaming de Nina pour HTC Vive * Valider la synchronisation visuelle * Remettre en place une procédure d'enregistrement audio (même horloge pour les cartes vidéos et audios) * Valider les synchronisations d'un enregistrement complet * Construire un outil pour afficher les cibles 3D combinant regard et mouvement de tête * Construire un scénario * Campagne d'enregistrement avec 10-20 sujets h2. Beaming state Checklist David * neck and *DONE :* Lire l'extrait de la thèse de Léa https://theses.hal.science/tel-04957993 page 38+ puis 129 * Regarder les parties utiles de la doc de la carte son **fireface ucx ii** * *DONE :* Lire la documentation QTM https://docs.qualisys.com/qtm-rt-protocol/#command-packet et https://docs.qualisys.com/qtm/content/techref/rt_protocol.htm * Capturer un event dans Audacity ? lire la doc scripting Audacity https://manual.audacityteam.org/man/scripting.html * *DONE :* Expliciter la procédure pour synchroniser les horloges CPU *sur mical-008:* _sudo systemctl start chrony_ *sur icub-head:* _sudo ntpdate 192.168.70.52_ *sur mical-008:* _sudo systemctl stop chrony_ -(tester: ntpdate p-captif ou ntpdate lnx-install.gipsa-lab.grenoble-inp.fr -- ou chrony ?)- * *DONE :* Premier enregistrement vidéo Doc. : https://www.yarp.it/v3.5/yarpdatadumper.html * *ON GOING :* Valider la synchronisation visuelle des cameras * *DONE :* Vérifier la chaîne des timestamps - Depuis icub/cam/left jusqu'à vr...out : les mêmes ? *Oui* mais *différent entre droit et gauche* - Est-ce influencé par la date icub-head? *Oui* - Timestamp d’émission ou de réception ? *Émission* * *DONE :* Essayer d'ajouter naggle algorithm au port de sorti sur windows Est-ce que le délai a été raccourci ? *Non* , dû moins pas suffisamment pour le constater * *DONE :* Écrire un script python _info_expe.py_ qui créer un fichier _.txt_ dans _Documentation_ avec des informations utiles des expe précédentes * *DONE :* Modifier _mk_sound_index_ pour l'adapter à notre situation, sachant les horloges synchronisés, pour afficher les croix du gaze ok * pilote+robot/subjects audio communication ok Yarpdevice (dualgrabber?) qui contrôle les deux caméras icub-head en même temps https://www.yarp.it/v3.7/group__grabber__basic.html * qualisys video recording ok (2 or Remettre en place la procédure de mouvement de mâchoire ou avec python procédure de capture de mouvement sans les marqueurs * Sous python, utiliser la classe minimal jerk pour augmenter la fréquence des trajectoires (post process avant training ML) * Modifier le code python en modele directe: ~/gipsa_dev/_beaming/ABC_head/py_DirectModel$ ./show_gaze_dual.py * Gagner du temps sur les Start avec un broadcast ? Faire des tests de Start * *DONE :* Faire un enregistrement avec 4 cameras) caméras * fireface audio recording ok (4 channels/8). Also records TTL output from qualisys Effectuer un enregistrement de test complet (vidéo + mouvement + son) pour valider toutes les synchronisations h2. Tâches parallèles * *DONE :* Suivre le tutoriel yarp + python https://github.com/s4hri/yarp-python-tutorials * see also [[Nina_beaming_stage_2026|stage David Klora]] *DONE :* Programmer une application python pour détecter des visages avec opencv https://docs.opencv.org/3.4/db/d28/tutorial_cascade_classifier.html * *DONE :* Programmer un code python qui combine yarp et opencv pour détecter les visages en direct