iCub

h1. Nina beaming 2026

Changes in Nina (hardware), in middleware (now YARP3) and in computers (icub-laptop with Ubuntu 22, Mical-008 with Ubuntu 24) makes it mandatory to redevelop the Beaming platform.

Old "cluster" could not be used anymore (YARP image format has changed...)

h2. Changes in Nina

* eyelids min/max and direction

h2. Changes on icub-head

* new PA_yarpmic (stereo, 48kHz)

* new PA_yarphear (mono, 48kHz)

h2. Changes on mical-006

* upgraded to newer yarp (because of the new image format)

* modified/recompiled for YARP 2.3

* new PA_yarpmic (mono, 48kHz)

* new PA_yarphear (stereo, 48kHz)

h2. Changes on mical-008

* changes from conda binary-only YARP to localy compiled YARP + iCub

* compiled support for YARP from python

* now an alias for icub-srv (with /root, not /icub)

* redefined cluster for yarprun

* new app for Bayer cameras

* new versions, compiled:

 - yarp_aruco

 - vrmonitor

 - Start

 - gipsadatadumper (with MJPG video) + Video

 - Head

 - gaze_thread

h2. Changes on icub-laptop

* recompiled binaries/new versions for the beaming

 - yarp_aruco

 - vrmonitor, Start...

h2. Plan du Stage

* Mettre à jour la documentation Beaming de Nina pour HTC Vive

* Valider la synchronisation visuelle

* Remettre en place une procédure d'enregistrement audio (même horloge pour les cartes vidéos et audios)

* Valider les synchronisations d'un enregistrement complet

* Construire un outil pour afficher les cibles 3D combinant regard et mouvement de tête

* Construire un scénario

* Campagne d'enregistrement avec 10-20 sujets

h2. Checklist David

* *DONE :* Lire l'extrait de la thèse de Léa   https://theses.hal.science/tel-04957993    page 38+ puis 129

* Regarder les parties utiles de la doc de la carte son **fireface ucx ii**

* *DONE :* Lire la documentation QTM   https://docs.qualisys.com/qtm-rt-protocol/#command-packet et https://docs.qualisys.com/qtm/content/techref/rt_protocol.htm

* Capturer un event dans Audacity ? lire la doc scripting Audacity https://manual.audacityteam.org/man/scripting.html

* *DONE :* Expliciter la procédure pour synchroniser les horloges CPU 

*sur mical-008:*  _sudo systemctl start chrony_

*sur icub-head:*  _sudo ntpdate 192.168.70.52_

*sur mical-008:*  _sudo systemctl stop chrony_

-(tester: ntpdate p-captif ou ntpdate lnx-install.gipsa-lab.grenoble-inp.fr -- ou chrony ?)-

* *DONE :* Premier enregistrement vidéo

Doc. : https://www.yarp.it/v3.5/yarpdatadumper.html

* *ON GOING :* Valider la synchronisation visuelle des cameras

* *DONE :* Vérifier la chaîne des timestamps 

  - Depuis icub/cam/left jusqu'à vr...out : les mêmes ? *Oui* mais *différent entre droit et gauche*

  - Est-ce influencé par la date icub-head? *Oui*

  - Timestamp d’émission ou de réception ? *Émission*

* *DONE :* Essayer d'ajouter naggle algorithm au port de sorti sur windows 

  Est-ce que le délai a été raccourci ? *Non* , dû moins pas suffisamment pour le constater 

* *DONE :* Écrire un script python _info_expe.py_ qui créer un fichier _.txt_ dans _Documentation_ avec des informations utiles des expe précédentes 

* *DONE :* Modifier _mk_sound_index_ pour l'adapter à notre situation, sachant les horloges synchronisés, pour afficher les croix du gaze

* Yarpdevice (dualgrabber?) qui contrôle les deux caméras icub-head en même temps https://www.yarp.it/v3.7/group__grabber__basic.html

* Remettre en place la procédure de mouvement de mâchoire ou avec python procédure de capture de mouvement sans les marqueurs 

* Sous python, utilisé la classe minimal jerk pour augmenter la fréquence des trajectoires

* Modifier le code python en modele directe: ~/gipsa_dev/_beaming/ABC_head/py_DirectModel$ ./show_gaze_dual.py

* Gagner du temps sur les Start avec un broadcast ? Faire des tests de Start

* *DONE :* Faire un enregistrement avec 4 caméras

* Effectuer un enregistrement de test complet (vidéo + mouvement + son) pour valider toutes les synchronisations

h2. Tâches parallèles

* *DONE :* Suivre le tutoriel yarp + python   https://github.com/s4hri/yarp-python-tutorials

* *DONE :* Programmer une application python pour détecter des visages avec opencv   https://docs.opencv.org/3.4/db/d28/tutorial_cascade_classifier.html

* *DONE :* Programmer un code python qui combine yarp et opencv pour détecter les visages en direct