Notre actualité

Objectif

Des systèmes pour écrire par la pensée via les ondes cérébrales P300 (et un stimulus visuel) existent dans les laboratoires, et peuvent être adaptés à moindre coût via l’association du logiciel open sourceP300SPeller de l’INRIA et du casque d’électroencéphalographie (EEG) EMOTIV EPOC, cf. le projet qui a donné naissance à EDICO en 2016.
 
Toutefois, ce système de démonstration n’est pas adapté à un usage prolongé pour un malade alité et paralysé pour 2 raisons :

• Nécessité d’humecter à intervalles régulier les électrodes du système de capteurs EEG
• Ergonomie du capteur EEG qui n’est pas adaptée à la position de la tête constamment posée sur un oreiller

Notre objectif est de trouver, fabriquer ou modifier un casque EEG existant et de le faire fonctionner de façon prolongée avec le logiciel P300 SPELLER. De plus nous voulons éviter d’avoir à utiliser tout matériel ou logiciel propriétaire pour minimiser les couts et faciliter les développements et modifications.

État d’avancement

Nous disposons aujourd’hui d’une chaine matérielle et logicielle open source permettant d’épeler des lettres par la pensée grâce aux ondes P300. C’est un grand progrès par rapport au système dont nous avions démontré le fonctionnement en 2016, qui utilisait un matériel commercial à code propriétaire pour l’acquisition des données EEG :

• Logiciel P300Speller en surcouche de la plateforme OPENVibe : développé par l’INRIA à Nice, compilé et configuré sous Linux Ubuntu 18.04 LTS, la distribution Linux grand public la plus répandue.
• Carte d’acquisition OpenBCI Cyton 8 canaux, communiquant via dongle radio-fréquence USB sans fil.
• Cagoule EEG Open BCI (Nouveauté 2021)

Toutefois, la cagoule EEG utilisée nécessite toujours l’adjonction de gel conducteur entre le crâne et les électrodes pour capter un signal correct. Cela ne convient toujours pas pour un usage quotidien et prolongé.

A suivre

• Faire fonctionner les électrodes Thinkpulse avec P300Speller/Openvibe
• Adapter le système de fixation Ultracortex à la position de la tête constamment posée sur un oreiller
• Acquisition d’un casque à électrode sèche 16 canaux consciousLab Corflex (https://conscious-labs.com/eeg-devices/6-4-channels-eeg-headphones.html) pour tester son utilisation avec la technologie open-Source MindAffect (https://www.mindaffect.nl/)

La technique C-VEP (code-modulated visual evoked potentials) utilisée est différente du P300, mais permet de même une commande par la pensée associée à des stimuli visuels sur un écran. Elle est utilisée par le casque grand public NexMind que nous avons testé par ailleurs. Selon des vidéos de recherche confidentielles que nous avons pu consulter, nous avons constaté que, couplée à des électrodes sèches, le système est prometteur pour une utilisation dans le monde réel grâce à une rapidité accrue.

De plus, ce casque pourrait constituer une nouvelle base de travail pour fabriquer un système de fixation d’électrode EEG adapté au cas d’un malade alité.

Objectif

• Fabriquer un bandeau à contacteur musculaire pour un coût 10x inférieurs à un système du commerce.

Damien utilise au quotidien un contacteur musculaire du commerce comme système d’appel malade et en particulier en cas d’urgence quand son ordinateur n’est pas branché. D’autre part, associé à une interface USB pour ordinateur, il peut être utilisé pour commander un logiciel à interruption de défilement comme ACAT (https://01.org/ACAT) ou pictoCom (https://www.access-man.com/pictocom-aide-a-la-communication/)

Toutefois, il est relativement onéreux et nous cherchons à reproduire ce système en divisant son coût. (Cf. notre première tentative : https://edico-asso.fr/nos-projets/bandeau-geronimo)

La solution actuelle se compose d'un bandeau CIMIS (fournisseur spécialisé) avec un coût de 800 € (boitier+capteur 700 € / interface usb 100 €).

La nouvelle solution utilise un clone Arduino et une pastille piezo pour un coût total inférieur à 20 €.

État d’avancement

Un prototype basée sur une carte électronique clone de Arduino à bas coût (Suivant l’idée d’Arnaud Quette et Pierre Navarro - EATON ) et un capteur à partir d’une simple pastille piézo-électrique a été fabriqué.

L’algorithme de détection du mouvement du sourcil est une détection de pics dans le signal piézo-électrique, avec un seuil réglable et adaptatif en fonction de la dispersion standard du signal, basé sur le projet open-source peakDetection (https://github.com/leandcesar/PeakDetection)

L’interface USB avec ordinateur est native et permet d’émuler une frappe clavier, et donc de commander une interruption de défilement compatible avec ACAT ou pictoCom

Le système fonctionne bien mais pour les mouvements de sourcil les plus ténus, il reste quelques fausses détections dues au bruit du signal généré par l’électronique. (En particulier lorsque le système est alimenté par la prise USB d’un ordinateur)

A suivre

• Améliorer le rapport signal/bruit en filtrant et/ou utilisant une carte d’acquisition de meilleure qualité
• Packager le système (boitier)
• Publier le projet et sa documentation en open Source sur instructable ou gitHub par exemple

Par Joseph DEFRETIN - Probayes

Objectif

Réaliser un système de suivi oculaire fonctionnant sans caméra spécialisée (Pas d’infra-rouge), qui puisse fonctionner en extérieur ou à travers des lunettes, et qui ne nécessite qu’un minimum voire aucune calibration.

État d’avancement

Joseph a obtenu en 2020 de l'entreprise où il travaille (Probayes, à Inovallée, créée par une équipe de recherche de l’INRIA et du CNRS et devenue filiale du groupe La Poste) un financement de plusieurs mois et un budget matériel pour développer un système de suivi oculaire fonctionnant avec une simple webcam et sur GPU (pc avec carte graphique ou nvidia Jetson). Utilisant des algorithmes d’intelligence artificielle appliquée au traitement d’image et de vidéos, le système détecte automatiquement la position et l’orientation de la tête dans l’espace, puis la position relatives des pupilles, permettant ainsi de commander le mouvement du curseur de la souris en fonction de la direction où on regarde.

Un prototype est fonctionnel et a été testé avec succès par Damien.

A suivre

• Le mouvement de la souris est actuellement programmé en mode « joystick », c’est-à-dire qu’il suit la direction où pointe le regard lorsqu’on l’y laisse un certain temps. Une modification permettant de pointer le curseur directement à l’endroit où se pose le regarde est souhaitable et devrait être possible mais nécessitera sans doute une calibration initiale par l’utilisateur.
• Fabrication d’un support pour zoom pour optique pour la webcam afin de faciliter la positionnement à distance (plusieurs mètres) de la caméra.
• Intégration du logiciel de suivi avec une interface adaptée à l’utilisateur final, inspirée par exemple du système eyeTtech utilisé jusqu’à présent par Damien.

NextMind est une société française qui commercialise depuis 2021 un casque d’interface neuronale qui est l’équivalent d’une poursuite oculaire, mais qui ne nécessite pas de caméra ! C’est utile pour une utilisation conjointe à un casque de réalité virtuelle, pour un utilisateur mobile ou bien si les conditions ne permettent pas l’usage d’une caméra. Il est doté d’électrodes sèches placées à l’arrière du crâne pour capter les signaux du cortex visuel.

Lorsqu’on se concentre sur une zone de l’écran où clignotent de façon « subliminale » des motifs, une « image » de ces motifs est recrée dans le cortex visuel à l’arrière du crâne, et grâce à des algorithmes d’IA calibrés par un apprentissage rapide, le logiciel est capables de reconnaitre cette « image » à travers sa signature mesurée par électro-encéphalographie, et de savoir sur quel zone de l’écran se porte le regard.

Nous avons testé le casque, et cela a très bien fonctionné : c’est bluffant !

Cependant, dans le cas d’un malade alité avec la tête sur un oreiller, un problème majeur se pose : la position des électrodes à l’arrière du crâne. En effet, il parait difficile de positionner le casque lorsque la tête repose en permanence sur un oreiller.