ELOCA, le langage des signes enfin accessible à tous!
A l’occasion de la SEEPH, Semaine Européenne pour l’Emploi des Personnes Handicapées du 20 au 26 novembre 2023, Boris BILLY, Architecte Software au sein de la DTI et CTO, et Mohamed Benabdelkrim, Chef de projet IA, nous présentent le concept ELOCA, le « google » de la traduction de la langue des signes, développé par le département Recherche et Développement Appliqué d’Akkodis.
5 minutes
21st of November, 2023
Boris, Mohamed, pouvez-vous vous présenter?
[Boris] De formation ingénieur Polytechnique Lyon, je possède plus de 20 ans d'expérience dans le développement logiciel. Depuis 2017, je suis Architecte Software au sein de la DTI et CTO d’Akkodis en région Provence-Alpes-Côte d'Azur, et j’ai initié le projet ELOCA chez Akkodis.
[Mohamed] Je suis ingénieur en intelligence artificielle, j’ai rejoint le projet ELOCA en début d’année 2023 afin de piloter le développement des différents modèles de Deep Learning pour la reconnaissance et la traduction des signes.
Quelle est la genèse du projet ELOCA?
[Boris] Ce projet est né à la suite d’une question de ma femme « « Tu ne pourrais pas créer un logiciel capable d’interpréter la langue des signes, car je travaille avec des enfants autistes et/ou sourds et je ne comprends pas ce qu’ils veulent me dire? ». Ma femme travaille dans les "Unités Localisées pour l'Inclusion Scolaire" - Ulis, qui accompagnent les enfants autistes, malentendants ou sourds. De plus, le fils de ma femme souffre de dysphasie sévère.
J’ai donc, dans un premier temps, réfléchi à comment je pouvais trouver une solution à ce problème. Je n’ai malheureusement pas trouvé de solutions clés en main existantes. Après une première étude personnelle, j’en ai parlé à mon manager Akkodis. Ce projet rentrant dans le cadre de notre programme « CARE », nous avons lancé un projet de recherche appliquée sur cette thématique. Aidé par un stagiaire, nous avons, au bout de 8 mois, validé une preuve de concept (en anglais proof of concept, POC) ou plus simplement une démonstration de faisabilité.
Concrètement, Boris, Mohamed, c’est quoi le projet ELOCA?
[Mohamed] Le projet ELOCA vise à développer une application embarquée sur smartphone capable de reconnaître et de traduire en temps réel des signes capturés par caméra.
[Boris] La priorité pour le projet est d’appliquer la solution de reconnaissance aux langues des signes utilisées par les communautés sourdes muettes et principalement la LSF qui est la langue de signes la plus courante en France.
Dans sa version finale, cette solution intégrera les trois principaux dictionnaires de signes : LSF (Langage des signes Français), ASL (Langage des signes Américains), Makaton (Langage simplifié, utilisé par les enfants).
Et dans un second temps, nous avons pour objectif que cette solution constitue un socle pour pouvoir reconnaitre des signes issus de dictionnaires signes-mots personnalisés pour des applications spécifiques y compris dans des environnements contraints ou critiques.
[Mohamed] Pour atteindre ce premier objectif évoqué par Boris, nous allons devoir entrainer, pour chaque langue de signes, un modèle d’IA capable de reconnaitre et de traduire en temps réel les signes capturés par caméra.
Ces modèles d’IA se basent sur l’identification, dans chaque image de la vidéo capturée, des positions relatives de points marqueurs disposés sur les mains, les bras, le torse et le visage.
Leur entrainement nécessite de constituer, pour chaque langue de signes, un jeu de données d’entrainement sous la forme d’un dictionnaire mots-signes contenant de nombreux enregistrements vidéo par signe.
Actuellement, les modèles d’IA que nous avons développés permettent de reconnaitre des signes isolés de l’ASL avec une précision supérieure à 90 % sur un dictionnaire de 250 signes.
Afin d’améliorer nos modèles d’IA, nous mettons en place, en interne pour les salariés d’Akkodis, une plateforme web d’apprentissage des langues de signes qui sera mise en ligne en janvier. Cette plateforme permettra aux différents collaborateurs de l’entreprise de participer à la construction des dictionnaires de signes en s’enregistrant avec leur webcam.
Le principal défi technique auquel on est confronté réside dans la reconnaissance et la traduction de signes continus : des ensembles de signes réalisés en série et exprimant des phrases.
Quels sont les améliorations et futurs développements en cours?
[Boris] L’application Android est en cours de développement, avec une gestion de mode déconnecté, permettant d’utiliser l’application sans avoir besoin d’une connexon internet.
[Mohamed] L’axe d’amélioration prioritaire est la prise en charge de la LSF par les modèles de reconnaissance d’ELOCA. Pour cela, il est nécessaire de disposer d’un grand nombre d’enregistrements de signes de la LSF que nous obtiendrons grâce à la plateforme web.
Un autre axe d’amélioration réside dans l’amélioration continue des modèles de reconnaissance par l’augmentation de leur précision avec l’acquisition de nouveaux enregistrements de signes et par l’élargissement du dictionnaire de signes pouvant être reconnus par le modèle.
Aussi, de nouvelles architectures de modèles de réseaux de neurones seront testées pour réaliser la reconnaissance d’autres langues de signes mais aussi pour réaliser la reconnaissance des signes continue. Enfin, dernier développement envisagé, la réalisation de la traduction dans le sens inverse en traduisant des phrases parlées en des signes réalisés par un avatar animé.
Boris, à quand une solution opérationnelle?
Nous l’espérons en 2024 avec une mise à disposition de l’application mobile « smartphone » dans les écoles de la région PACA et au sein des "Unités Localisées pour l'Inclusion Scolaires", Ulis écoles, ou des différents IME.
A propos d’Akkodis
Akkodis est un acteur mondial de l’ingénierie et de l’IT et un leader dans la smart industrie. Nous accompagnons nos clients dans leurs projets de transformation digitale via 4 lignes de service : Consulting, Solutions, Talent et Academy. Akkodis est un partenaire technologique de confiance pour ses clients de toutes industries à l’échelle internationale. Nous co-créons et nous imaginons des solutions de pointe pour répondre aux défis majeurs de notre société, qu'il s'agisse d'accélérer la transition énergétique et de développer la mobilité verte, ou encore de construire des approches centrées sur les utilisateurs et les patients.
Imprégnés d’une forte culture de l’inclusion et de la diversité, nos 50 000 experts en IT et en ingénierie répartis dans 30 pays combinent les meilleures compétences technologiques et une connaissance transverse de toutes les industries pour façonner un futur plus durable. Nous sommes passionnés par l’idée d’inventer ensemble un avenir meilleur.
Akkodis fait partie de The Adecco Group.
A propos de la SEEPH 2023
La 27ème Semaine européenne pour l’emploi des personnes handicapées (SEEPH), LADAPT, l’Agefiph et le FIPHFP proposent de se réunir et de débattre dans toute la France autour d’une thématique: « LA TRANSITION NUMÉRIQUE: UN ACCÉLÉRATEUR POUR L’EMPLOI DES PERSONNES EN SITUATION DE HANDICAP? »
Le temps d’une semaine, l’objectif est de faire se rencontrer entreprises, politiques, associations, société civile et bien entendu demandeurs d’emploi en situation de handicap.
La SEEPH est l’occasion de s’interroger sur les différents dispositifs mis en place pour faciliter l’insertion professionnelle des personnes en situation de handicap. C’est un moment d’échange et de partage où l’on peut s’informer et sensibiliser sur le travail des personnes en situation de handicap. Comme pour les éditions précédentes, LADAPT, l’Agefiph et le FIPHFP sont co-organisateurs et proposeront plusieurs rendez-vous communs autour des thématiques sociales et sociétales liées à l’emploi.
Mais la SEEPH, c’est aussi et surtout des actions concrètes pour faciliter le recrutement. Un peu partout en France seront organisés des événements pour favoriser la rencontre entre entreprises et demandeurs d’emploi: HandiMouv’Emploi, forums…