Projet technologique

Contexte

Face au foisonnement des images à notre disposition, le besoin de modéliser numériquement le mouvement cognitif permettant de comprendre la métaphore (le message, le sens) d’une image au travers de l’association des éléments graphiques qui la composent, est de plus en plus prégnant.

Il existe des algorithmes de Deep Learning capables d’identifier chaque élément graphique d’une image. En revanche, il n’existe pas de solution permettant de raisonner sur la présence (ou l’absence) de ces éléments pour détecter le sens global d’une image.

Innovation

Notre prototype numérique permet :

• la définition précise d’une taxonomie d’un domaine (le langage de description sans ambiguïté),
• l’apprentissage pour la reconnaissance d’image par un algorithme de Deep Learning selon les termes de cette taxonomie,
• la construction de règles de raisonnement pour représenter le mouvement cognitif humain sur l’ensemble de ces termes,
• le raisonnement permettant d’identifier pour un domaine précis, le sens d’une image.

Ce système a été construit et appliqué dans le cadre d’un projet de recherche sur les enluminures médiévales : http://illumination.checksem.fr/

Il a été utilisé par les médiévistes pour exprimer numériquement le sens caché des enluminures médiévales, ainsi que l’influence de ces images sur la perception de la réalité à l’époque du Duc de Bourgogne.

Ce système pourrait être utilisé pour classer des images par leur sens et faciliter ainsi la détection de problèmes d’incohérence sur une combinaison d’éléments graphiques. Il permettrait d’effectuer des recherches d’images sur le sens et non sur un ensemble de labels d’éléments graphiques composant l’image.

Bénéfices

• Adaptable à tous les domaines
• Indexation des images par leur sens