News

L'IA, les chats et le Covid-19 : quand les faux positifs s'en mêlent !

Vous avez peut-être vu passer récemment ce tweet montrant une intelligence artificielle confondre une photo de poumon atteint de la Covid-19 avec celle d'un chat noir. Et attention, les résultats sont surprenants !

IA et faux positifs, rappel des faits.

Il est nécessaire ici d'avoir en tête 2 concepts majeurs lorsqu'on parle d'Intelligence Artificielle ou de machine learning :

  1. un modèle d'IA fait des prédictions sur la base de ce qu'il a appris. Et il est plus ou moins confiant sur cette prédiction (sans que souvent on ne sache expliquer pourquoi le confiance varie autant)
  2. l'apprentissage d'un modèle se fait souvent (en tous cas dans les situations qui nous intéressent dans cet article) sur la base de données "Exemples", dont la taille est forcément limitées. (pour en savoir plus sur l'apprentissage des modèles)

Ainsi, dans le cas présents, le modèle a appris avec des exemples de radios pulmonaires Covid-19 et Non Covid-19. Il n'a jamais vu de photo de chat, car à priori ce n'est pas pertinent. Il ne verra jamais de photos de chats lorsqu'il accomplira sa tâche.


Capture-decran-2020-06-17-a-08.56.58.png#asset:1456

Le tweet montre les résultats de ces 3 modèles sur 3 types de photos. En résumé, voici ce que montre le tableau des résultats :

  • les modèles ont un taux de confiance très élevé dans leurs prédictions, même les fausses
  • les modèles se trompent tous sur une photo de chat en pensant reconnaître une radio pulmonaire d'un malade

Les faux positifs, c'est négatif ! 😉

Beaucoup de gens ont réagi en disant que c'était normal qu'il y ait une erreur sur la photo du chat car les modèles avaient été entraînés sur des photos pulmonaires, pas des photos de chat. Et de toutes façons, les modèles ne seront jamais confrontés à une photo de chat dans leur utilisation normale. C'est vrai.

Pour autant, ce que pointe du doigt le chercheur ce n'est pas tant l'erreur sur la photo du chat que le niveau de confiance du modèle sur les faux-positifs, déjà sur la photo du milieu mais surtout sur la photo de chat.

Mais assez parlé de la Covid-19 et de chat, parlons chatbot ! En quoi ce cas nous intéresse-t-il dans le cadre de la gestion d'agents conversationnels ?

On peut voir dans le tweet que le modèle se trompe lamentablement sur la photo du chat, qu'il n'a jamais vu. Si il est facile de cadrer la photo qui sera envoyé au modèle dans ce contexte, dans le monde des agents conversationnels et du traitement du langage naturel c'est une autre paire de manche. En effet, l'utilisateur dit ce qu'il veut. Et même si on peut essayer de cadrer le contexte, on n'est jamais à l'abri d'une question totalement imprévue.

Et c'est là que ça se corse. Il est possible d'avoir des modèles de NLP/NLU qui détectent correctement une intention dans une phrase ressemblante à celles utilisées pour l'entraîner, mais il devient beaucoup compliqué de cadrer son comportement sur des éléments totalement inconnus. Et cela peut conduire à des situations problématiques.

Ce qu'il faut retenir de ce tweet :

  • Il est facile d'obtenir un modèle qui effectue des prédictions correctes avec un taux de confiance élevé sur ses propres données d'entraînement
  • Il faut se méfier d'un modèle qui fait des prédictions avec des taux de confiance trop élevé sur des données jamais vues mais qui sont proches du jeu d'entrainement :cela ne veut pas forcément dire qu'il est très bon.
  • Un modèle peut avoir un comportement imprévisible sur des données totalement inconnues et sans lien (sémantique ou pas) avec ce qu'il a appris et donner des faux positifs problématiques (voir notre article sur ce sujet).

N.B : L"auteur a finalement retiré son tweet car il était mal interprété dans le contexte du papier de recherche publié. Il n'en demeure pas moins que les résultats affichées sont réels.

Capture-decran-2020-06-17-a-09.09.07.png#asset:1457

Partager l’article : arrow_backAccueil du Blog