Entre attente et réalité: Quelle est la qualité de l’intelligence artificielle ??

Dans cet article, réalisé par Maximilian Sand, Chef d'équipe Intelligence Artificielle chez Dallmeier Electronic, se ponen de relieve algunos principios básicos que permiten valorar la funcionalidad y beneficio del análisis de vídeo basado en Inteligencia Artificial.

L'analyse vidéo basée sur l'Intelligence Artificielle (IA) promet un saut quantique dans la technologie avec un grand bénéfice pour le client. Mais seulement si l'utilisateur critique - ou ce qui revient au même, informé- est capable d'évaluer correctement la technologie.

Depuis longtemps déjà, la technologie de vidéosurveillance intègre des procédures basées sur l'Intelligence Artificielle. De plus en plus d'applications et de nouveaux produits utilisent des algorithmes pour offrir de nouvelles analyses ou rendre plus robustes celles déjà existantes.

L'objectif est une valeur ajoutée claire pour les utilisateurs, et les résultats parlent d'eux-mêmes. Si dans le passé, par exemple avec le traitement classique de l'image, il fallait un grand effort pour reconnaître de manière fiable un arbre secoué par le vent comme fausse alarme, aujourd'hui une IA le fait sans problème.

La caractéristique essentielle distinctive entre les analyses d'image ou de vidéo avec traitement classique de l'image et celles avec intelligence artificielle est que les algorithmes ne sont plus seulement programmés mais enseignés, avec une grande quantité de données.

Grâce à ces données, le système apprend à reconnaître des motifs et ainsi, Par exemple, différencier un arbre d'un intrus. Mais le concept d'apprentissage mécanique pose également de nouveaux problèmes et défis.

Un exemple notable en est les différences dans la qualité de reconnaissance de différents groupes ethniques, un problème qui est même arrivé à faire la une des journaux. Bien que le fond soit relativement simple: ce n'est que lorsqu'il existe des données en quantité suffisante et avec une diversité et une répartition suffisantes, qu'une Intelligence Artificielle peut apprendre de manière robuste.

Qualité du système IA

Tout cela amène à se demander la capacité de performance d'un système utilisant l'intelligence artificielle. Quelles mesures servent à pouvoir comparer, Par exemple, deux procédures, différents systèmes ou fabricants? ¿Qué significa si en un folleto se promete por ejemplo una “precisión de detección del 95%” o un “reconocimiento fiable”? ¿Cómo de buena es una precisión del 95%? Oui, en définitive, ¿qué es un reconocimiento fiable?

Pour ça, antes que nada, hay que entender cómo pueden evaluarse los procedimientos IA. El primer paso es la definición específica por parte de la aplicación y del cliente sobre qué significa “falso” y qué “correcto”, especialmente en casos límite. Par exemple, en un sistema de reconocimiento de personas, ¿hay que valorar una detección como correcta si en la imagen o vídeo no se ve una persona real sino sólo un cartel publicitario con una persona?

Ces paramètres et d'autres doivent être établis. Une fois que cette définition existe, il faut un ensemble de données pour lequel les résultats corrects attendus sont connus.

L'IA analysera cet ensemble de données et déterminera la proportion de détections correctes et fausses. Les mathématiques fournissent à l'utilisateur différentes métriques, comme la sensibilité (proportion des détections attendues qui ont réellement été détectées) ou la précision (proportion des détections qui sont réellement correctes). Ainsi, la 'qualité' de l'IA, en fin de compte, est toujours une déclaration statistique sur l'ensemble de données d'évaluation qui a été utilisé.

Été ou hiver?

Cómo de útil es realmente esta declaración para el usuario o cliente potencial de un sistema depende de la distribución del conjunto de datos. Una evaluación puede certificar un buen rendimiento de detección. Pero si el conjunto de datos se basa exclusivamente en imágenes de meses de verano, esta evaluación no tiene ningún valor informativo sobre la calidad de la IA en invierno ya que las condiciones lumínicas y meteorológicas pueden diferir considerablemente.

Par conséquent, en général, las declaraciones sobre la calidad de un análisis IA -particularmente, aquellos con números concretos como “99,9%”-, hay que tomarlas con cautela cuando no se conocen todos los parámetros. Sin conocimiento del conjunto de datos utilizado, de la métrique appliquée et d'autres paramètres, il n'est pas possible de faire une affirmation claire sur le degré de représentativité du résultat.

Il ne peut y avoir d'indications exactes

Chaque système a ses limites, même, naturellement, les systèmes IA. Par conséquent, connaître les limites est le prérequis de base pour prendre des décisions fondées. Mais ici aussi, statistique et réalité se croisent, comme on peut le voir dans l'exemple suivant. Une IA reconnaît moins bien, logiquement, les objets dans l'image/vidéo plus ils sont petits.

La première question, posée à un utilisateur avant l'achat d'un système, est la distance maximale à laquelle les objets peuvent être détectés, puisqu'elle influence le nombre de caméras nécessaires et, par conséquent, les coûts de l'ensemble du système. Mais indiquer une distance exacte n'est pas possible. Simplement, il n'existe aucune valeur à partir de laquelle l'analyse fournit des résultats 100% corrects et une autre valeur à partir de laquelle une détection n'est pas possible.

Une évaluation ici ne peut fournir que des statistiques telles que, Par exemple, la précision de la détection en fonction de la taille de l'objet.

Mieux vaut comparer directement

Par rapport aux limites du système, il a été choisi de décrire, dans la mesure du possible, les limites du système avec des valeurs minimales ou maximales concrètes: par exemple dans les fiches techniques des produits. Parmi celles-ci, il y aurait la distance minimale ou une résolution minimale.

C'est raisonnable, car les clients ou installateurs ont besoin de points de référence pour pouvoir évaluer le système. Cependant, queda aún mucha incertidumbre, por ejemplo si estos valores límites los indica el fabricante de forma más bien conservadora u optimista. El usuario hará bien en tener siempre presente que en el análisis de vídeo pueden no existir límites claros y definidos.

Con cada sistema será así: también dentro de determinados parámetros se producirán errores y, en même temps, bajo condiciones buenas, se podrán originar resultados útiles, incluso sobrepasado el límite.

Si un usuario desea determinar la verdadera calidad de un análisis basado en IA, esto sólo será posible a través de una comparación directa; los números y parámetros de los distintos fabricantes son demasiado diferentes. Oui, en plus, las condiciones marco y el input, bien sûr, ils doivent être les mêmes dans tous les systèmes.

Un test réel avec des produits de démonstration, empruntés ou similaires, c'est une bonne opportunité pour cela. En plus, la performance du système est montrée exactement dans le cas d'utilisation requis.

Cette, au fait, également la clé pour évaluer la performance des systèmes IA en général: dépend totalement de l'utilisation dans chaque cas. Cela devrait être spécifié le plus précisément possible. Alors, avec la solution correcte, il sera possible d'apporter une véritable valeur ajoutée au client.

Maximilian Sand

Chef d'équipe Intelligence Artificielle de Dallmeier Electronic