Between expectation and reality: How good is Artificial Intelligence??

En este artículo, realizado por Maximilian Sand, Teamleader Artificial Intelligence de Dallmeier Electronic, se ponen de relieve algunos principios básicos que permiten valorar la funcionalidad y beneficio del análisis de vídeo basado en Inteligencia Artificial.

El análisis de vídeo basado en Inteligencia Artificial (IA) promete un salto cuántico en la tecnología con un gran beneficio para el cliente. Pero sólo si el usuario crítico -o lo que es lo mismo, informado- es capaz de evaluar la tecnología correctamente.

Ya desde hace tiempo, la tecnología de videoseguridad incorpora procedimientos basados en Inteligencia Artificial. Cada vez más aplicaciones y productos nuevos utilizan algoritmos para ofrecer análisis nuevos o hacer más robustos los ya existentes.

El objetivo es un claro valor añadido para los usuarios, y los resultados hablan por sí solos. Si en el pasado, por ejemplo con el procesamiento clásico de imagen, suponía un gran esfuerzo reconocer de forma fiable un árbol movido por el viento como falsa alarma, hoy en día una IA lo realiza sin problemas.

La característica distintiva esencial entre los análisis de imagen o vídeo con procesamiento clásico de imagen y aquellos con inteligencia artificial es que los algoritmos ya no son solamente programados sino enseñados, con una gran cantidad de datos.

Mediante estos datos, el sistema aprende a reconocer patrones y así, For example, diferenciar un árbol de un intruso. But the concept of machine learning also raises new problems and challenges.

A notable example of this is the differences in recognition quality among different ethnic groups, a problem that has even made headlines. Although the underlying principle is relatively simple: only when there is data in sufficient quantity and with sufficient diversity and equal distribution, can an Artificial Intelligence learn in a robust way.

Quality of the AI system

All this leads to questioning the performance capability of a system that uses artificial intelligence. What measures are useful to be able to compare, For example, two procedures, different systems or manufacturers? What does it mean if a brochure promises, for example, a '95% detection accuracy' or 'reliable recognition'? How good is an accuracy of 95%? Y, ultimately, What is reliable recognition?

For this, First of all, It is necessary to understand how AI procedures can be evaluated. The first step is the specific definition by the application and the client of what 'false' and 'correct' mean, Especially in borderline cases. For example, In a person recognition system, Should a detection be considered correct if in the image or video there is not a real person but only an advertisement with a person?

Este y otros parámetros han de ser establecidos. Una vez exista esta definición, se necesita un conjunto de datos en que se conozcan los resultados correctos que se esperan.

La IA analizará este conjunto de datos y determinará la proporción de detecciones correctas y falsas. Las matemáticas proporcionan al usuario diferentes métricas, como la sensibilidad (proporción de las detecciones esperadas que realmente han sido detectadas) o la precisión de acierto (proporción de las detecciones que realmente son correctas). De modo que, la “calidad” de la IA, al fin y al cabo, siempre es una declaración estadística sobre el conjunto de datos de evaluación que se ha usado.

¿Verano o invierno?

Cómo de útil es realmente esta declaración para el usuario o cliente potencial de un sistema depende de la distribución del conjunto de datos. Una evaluación puede certificar un buen rendimiento de detección. Pero si el conjunto de datos se basa exclusivamente en imágenes de meses de verano, esta evaluación no tiene ningún valor informativo sobre la calidad de la IA en invierno ya que las condiciones lumínicas y meteorológicas pueden diferir considerablemente.

Consequently, en general, las declaraciones sobre la calidad de un análisis IA -particularmente, aquellos con números concretos como “99,9%”-, hay que tomarlas con cautela cuando no se conocen todos los parámetros. Sin conocimiento del conjunto de datos utilizado, de la métrica aplicada y de otros parámetros, no es posible una afirmación inequívoca sobre el grado de representatividad del resultado.

No puede haber indicaciones exactas

Cada sistema tiene sus límites, incluso, naturalmente, los sistemas IA. Therefore, conocer los límites es el requisito básico para tomar decisiones fundadas. Pero también aquí, se cruzan estadística y realidad, como se puede ver en el siguiente ejemplo. Una IA reconoce peor, lógicamente, objetos en la imagen/vídeo cuanto más pequeños son.

La primera pregunta, que se plantea a un usuario antes de la compra de un sistema, es la distancia máxima hasta la que los objetos pueden ser detectados, ya que influye en el número de cámaras necesarias y, therefore, en los costes del sistema entero. Pero indicar una distancia exacta no es posible. Simplemente, no existe ningún valor hasta el cual el análisis proporcione resultados 100% correctos y otro valor desde el cual una detección no es posible.

Una evaluación aquí sólo es capaz de facilitar estadísticas como, For example, la precisión de la detección en función del tamaño del objeto.

Mejor comparar directamente

En relación a los límites del sistema se ha optado por describir, as far as possible, los límites del sistema con valores mínimos o máximos concretos: por ejemplo en las hojas de datos de productos. Entre aquellos estarían la distancia mínima o una resolución mínima.

Esto es razonable, ya que los clientes o instaladores necesitan puntos de referencia para poder evaluar el sistema. However, queda aún mucha incertidumbre, por ejemplo si estos valores límites los indica el fabricante de forma más bien conservadora u optimista. El usuario hará bien en tener siempre presente que en el análisis de vídeo pueden no existir límites claros y definidos.

Con cada sistema será así: también dentro de determinados parámetros se producirán errores y, at the same time, bajo condiciones buenas, se podrán originar resultados útiles, incluso sobrepasado el límite.

Si un usuario desea determinar la verdadera calidad de un análisis basado en IA, esto sólo será posible a través de una comparación directa; los números y parámetros de los distintos fabricantes son demasiado diferentes. Y, besides, las condiciones marco y el input, of course, they have to be the same across all systems.

A real test with demo products, borrowed or similar, is a good possibility for that. Additionally, the system performance is shown precisely in the required use case.

Es, by the way, also the key when evaluating AI system performance in general: depends entirely on the use in each case. This should be specified as accurately as possible. Then, with the correct solution, it will be possible to provide real added value to the customer.

Maximilian Sand

Teamleader Artificial Intelligence of Dallmeier Electronic