Ils créent un système de vidéosurveillance qui prédit le comportement humain

Un groupe de chercheurs de l'Université Carnegie Mellon participe au programme Mind's Eye, parrainé par le Bureau de l'Innovation Informatique de DARPA, l'Agence de Recherche sur les Projets Avancés du Département de la Défense des États-Unis, ont créé un logiciel intelligent qui reconnaît visuellement les activités humaines dans les vidéos, et prédit ensuite ce qui pourrait se passer ensuite.

Des chercheurs de l'Université Carnegie Mellon participent au programme Mind's Eye, parrainé par le Département de la Défense des États-Unis, dans le cadre duquel ils ont développé un logiciel d'intelligence visuelle capable de reconnaître les activités humaines dans une vidéo, et prédire ce qui pourrait se passer ensuite. Il s'agit d'un projet ambitieux auquel participent douze équipes de recherche, parmi elles l'Université Carnegie Mellon, parrainé par le Bureau de l'Innovation Informatique de DARPA, une agence appartenant au Département de la Défense des États-Unis responsable du développement de nouvelles technologies à usage militaire.

Comme le rapporte le site Tendencias21.net, l'objectif n'est rien d'autre que d'automatiser le travail de vision et d'interprétation des vidéos, ce qui fera gagner du temps, améliorera le suivi et fournira de nouveaux outils pour la recherche. En fait, il est prévu d'utiliser la technologie du Mind's Eye dans des environnements civils aussi bien que militaires, dans des applications allant de la défense à la robotique médicale et de consommation. Mais reconnaître et prédire l'activité humaine dans une vidéo n'est pas une tâche facile. Comme le souligne le Centre National d'Ingénierie Robotique (NREC) de l'Université Carnegie Mellon dans un communiqué, tout le monde ne réalise pas la même action de la même manière; différentes actions peuvent sembler très similaires dans un enregistrement, et des vidéos de la même action peuvent varier considérablement en apparence en fonction de l'éclairage, de la perspective, de l'arrière-plan, des individus participants et bien plus encore.

Pour cette raison, il faut un système qui s'approche de l'intelligence visuelle humaine, 'capable de filtrer et de généraliser ce qui est observé pour prendre des décisions et agir en fonction des informations acquises et des connaissances préalables', como afirman los investigadores en su artículo de presentación. Alessandro Oltramari y Christian Lebiere, ambos del Departamento de Psicología de la Universidad Carnegie Mellon, presentaron el estudio la semana pasada en una conferencia sobre seguridad y defensa en la Universidad George Mason.

Simular la visión humana

Donc, tras analizar las características básicas de la inteligencia humana, los investigadores se centraron en simular y aproximarse a esta facultad mediante una serie de herramientas informáticas. En primer lugar generaron modelos 3D de actividades humanas básicas para unirlos al movimiento de la persona en el vídeo. De esta forma se compara el movimiento del vídeo con las acciones para las que se ha entrenado al algoritmo que reconozca (como caminar, sauter ou rester debout) et identifier (comment ramasser et porter).

Le logiciel analyse ces modèles pour déduire ce que la personne fait. Il fait également des prédictions sur ce qui va se passer ensuite, concentré surtout sur des activités qui peuvent rester cachées ou se produire hors caméra.

Ceci a été le travail développé au cours des 18 premiers mois du programme, y compris également la capacité de décrire des phénomènes observés via de simples messages texte ou d'alerter sur des comportements inhabituels ou anormaux. Un exemple clair de cela peut être les caméras d'un aéroport ou d'une gare routière signalant un sac abandonné.

Esta investigación se basa en gran medida en los avances realizados por investigadores de visión artificial, que han conseguido resultados notables en las últimas décadas en el reconocimiento de objetos fijos y en movimiento. Es la misma línea de trabajo que siguió Google con sus coches de auto-conducción, el software de reconocimiento facial utilizado en Facebook y Picasa, o la electrónica de consumo empleada en Kinect de Microsoft, que permite a los usuarios jugar y controlar sus televisores únicamente a través de gestos y órdenes de voz.

Cuando funciona bien, la visión artificial es capaz de detectar objetos y personas –lo que los investigadores llaman nombres- que están al otro lado de la lente de la cámara. Mais pour comprendre ce que ceux-ci font, ou ce qu'on leur permet de faire, il faut l'équivalent informatique des verbes. Et c'est là qu'Oltramari et Lebiere se sont basés sur le travail d'autres chercheurs de Carnegie Mellon pour créer ce qu'ils appellent un “moteur cognitif”, capable de comprendre les règles par lesquelles les noms et les verbes interagissent.

Leur moteur cognitif intègre la recherche menée par une équipe dirigée par le chercheur postdoctoral Kris Kitani, qui tente de comprendre l'action qu'un humain effectuera en calculant quelles trajectoires physiques sont les plus probables. Les deux projets font partie du programme Mind's Eye. La prochaine étape de la recherche est de rendre le 'moteur cognitif' encore plus intelligent. Selon l'étude, les auteurs “prévoyent d'étendre les fonctionnalités du système pour prendre en charge une plus large gamme de verbes d'action et réaliser des tests avec des vidéos plus complexes”.

Applications

Les caméras traditionnelles, qui se contentent d'enregistrer ce qui se passe, ne peuvent fournir des informations qu'une fois le crime commis. Les chercheurs peuvent voir comment une voiture a été volée ou l'employé d'un magasin, mais seulement après les faits. L'approche de Mind’s Eye vise tout le contraire, car elle entend prévenir les délits ou actes dangereux en alertant avant qu'ils ne se produisent. Su sistema automatizado podría tentar a los responsables de seguridad a reconsiderar algún día el control humano de las cámaras, ya que los operadores no sólo son caros de mantener, sino que presentan riesgos si se distraen o tienen somnolencia.

A la rentabilidad se suma la seguridad, evitando poner en peligro a soldados encargados de misiones de vigilancia en zonas de alto riesgo. Ese es uno de los principales objetivos por el que DARPA financia este proyecto. Según una información recogida en su web, “una verdadera cámara inteligente sería capaz de describir con palabras todo lo que ve y razonar acerca de lo que no puede ver”.

Estos dispositivos podrían ser instruidos para informar sólo sobre las actividades de interés, ce qui augmenterait la pertinence des données d'entrée. Par conséquent, les caméras intelligentes pourraient permettre à un seul militaire de surveiller plusieurs postes d'observation depuis un endroit sûr. De la même manière, cela pourrait s'appliquer au travail de la police ou pour analyser en direct des images de drones. Et cela pourrait même avoir des applications de sécurité à domicile, en alertant les propriétaires d'une maison avant que les cambrioleurs ne forcent la porte.