Tag - Artificial intelligence

Scenario

Le scénario permet de réaliser des interactions entre un opérateur et un robot collaboratif à l’aide d’interfaces issues de l’intelligence artificielle. En particulier, l’opérateur peut désigner la pièce à saisir par le robot avec des gestes, un geste correspondant à une pièce parmi une collection disposée dans la zone alpha. Le robot place la pièce saisie dans la main de l’opérateur, après l’identification de sa position dans le champ visuel de la caméra du kit vision, au-dessus de la zone de chargement. Il s’agit donc d’une séquence de pick and place, où les points de prise et de dépose sont fournis en temps réel par l’opérateur par commande gestuelle. La reconnaissance des gestes et de la position de la main est effectuée par des outils de deep learning.

L’objectif du scénario est de réaliser cette opération en suivant les étapes, qui sont illustrées dans l’algorithme suivant : 

Contenu du TP

Chapitre 1 : Pick and place

• Définir les points d'intérêt
• Créer les mouvements pour le pick and place

Chapitre 2 : Reconnaissance de gestes

• Savoir utiliser Teachable Machine pour entrainer un modèle
• Obtenir des prédictions en fonctions des gestes
• Créer un filtre permettant de valider un geste

Chapitre 3 : Détection de la main

• Détecter la main dans l’image de la caméra
• Calibrer la caméra
• Obtenir les coordonnées du point de dépose au milieu de la main

Chapitre 4 : intégration

• Integrer les sous programmes dans un programme complex et fonctionnel

Prérequis

Python: Syntaxe de base + structure de donnée et de contrôle simple et loop  + appel de fonction simple

Repère et transformation : Comprendre comment fonctionne les repères cartésiens et la principe des transformation

Équipements requis