Tag - Vision

Scénario

On veut réaliser un assemblage qui consiste à disposer des pièces spécifiques (forme et couleur) dans les zones ALPHA et BETA en formant un pattern défini par l’utilisateur. Dans le but de faire cet assemblage , des pièces vont être approvisionnées par un convoyeur jusqu’au robot. Le robot vient ensuite identifier les pièces avant de les saisir. Si la pièce prise n’est pas nécessaire au pattern , Il la déposera dans la zone de rebut sinon il la placera dans les zones ALPHA ou BETA en suivant le pattern donné.

Contenu du TP

Chapitre 1 : Prise et dépose ou “pick and place”

• Définir les repères et les points d’intérêt dans l’espace de travail du robot.
• Créer la séquence des mouvements pour une opération de prise et dépose.
• Effectuer une opération de palettisation.

Chapitre 2 : Définition d’un motif ou pattern

• Créer une fonction de saisie et création d’un pattern par un opérateur.
• Déterminer l’appartenance d’une pièce à un pattern existant.
• Déclencher l’action correspondante à une pièce en fonction des cas suivants: non appartenance à un pattern, appartenance à un pattern et déjà traitée, appartenance à un pattern et non traitée.

Chapitre 3 : Vision

• Effectuer l’apport de la pièce via le convoyeur
• Maîtriser le résultat de la détection d’objets du kit vision : forme, couleur et position d’une pièce dans un workspace défini.
• Effectuer la prise d’une pièce identifiée par la caméra.

Chapitre 4 : Intégration

• Réaliser de manière automatisée un pattern saisi par un opérateur, en utilisant les pièces approvisionnées par le convoyeur.

Prérequis

Python: Syntaxe de base + structure de donnée et de contrôle simple et loop  + appel de fonction simple

Équipements requis

Scenario

Le scénario permet de réaliser des interactions entre un opérateur et un robot collaboratif à l’aide d’interfaces issues de l’intelligence artificielle. En particulier, l’opérateur peut désigner la pièce à saisir par le robot avec des gestes, un geste correspondant à une pièce parmi une collection disposée dans la zone alpha. Le robot place la pièce saisie dans la main de l’opérateur, après l’identification de sa position dans le champ visuel de la caméra du kit vision, au-dessus de la zone de chargement. Il s’agit donc d’une séquence de pick and place, où les points de prise et de dépose sont fournis en temps réel par l’opérateur par commande gestuelle. La reconnaissance des gestes et de la position de la main est effectuée par des outils de deep learning.

L’objectif du scénario est de réaliser cette opération en suivant les étapes, qui sont illustrées dans l’algorithme suivant : 

Contenu du TP

Chapitre 1 : Pick and place

• Définir les points d'intérêt
• Créer les mouvements pour le pick and place

Chapitre 2 : Reconnaissance de gestes

• Savoir utiliser Teachable Machine pour entrainer un modèle
• Obtenir des prédictions en fonctions des gestes
• Créer un filtre permettant de valider un geste

Chapitre 3 : Détection de la main

• Détecter la main dans l’image de la caméra
• Calibrer la caméra
• Obtenir les coordonnées du point de dépose au milieu de la main

Chapitre 4 : intégration

• Integrer les sous programmes dans un programme complex et fonctionnel

Prérequis

Python: Syntaxe de base + structure de donnée et de contrôle simple et loop  + appel de fonction simple

Repère et transformation : Comprendre comment fonctionne les repères cartésiens et la principe des transformation

Équipements requis