Tag - Vision

Un robot peut-il vraiment comprendre ce qu’il voit ?
Ce TP vous emmène dans une aventure technique et concrète, où vous partirez d’une simple image pour arriver à une action robotique précise. Avec une seule caméra montée sur le Niryo Ned2, vous construirez toute une chaîne de perception, de la calibration à la détection d’objet, jusqu’à la saisie en temps réel.

Le système de vision actuellement en place repose sur une caméra monoculaire montée sur le poignet du robot et un workspace calibré à l’aide de cibles visuelles (tags). Voici les spécifications techniques de cette caméra embarquée :

• Type de capteur : IMX322 (CMOS)
• Résolution : 640 × 480
• Taille des pixels : 12.8 × 11.6 μm
• Champ de vision (FOV) : environ 104°
• Focale : environ 3 mm

Cette configuration, bien que fonctionnelle, présente plusieurs limitations techniques et méthodologiques :

• Nécessité d’utiliser des tags visuels pour guider le robot.
• Configuration du workspace exigeante, qui doit rester fixe et précisément calibrée.
• Forte sensibilité aux erreurs, qu’il s’agisse de mouvements du robot ou de modifications du setup.
• Vulnérabilité face aux conditions d’éclairage, aux ombres ou aux reflets.
• Capacité de détection limitée à quelques objets rigides prédéfinis.

Quand un humain regarde un objet, il est capable d’estimer sa position, sa distance et son orientation presque instinctivement. Notre cerveau est entraîné depuis la naissance à comprendre la profondeur, à interpréter les ombres, les tailles relatives, les mouvements et à croiser les informations entre nos deux yeux. C’est un processus riche, complexe, mais complètement transparent pour nous.

Une caméra, elle, ne voit pas comme un humain. Elle capte uniquement une projection 2D d’un monde 3D. Elle n’a pas de notion de profondeur, ni de compréhension du contexte de la scène. Estimer la pose d’un objet (c’est-à-dire sa position et son orientation dans l’espace) à partir d’une seule image est donc une tâche fondamentalement ambiguë et mal posée.

À cela s’ajoutent plusieurs défis spécifiques au contexte industriel de ce projet :

• Utilisation exclusive d’une caméra monoculaire, sans accès direct à la profondeur.
• Caméra, mobile car embarquée sur le robot, rendant son repérage complexe.
• Absence de capteurs supplémentaires (stéréo, LIDAR, etc.).
• Bruit de la caméra, éclairage, résolution.

Face à toutes ces difficultés, l’objectif de ce TP est de construire une chaîne de traitement d’image robuste, fiable et cohérente, dans laquelle la seule source d’information est l’image d’une caméra monoculaire embarquée, et la finalité est de guider un bras robotique pour qu’il interagisse correctement avec un ou plusieurs objets dans son environnement.

Le TP vise ainsi à concevoir un système qui :

• Fonctionne sans workspace préconfiguré ni cibles visuelles,
• S’adapte à une caméra embarquée, mobile avec le robot,
• Permette une reconnaissance flexible d’un large panel d’objets à partir de leurs modèles CAO,
• Offre une estimation 6D de la pose (position + orientation) dans le repère de base du robot,
• Détecte plusieurs objets simultanément avec sélection dynamique,
• Reste robuste aux variations d’environnement.

Découvrez le monde de la robotique avec notre programme complet, conçu pour les étudiants et les enseignants désireux d'explorer les fondamentaux de l'automatisation, de la programmation et des applications robotiques. Ce cours guide les apprenants depuis les bases de l'histoire de la robotique jusqu'à la programmation pratique et l'automatisation industrielle à l'aide du robot collaboratif NED2 (cobot) et de la programmation Blockly.

À qui s'adresse ce cours ?

✔️ Étudiants du secondaire et de l'enseignement supérieur dans les programmes CTE ou STEM
✔️ Enseignants à la recherche d'un programme structuré en robotique
✔️ Débutants désireux d'apprendre l'automatisation robotique avec une approche sans code
✔️ Toute personne intéressée par la robotique industrielle et l'automatisation

Rejoignez-nous dès aujourd'hui et faites votre premier pas vers la maîtrise de la robotique et de l'automatisation ! 🚀

On veut réaliser un Scénario de chargement et déchargement de Machine Outil. Le robot devra se coordonner avec une machine outil virtuelle afin de permettre à une pièce d’être chargé dans la machine, usinée , déchargée sur le convoyeur puis dégagée de la zone par le convoyeur.  La machine outil simulera des cycle d’usinages et de nettoyages en boucle et le robot devra agir en coordination.

Contenu du TP

Chapitre 1 : Prise et dépose ou “pick and place”

• Pratiquer les notions de repère et de point, associé à un outil et à une base, en robotique.
• Comprendre et maîtriser des séquences de mouvements articulaires et linéaires.
• Effectuer les étapes de prise et dépose dans un espace de travail avec un outil spécifique.

Chapitre 2 : Vision

• Comprendre et contrôler le paramétrage d’une caméra RGB dans un environnement spécifique.
• Pratiquer la détection d’objets du kit vision Niryo.

Chapitre 3 : Génération de trajectoire

• Créer l’environnement virtuel d’une cellule robotisée à l’aide d’un logiciel métier de simulation robotique.
• Simuler une trajectoire pour en vérifier la faisabilité et en extraire les informations nécessaires à la programmation d’un robot.
• Comparer les trajectoires réalisées par le robot avec la simulation et optimiser.

Chapitre 4 : Synchronisation avec un automate

• Pouvoir intégrer dans l’environnement du robot des commandes opérateur.
• Être capable de simuler les opérations du robot avec des affichages à l’écran afin de mettre au point des comportements complexes.
• Approfondir les notions de programmation avec l’implémentation de thread en python.
• Pratiquer la synchronisation des mouvements du robot avec des commandes externes.
• Apprendre à définir les grandes étapes d’une opération de charge et décharge de machine outil.

Chapitre 5 : Intégration

• Être capable de réaliser des intégrations partielles constituant des sous-systèmes.
• Être capable de réaliser l’intégration de tous les sous-systèmes.

Prérequis

Python: Syntaxe de base + structure de donnée et de contrôle simple et loop  + appel de fonction simple

Équipements requis