Tag - Vision

Entdecke die Welt der Robotik mit unserem umfassenden Lehrplan, der für Studierende und Lehrkräfte entwickelt wurde, die die Grundlagen der Automatisierung, Programmierung und robotischen Anwendungen erforschen möchten. Dieser Kurs führt die Teilnehmenden von der Geschichte der Robotik bis hin zur praktischen Programmierung und industriellen Automatisierung mit dem kollaborativen Roboter NED2 (Cobot) und der Blockly-Programmierung.

Für wen ist dieser Kurs geeignet?

✔️ Studierende in MINT- oder technischen Ausbildungsprogrammen
✔️ Lehrkräfte, die einen strukturierten Robotik-Lehrplan suchen
✔️ Einsteiger:innen, die Robotik und Automatisierung ohne Programmierkenntnisse lernen möchten
✔️ Alle, die sich für industrielle Robotik und Automatisierung interessieren

Melde dich noch heute an und mach den ersten Schritt zum Profi in Robotik und Automatisierung! 🚀

Can a robot truly understand what it sees?
This hands-on lab takes you on a journey from raw images to precise robotic actions. Using only a single camera mounted on the Niryo Ned2, you will build a full perception, pipeline from camera calibration to object detection and real-time grasp execution.

The current vision system relies on a monocular camera mounted on the robot's wrist and a calibrated workspace using visual markers (tags). Here are the technical specifications of this onboard camera:

• Sensor type: IMX322 (CMOS)
• Resolution: 640 × 480
• Pixel size: 12.8 × 11.6 μm
• Field of view (FOV): approximately 104°
• Focal length: approximately 3 mm

This setup, while functional, presents several technical and methodological limitations:

• Need for visual tags to guide the robot.
• Demanding workspace configuration that must remain fixed and precisely calibrated.
• High sensitivity to errors, whether from robot movements or setup changes.
• Vulnerability to lighting conditions, shadows, or reflections.
• Detection limited to a few predefined rigid objects.

When a human looks at an object, they can estimate its position, distance, and orientation almost instinctively. Our brains have been trained since birth to perceive depth, interpret shadows, relative sizes, movements, and reconcile information from both eyes. It’s a rich, complex, yet entirely transparent process for us.

A camera, however, doesn’t see like a human. It captures only a 2D projection of a 3D world. It has no sense of depth or understanding of the scene’s context. Estimating an object’s pose (its position and orientation in space) from a single image is therefore a fundamentally ambiguous and ill-posed task.

This is compounded by several challenges specific to the industrial context of this project:

• Exclusive use of a monocular camera, without direct access to depth.
• Camera is mobile, as it is mounted on the robot, making localization difficult.
• No additional sensors (stereo, LIDAR, etc.).
• Camera noise, lighting, resolution.

In response to these challenges, the goal of this lab is to build a robust, reliable, and coherent image processing pipeline in which the only source of information is a monocular onboard camera—and the end goal is to guide a robotic arm to interact correctly with one or more objects in its environment.

The lab thus aims to design a system that:

• Operates without a preconfigured workspace or visual tags,
• Adapts to a mobile, onboard camera,
• Enables flexible recognition of a wide range of objects using their CAD models,
• Provides 6D pose estimation (position + orientation) in the robot's base frame,
• Detects multiple objects simultaneously with dynamic selection,
• Remains robust to environmental variations.

Szenario

Das Szenario ermöglicht die Interaktion zwischen einem Bediener und dem Roboterarm NED2, mithilfe von Schnittstellen, die auf künstlicher Intelligenz basieren. Insbesondere kann der Bediener durch Gesten das Teil auswählen, das vom Roboterarm NED2 aufgenommen werden soll – jede Geste entspricht dabei einem Teil aus einer in der Alpha-Zone angeordneten Sammlung. Der Roboterarm NED2 legt das gegriffene Teil in die Hand des Bedieners, nachdem er mithilfe der Vision-Set-Kamera die Position oberhalb der Ladezone identifiziert hat. Dies ist eine Pick-and-Place-Sequenz, bei der die Aufnahme- und Ablagepunkte in Echtzeit durch die Gestenbefehle des Bedieners vorgegeben werden. Die Erkennung der Gesten und der Handposition erfolgt mit Deep-Learning-Werkzeugen.

Das Ziel des Szenarios besteht darin, diesen Vorgang anhand der im folgenden Algorithmus dargestellten Schritte auszuführen:

Inhalt des Labors

Kapitel 1: Pick and Place

• Interessante Punkte definieren
• Bewegungen für Pick and Place erstellen

Kapitel 2: Gestenerkennung

• Verwendung von Teachable Machine zum Trainieren eines Modells erlernen
• Vorhersagen auf Grundlage von Gesten erhalten
• Einen Filter erstellen, um eine Geste zu validieren

Kapitel 3: Handerkennung

• Die Hand im Kamerabild erkennen
• Die Kamera kalibrieren
• Die Koordinaten des Ablagepunkts in der Mitte der Hand bestimmen

Kapitel 4: Integration

• Die Teilprogramme in ein komplexes und funktionales Programm integrieren

Vorkenntnisse

Python: Grundlegende Syntax + einfache Daten- und Kontrollstrukturen + Schleifen + einfache Funktionsaufrufe

Bezugssysteme und Transformationen: Verstehen, wie kartesische Koordinatensysteme funktionieren und das Prinzip von Transformationen

Erforderliche Ausstattung