Tag - Artificial intelligence

Szenario

Das Szenario ermöglicht die Interaktion zwischen einem Bediener und dem Roboterarm NED2, mithilfe von Schnittstellen, die auf künstlicher Intelligenz basieren. Insbesondere kann der Bediener durch Gesten das Teil auswählen, das vom Roboterarm NED2 aufgenommen werden soll – jede Geste entspricht dabei einem Teil aus einer in der Alpha-Zone angeordneten Sammlung. Der Roboterarm NED2 legt das gegriffene Teil in die Hand des Bedieners, nachdem er mithilfe der Vision-Set-Kamera die Position oberhalb der Ladezone identifiziert hat. Dies ist eine Pick-and-Place-Sequenz, bei der die Aufnahme- und Ablagepunkte in Echtzeit durch die Gestenbefehle des Bedieners vorgegeben werden. Die Erkennung der Gesten und der Handposition erfolgt mit Deep-Learning-Werkzeugen.

Das Ziel des Szenarios besteht darin, diesen Vorgang anhand der im folgenden Algorithmus dargestellten Schritte auszuführen:

Inhalt des Labors

Kapitel 1: Pick and Place

• Interessante Punkte definieren
• Bewegungen für Pick and Place erstellen

Kapitel 2: Gestenerkennung

• Verwendung von Teachable Machine zum Trainieren eines Modells erlernen
• Vorhersagen auf Grundlage von Gesten erhalten
• Einen Filter erstellen, um eine Geste zu validieren

Kapitel 3: Handerkennung

• Die Hand im Kamerabild erkennen
• Die Kamera kalibrieren
• Die Koordinaten des Ablagepunkts in der Mitte der Hand bestimmen

Kapitel 4: Integration

• Die Teilprogramme in ein komplexes und funktionales Programm integrieren

 

Vorkenntnisse

Python: Grundlegende Syntax + einfache Daten- und Kontrollstrukturen + Schleifen + einfache Funktionsaufrufe

Bezugssysteme und Transformationen: Verstehen, wie kartesische Koordinatensysteme funktionieren und das Prinzip von Transformationen

Erforderliche Ausstattung