Ein Roboterarm fährt langsam auf ein Werkstück zu. Es liegt leicht verdreht auf dem Tisch, in einer ganz anderen Position als alle anderen Teile zuvor, seine Form ist ungewöhnlich. Ein Mensch würde das Objekt kurz betrachten und intuitiv entscheiden, wie er es am besten greifen kann. Genau dazu soll künftig auch der Roboter in der Lage sein: Er soll die Situation mithilfe von Kameras analysieren, den Arbeitsauftrag verstehen und selbstständig eine passende Greifbewegung wählen – ohne dass jede einzelne Handlung zuvor programmiert wurde.
Doch wie kann ein Roboter solch menschliche Fähigkeiten lernen? Mit dieser Frage beschäftigen sich Wissenschaftlerinnen und Wissenschaftler am Institut für Intelligente Systeme (IIS) der Fakultät Informatik und Informationstechnik an der Hochschule Esslingen. In Kooperation mit Partnern aus der Industrie entstanden am IIS bereits verschiedene Forschungsarbeiten zur intelligenten Mensch-Roboter-Zusammenarbeit. Dabei wenden die Forschenden nicht nur bestehende KI-Modelle an, sondern entwickeln auch neue Architekturen und Algorithmen für autonome Systeme, die ihre Umgebung wahrnehmen, Situationen verstehen und selbstständig handeln können.
Intelligente Roboter für intelligente Fabriken
Im Rahmen des DFG-Forschungsimpulses „Smart Factory Grids“ läuft ganz aktuell nun ein hochspannendes Projekt, bei dem ein Roboter mithilfe künstlicher Intelligenz das Greifen eines beliebigen Gegenstandes erlernen kann. Fast so wie ein Mensch! Das Projekt ist Teil der Forschung an intelligenten und flexiblen Fabriken, in denen vernetzte, autonome Systeme flexibel auf neue Produkte, kleine Stückzahlen und wechselnde Anforderungen reagieren sollen.
Am IIS wird untersucht, wie ein Roboter mit möglichst wenig Aufwand lernen kann, neue Objekte und Situationen mithilfe von KI zu verstehen. Ziel soll sein, daraus eine passende Greifbewegung abzuleiten. Besonders interessant sind dabei unbekannte oder noch unfertige Werkstücke, wie sie in einer flexiblen intelligenten Fabrik vorkommen können und die in dieser Form nicht im Trainingsdatensatz enthalten waren. Erste Versuche am realen Roboter funktionieren bereits, die zuverlässige Übertragung auf viele unterschiedliche Situationen ist jedoch weiterhin Gegenstand der Forschung.
Dazu muss man wissen, dass heutige Industrieroboter zwar sehr schnell, präzise und zuverlässig arbeiten, wenn Werkstücke, Positionen und Abläufe im Voraus genau festgelegt wurden. Schwieriger wird es, wenn sich die Umgebung verändert oder ein Roboter ein unbekanntes oder unfertiges Werkstück greifen soll.
„Unser Ziel ist deshalb nicht, klassische Roboter zu ersetzen, sondern sie anpassungsfähiger zu machen. So, dass sie in einer intelligenten Fabrik einen flexiblen Materialfluss unterstützen und nicht für jedes neue Objekt vollständig neu programmiert werden müssen“, erklärt Prof. Dr. Markus Enzweiler, der das Institut für Intelligente Systeme leitet.
Doch auch im Bereich Smart Home könnte der Einsatz von KI-gesteuerten Robotern in Zukunft Realität werden:
„Langfristig sind ähnliche Systeme auch im Haushalt denkbar, etwa als Assistenzroboter, die mit wechselnden und unbekannten Gegenständen umgehen können. Bis solche Anwendungen zuverlässig im Alltag funktionieren, sind jedoch noch weitere Forschungsschritte notwendig“, so Prof. Dr. Markus Enzweiler.
Die KI lernt durch Imitation
Doch wie bringt man der KI ganz konkret bei, was der Roboter tun soll? Beim Training lernt die KI anhand vieler Beispiele, welche Handlung in einer bestimmten Situation sinnvoll ist. Ähnlich wie ein Mensch durch Übung Erfahrungen sammelt, sieht das System unterschiedliche Bilder, erhält passende sprachliche Aufträge und lernt daraus geeignete Bewegungen des Roboters.
„Wir haben einen fotorealistischen digitalen Zwilling der Roboterzelle aufgebaut. Darin erzeugen wir automatisch viele unterschiedliche Szenen und Kamerabilder, mit denen die KI trainiert werden kann, bevor sie am echten Roboter eingesetzt wird“, so Doktorand Jakob Häringer, der das KI-Modell entwickelt und am digitalen Zwilling sowie am realen Roboter erprobt. „Zusätzlich kann ein Mensch Bewegungen mit einem zweiten Roboterarm vormachen. Durch dieses sogenannte Imitation Learning lernt das System aus den Demonstrationen. Der Roboter erhält außerdem sprachliche Aufträge wie ,Greife das rote Werkstück und lege es in die blaue Kiste'.“
Viele Parallelen zum autonomen Fahren
Das eingesetzte Vision-Language-Action-Modell (VLA-Modell) leitet aus Kamerabildern und sprachlichen Aufträgen passende Roboteraktionen ab. Es verbindet die Wahrnehmung der Umgebung mit dem Verständnis der Aufgabe und entscheidet daraus, welches Objekt auf welche Weise gegriffen werden soll. Eine Schlüsselrolle spielt dabei Computer Vision – das automatische Verstehen von Bildern und Kameradaten. So kann der Roboter Werkstücke erkennen, ihre Lage einschätzen und daraus geeignete Greifbewegungen ableiten.
Die zugrunde liegenden Technologien weisen enge Parallelen zum autonomen Fahren auf: Sowohl ein selbstfahrendes Fahrzeug als auch ein Greifroboter muss seine Umgebung mit Kameras und weiteren Sensoren erfassen, unbekannte Situationen verstehen und daraus selbstständig geeignete Handlungen ableiten. Auch das Training in Simulationen und die anschließende Übertragung auf die reale Welt sind in beiden Bereichen von zentraler Bedeutung.
Bis der Roboter tatsächlich so greifen kann wie ein Mensch es vermag, bis dahin gibt es für das Team am IIS noch jede Menge zu tun. Jakob Häringer und Prof. Dr. Markus Enzweiler werden hierbei beispielsweise von Dr. Alexander Hegai unterstützt, der das Forschungsproblem aus einer ergänzenden wissenschaftlichen Perspektive untersucht. Prof. Dr. Thao Dang bringt zudem seine langjährige Erfahrung in der Forschung und Entwicklung zum autonomen Fahren mit ein.
----------------------------------------------
Was ist der DFG-Forschungsimpuls?
Mit den Forschungsimpulsen fördert die Deutsche Forschungsgemeinschaft besonders forschungsstarke Hochschulen für Angewandte Wissenschaften beim langfristigen Ausbau ihres Forschungsprofils. Die Hochschule Esslingen erhält für den Forschungsimpuls „Smart Factory Grids“ rund sechs Millionen Euro über einen Zeitraum von fünf Jahren.
Ziel ist der Aufbau eines dauerhaften, fachübergreifenden Forschungsverbunds für eine hochflexible und verteilte Fertigung. Dabei arbeiten die Fakultäten Maschinen und Systeme sowie Informatik und Informationstechnik zusammen, um Kompetenzen aus Maschinenbau, Produktionstechnik, Informatik und künstlicher Intelligenz zu verbinden.
