Autonomous Driving with Generative Pre-Trained Transformers

Das Forschungsprojekt ADRIVE-GPT widmet sich der Erforschung und Anwendung von verankerten Sprachmodellen (Large Language Models, LLMs) im Kontext des automatisierten Fahrens. Bisherige Studien haben LLMs nur für einfache Aufgaben in der stationären Robotik betrachtet. In ADRIVE-GPT soll untersucht werden, wie multimodale Sensorwahrnehmungen von Kamera- und Lidarsensorik mit natürlicher Sprache kombiniert werden können, um Aktionspläne für ein unfallfreies und menschenähnliches autonomes Fahren zu generieren. Darüber hinaus wird untersucht, ob der Lernprozess durch bereits prozessiertes Wissen über statische und dynamische Objekte unterstützt werden kann.

Weitere Informationen:
ADRIVE-GPT Webpage

Das Datenanalyse Cluster der HAWen in Baden-Württemberg - kurz "DACHS" - versorgt die Hochschulen mit Compute Kapazität für datengetriebene Forschung und Lehre im Bereich Maschinelles Lernen, visuelle Datenanalyse und Big Data, eingebunden in bwHPC. Der Cluster erlaubt die Arbeit lokal aber auch remote mittels moderner Schnittstellen wie JupyterHub. Durch die Anbindung an bwHPC können Forschende auf die Tier-3 Cluster in bwHPC, sowie auf die Tier-2 Systeme des KIT und die Tier-1 Systeme des HLRS anknüpfen.

Weitere Informationen:
DACHS Wiki

DFG Forschungsimpuls - Smart Factory Grids (2024-2029)

Im von der Deutschen Forschungsgemeinschaft geförderten Forschungsimpuls "Smart Factory Grids" geht es um das Thema einer intelligenten Fabrik. Unsere Vision ist ein verteiltes Fertigungsnetzwerk, in dem mehrere spezialisierte Produktionseinheiten durch autonome (boden- und luftgestützte) Systeme miteinander verbunden sind, um eine hochflexible Fertigung für kleine Losgrößen mit drastisch reduzierten Rüstzeiten zu erreichen. Im Herzen dieser Smart Factory Grids stehen cyber-physische Systeme, die autonom und kooperativ agieren, sich selbst bewerten und resilient gegen äußere Störungen sind. Dies ist mehr als nur Automatisierung; es geht darum, ein intelligentes, reaktionsfähiges und nachhaltiges Fertigungsökosystem zu schaffen.

Weitere Informationen:
Pressemeldung der Hochschule Esslingen
Smart Factory Grids Webpage

Übersicht (2021-2027)

Bund und Länder fördern im Rahmen ihres gemeinsamen Programmes „FH-Personal“ die Gewinnung und Entwicklung professoralen Personals an 64 Fachhochschulen bzw. Hochschulen für angewandte Wissenschaften (HAW). Die Hochschule Esslingen gehört zu den 13 baden-württembergischen Hochschulen, die in der ersten Förderrunde einen positiven Bescheid erhalten haben. Mit insgesamt mehr als sechs Millionen Euro, die an die Hochschule und ihre Verbundpartner im Projekt fließen, sollen die Nachwuchswissenschaftler:innen an der Hochschule gefördert werden, um somit qualifizierte Kandidat:innen für die HAW-Professur in die Zukunft auszubilden. Unter dem Projektnamen "HE-Personal" strebt die Hochschule daher an, besonders gute Wissenschaftlerinnen und Wissenschaftler mit Praxiserfahrung für die Lehre und Forschung in acht zukunftsorientierten Schwerpunkten zu gewinnen.

Schwerpunkt Autonome Systeme

Autonome Systeme sind ein Anwendungsschwerpunkt der Intelligenten Robotik. Die Anwendung maschinellen Lernens für autonome Systeme ist eines der weltweit aktivsten Forschungsgebiete. Aufgrund der ansäs­sigen Industrie ist dieses Fachgebiet von besonders großer, strategischer Bedeutung für die Region Stuttgart. Der Schwerpunkt Autonome Systeme im Rahmen von HE-Personal beschäftigt sich mit Forschungsfragen im Bereich der künstlichen Intelligenz. Der Fokus liegt hierbei auf der Entwicklung einer Methodik, um den Ressourcenverbrauch im gesamten Entwicklungsprozess von KI-Systemen zu reduzieren und die Nutzung nachhaltiger zu machen (“Green AI”), denn das Training eines einzelnen künstlichen neuronalen Netzes kann aktuell Kosten in Millionenhöhe verursachen.

Forschungsthemen erstrecken sich über verschiedene Sub-Themengebiete, wie etwa der Automatisierung der Architektur von KI-Systemen im Hinblick auf Effizienzsteigerung; der Lernfähigkeit von KI-Systemen, vor allem aus kleineren Datenmengen, um den Aufwand in der (manuellen) Datenerhebung zu reduzieren (self-supervised learning, weak supervised learning, few-shot learning, low-resource NLP); sowie der Gewinnung des tieferen Verständnisses von KI-Systemen, um eine gezieltere Optimierung der KI- Architektur zu ermöglichen (explainable AI).

Weitere Informationen: HE-Personal Projektwebseite der Hochschule.

Gefördert vom Bundesministerium für Bildung und Forschung und vom Ministerium für Wirtschaft, Arbeit und Tourismus Baden-Württemberg.

Die Anwendung von Deep-Learning-Verfahren auf Radardaten ermöglicht eine präzise Objekterkennung, indem aus roh erfassten Reflexionssignalen hochdimensionale Merkmalsrepräsentationen extrahiert und klassifiziert werden. Im Vergleich zu konventionellen Ansätzen bietet dieser datengetriebene Zugang Vorteile wie eine grundsätzliche Funktionsfähigkeit bei allen Lichtverhältnissen sowie eine erhöhte Robustheit gegenüber widrigen Wetterbedingungen wie Regen, Nebel oder Schnee. Zudem ermöglicht Radar die direkte Messung von Relativgeschwindigkeiten. Dies leistet insgesamt einen wesentlichen Beitrag zur zuverlässigen Umgebungswahrnehmung.

Radarbasierte Umgebungserfassung und Personensuche in Extremsituationen

In gefährlichen Einsatzumgebungen wie bei Bränden oder Unfällen, bei denen Rauch oder Nebel die Sicht massiv einschränken, ist die Orientierung für Rettungskräfte entscheidend. Besonders Feuerwehrleute stehen vor der Herausforderung, in unbekannten, oft chaotischen Umgebungen nicht nur potenzielle Gefahren zu erkennen, sondern auch sichere Rückzugs- oder Fluchtwege für sich selbst und andere zu identifizieren. In diesem Projekt soll mit Hilfe eines hochauflösendem Radar die Umgebung sondiert werden und durch eine nachgelagerte KI-gestützte Signalprozessierung den Rettungskräften die Objektkonturen zur Orientierung angezeigt werden.

Das Forschungsvorhaben SMACKS (Schwachstellenmanagement von Anfälligkeiten im Code der KI-gestützten Softwareentwicklung) wird von der Hochschule Esslingen in Kooperation mit den Praxispartnern sodge IT GmbH und pep.digital GmbH durchgeführt. Ziel des Projekts ist die Entwicklung eines integrierten Prozesses zur Erkennung und Behandlung von Sicherheitsschwachstellen in KI-generiertem Code. Der Einsatz von KI-Werkzeugen wie GitHub Copilot oder Claude Code in der Softwareentwicklung steigert zwar die Produktivität, birgt jedoch erhebliche Sicherheitsrisiken, da KI-Modelle auf potenziell fehlerhaften Trainingsdaten basieren und bekannte Schwachstellen in generiertem Code reproduzieren können. Bestehende Schwachstellenmanagementprozesse sind nicht darauf ausgelegt, syntaktisch variierte, aber semantisch identische Schwachstellen in KI-generiertem Code zuverlässig zu erkennen.

Das Vorhaben setzt auf Large Language Models (LLMs), um Schwachstellen auch bei syntaktischen Abweichungen und über verschiedene Programmiersprachen hinweg zu identifizieren. Sechs zentrale Innovationen werden adressiert: effektive Erkennungsmechanismen, Skalierung auf große Codebasen, Verbesserung der Modell-Erklärbarkeit, kontinuierliches Lernen neuer Schwachstellen, Entwicklung eines KI-optimierten Schwachstellenformats sowie die Integration in bestehende Entwicklungspipelines. Im Rahmen des auf 48 Monate angelegten Projekts werden vier kooperative Promotionen an der Schnittstelle von IT-Sicherheit und maschinellem Lernen durchgeführt. Die entwickelten Prozesse und Werkzeuge sollen als Open-Source bereitgestellt werden, um einen breiten Technologietransfer in Wirtschaft und Gesellschaft zu ermöglichen. Das Vorhaben leistet damit einen wichtigen Beitrag zur Erfüllung steigender Sicherheitsanforderungen, wie sie etwa der EU Cyber Resilience Act vorschreibt. 

Gefördert vom Bundesministerium für Forschung, Technologie und Raumfahrt. 

Das Forschungsprojekt soll Möglichkeiten der Verkehrsbeobachtung mit einer neuen Art von LiDAR-Sensoren, sog. FMCW-LiDAR (Frequency Modulated Continuous Wave Light Detection and Ranging) Sensoren, erforschen. Diese zeichnen sich dadurch aus, dass sie im Gegensatz zu herkömmlichen LiDAR-Sensoren neben Entfernungen auch Radialgeschwindigkeiten messen können. Schon für herkömmliche LiDAR-Sensoren sind Verfahren zur Objekterkennung Gegenstand aktueller Forschungsarbeiten im Bereich des maschinellen Lernens und Inhalt vieler aktueller wissenschaftlicher Veröffentlichungen. Für FMCW-LiDAR-Sensoren existieren dagegen bisher kaum bekannte Lösungen. Das Forschungsprojekt soll dementsprechend neue Verfahren des maschinellen Lernens für die Objektklassifikation am Beispiel von Verkehrsszenen erforschen und deren Leistungsfähigkeit methodisch bewerten.