(Anwendungs-)Projekte SE im Wintersemester 2025/26

Die Restauratoren der Münsterbauhütte müssen die Schäden an den zu restaurienden Gebäuden erfassen, um die Kosten und die Durchführung einer Restaurierung zu planen. Dabei wird Stein für Stein in Augenschein genommen und für jeden eine Menge an Daten erfasst, um den aktuellen Zustand und die notwendigen Restaurierungsarbeiten zu dokumentieren.

Um die sehr aufwändige Datenerfassung mit Fotoapparat, Papier und Bleistift zu verbessern, wurde in vergangenen Projekten eine Windows-App entwickelt, die es ermöglicht, die Daten direkt am Tablett zu erfassen. Dabei werden die Kamera des Tabletts benutzt, um Fotos zu machen, diese mit einer Stifteingabe zu markieren und zu bearbeiten. Zurück im Büro, werden die so integriert erfassten Daten direkt mit der zentralen Datenbank abgeglichen.

Nachdem im vergangenen Jahr die App "aufgeräumt" wurde und einige Teile modernisiert wurden, steht im Wintersemester die Entwicklung von neuen Anforderungen wie z.B. Verwaltung von "ToDos", "komplexeres Rechtekonzepte" usw. an. Diese müssen teilweise zunächst in Zusammenarbeit mit Mitarbeitern der Bauhütte definiert bzw. verfeinert werden.

Die App ist in C# entwickelt worden.

Ansprechpartner:

• Alexander Raschke, Uni Ulm

Public service offices struggle with high query volumes, causing delays for citizens and overburdened workforce. AI applications could address this issue. However, they tend to “hallucinate” and fall under GDPR-regulations if to be used in public sector. Retrieval Augmented Generation (RAG) incorporates Information Retrieval with LLMs. The company DPS Engineering GmbH has an existing RAG AI application but seeks innovative enhancements and extensions.
The goal of this project is to enhance and extend the company’s cloud-based RAG AI application. The company provides the initial app, document corpus, and resources, while students apply their engineering skills. Students will acquire hands-on AI and cloud computing experience and boosting their engineering skills. The improved app will streamline query handling on self-service devices in public offices.
Tasks can be grouped in three areas: web development, RAGs and LLMs as well as cloud deployment. In the area web development, students will revise and redesign the user Interface (UI) for self-service devices in public sector. Multi-language support and an Admin Dashboard will be designed and implemented. In the area RAGs and LLMs, students will fine-tune language models on domain-specific data, experiment with different embedding models (e.g., Sentence-BERT, Universal Sentence Encoder) to boost retrieval accuracy and optimize prompt engineering. The area cloud deployment is about setting up a Serverless Architecture, optimizing the database schema and queries as well as implementing Auto-Scaling.

Contact

• Prof. Dr. Robert Heinrich, Inst. für Softwaretechnik und Programmiersprachen
• Emre Taspolatoglu, DPS Engineering GmbH

Blockchain technology enables the operation of distributed ledgers, a form of replicated database, in blockchain systems. Blockchain systems serve diverse use cases, including asset trading, seed funding, and recording of certificates, each imposing different quality requirements. Key requirements typically relate to degree of decentralization (DoD), scalability, and security. However, according to the blockchain trilemma, DoD, scalability, and security cannot be maximized simultaneously, necessitating Pareto-optimal configurations to balance trade-offs. The quality of a given system configuration can be investigated using model-based analysis. Recent research is developing various approaches to modeling and analyzing blockchain systems. 

Extending an existing simulation tool, the goal of this project is to implement tool support in the form of a modeling and analysis workbench for blockchain systems. The workbench should facilitate modeling a blockchain system configuration
through a Wizard based on system parameters like: 

• Number of Validating Nodes
• Inbound/Outbound Connections between Validating Nodes
• Number of Clients
• Connections between Clients and Validating Nodes
• Target, also called mining difficulty
• Max. Block Size
• Average Block Creation Interval
• Geographical Distribution of Nodes (Pairwise Latencies Between Nodes)

The workbench should allow for selecting several types of analyses for the given system configuration and then trigger the execution of existing analysis algorithms to investigate the dimensions of the blockchain trilemma. While scalability and security are the focus of the simulations, DoD is optional in this project. The workbench should help answer questions like: 

• What is the probable scalability of a given blockchain system configuration?
• How likely is an attack in a given blockchain system configuration?
• What configuration minimizes the likelihood of selected attacks?

In addition to configuring blockchain system models and starting analyses, the workbench should provide appropriate views to visualize the analysis results. Such visualizations could take the form of histograms, cumulative distribution functions, attack trees, or attack probabilities. Building upon the analysis of single quality requirements, the tool should allow for identifying Pareto-optimal configuration candidates to answer questions like:

• How does a given blockchain system configuration meet requirements set by a user in terms of scalability, security (and DoD) for different metrics?
• What is an optimal blockchain system configuration that best meets requirements set by a user in terms of scalability, security (and DoD) for different metrics?

Contact

• Prof. Dr. Robert Heinrich, Inst. für Softwaretechnik und Programmiersprachen
• Dr. Niclas Kanngießer, TUM/KIT

Projektbeschreibung

(English description)

Statische Analyse bezeichnet die Untersuchung von Programmen auf Laufzeiteigenschaften ohne diese tatsächlich auszuführen. Sie ist ein integraler Bestandteil moderner Softwareentwicklung und hilft beim Identifizieren von Fehlern, Sicherheitslücken oder dem Verbessern der Lesbarkeit. Compiler verwenden statische Analyse beispielsweise, um Typfehler zu vermeiden oder möglichst optimalen Code zu generieren. Entwicklungsumgebungen oder Language Server verwenden statische Analyse, um Ihre Funktionalität wie Refactorings oder Autovervollständigung zu realisieren.

In diesem Projekt widmen wir uns flowR, einem Framework für die statische Analyse von R, einer statistischen Programmiersprache die häufig in der Datenanalyse und -visualisierung eingesetzt wird. Eine ausgiebige Analyse des Daten- und Kontrollflusses ermöglicht es flowR beispielsweise ein Programm nur auf die Teile zu reduzieren, die für die Generierung einer Grafik oder die Berechnung eines statistischen Modells relevant sind (das sogenannte Program Slicing).

Über flowR

Aktuell kann flowR als Erweiterung für Visual Studio Code und RStudio, sowie direkt als Docker Image verwendet und ausprobiert werden.

flowR wird unter der GPLv3 Lizenz auf Github hauptsächlich in der Programmiersprache TypeScript entwickelt. Die Dokumentation erfolgt über ein dediziertes Wiki und direkt im Code.

Ziel

Im Anwendungsprojekt wollen wir flowR um eine Unterstützung für R Projekte zu erweitern.
Während die Analyse von einzelnen und auch mehreren Skripten bereits unterstützt wird, zählt hierzu insbesondere die:

• Integration von Build-Systemen wie renv
• Berücksichtigung von Metadaten wie DESCRIPTION oder NAMESPACE Dateien
• Unterstützung von inkrementellen Aktualisierungen (z.B. wenn sich einzelne Dateien ändern)
• Auflösung von Paketbeziehungen und Abhängigkeiten

Auf diese Weise kann flowR auch in größeren Projekten eingesetzt werden und beispielsweise den Datenfluss unter der Berücksichtigung der richtigen Paketabhängigkeiten analysieren.

Ansprechpartner

• Florian Sihler, Inst. für Softwaretechnik und Programmiersprachen

Worum geht es?

Unser Chatbot „BPMNGen“ soll weiterentwickelt werden. Ziel ist es, natürlichsprachliche Beschreibungen und Anforderungen automatisch in grafische BPMN 2.0-Modelle umzuwandeln – und umgekehrt (Model to Text). Dabei stehen Modellqualität, Usability und Team-Kollaboration im Fokus.

Was soll verbessert/entwickelt werden?

• Verbessertes Prompting für nutzerspezifische Antworten
• Höhere Modellqualität: korrekt, vollständig & BPMN 2.0-konform
• Erweiterte BPMN-Elemente: inkl. Datenobjekte, Artefakte, Choreographien
• Kollaborative Modellierung – z. B. via Spracheingabe im Team
• Assistenzfunktionen: automatische Fehlererkennung, Vorschläge, Validierung
• Web-App-Integration
• Optionale RAG-Erweiterung (Wissenseinbindung über externe Quellen)

Was du mitnimmst:

• Praxiserfahrung mit LLMs & Prompt Engineering
• Arbeiten mit Open-Source-Modellierungs-Tools
• Umsetzung innovativer LLM-basierter Softwarelösungen
• Programmieren mit Angular & Node.js

Ansprechpartner

• Luca Hörner, Inst. für Datenbanken und Informationssysteme
• Maximilian Möller, Inst. für Datenbanken und Informationssysteme

Voraussetzungen

Interesse an UX/UI-Design und moderner Webentwicklung (z. B. mit React, Vue oder Angular). Grundkenntnisse in Backend-Entwicklung (z. B. REST APIs, Datenhaltung) sind hilfreich. Ein grundlegendes Verständnis von LLMs bzw. RAG ist von Vorteil, aber nicht zwingend erforderlich.

Kurzbeschreibung

Retrieval-Augmented Generation (RAG) ist eine Technik, bei der ein LLM mit externen Informationen angereichert wird, um fundierte Antworten zu geben. Diese externen Informationen werden mittels Ähnlichkeitssuche aus Dokumentenschnipseln in einer Datenbank bereitgestellt. Viele Nutzer:innen wissen jedoch nicht, dass diese Systeme etwas anders zu verwenden sind als z.B. ChatGPT. Es ist oft unklar ob kurze Stichworte oder ganze Fragen besser funktionieren, wie sie Folgefragen stellen sollten oder welche Arten von Antworten sie erwarten können.

Ziel dieses Projekts ist die Entwicklung eines benutzerfreundlichen Frontends für ein RAG-basiertes Chatbot-System. Der Fokus liegt auf verständlicher Nutzerführung, ansprechender Darstellung der Inhalte und technischer Erweiterbarkeit. Geplant sind folgende Komponenten:

• Benutzerfreundliche Oberfläche: Intuitive Interaktion, übersichtliches UI-Design und verständliche Darstellung der Antworten, umgesetzt in einem modernen Frontend-Framework (z. B. React, Vue, Angular).
• Nutzerführung: Das LLM soll gezielt Rückfragen stellen, Hinweise zur besseren Nutzung geben und Feedback vom Nutzer einholen.
• Plugin-Architektur: Das Frontend soll so gestaltet sein, dass sich verschiedene LLM-Backends leicht anbinden oder austauschen lassen, z. B. über die OpenAI Spezifikation.
• Backend-Anbindung: Standardmäßig erfolgt die Anbindung eines standard RAG Backends über die OpenAI API. Optional kann – bei entsprechendem Interesse – auch ein Open-Source-LLM angebunden werden (z. B. über ein lokales RAG-Setup mit vLLM, ollama oder Huggingface).

Ansprechpartnerin

• Magdalena von Schwerin, Inst. für Datenbanken und Informationssysteme

Projektbeschreibung

In diesem hardwareorientierten Projekt soll ein System zur lokalen Erkennung von Handpositionen aus 3D-Punktewolken realisiert werden. Dabei wird eine Intel RealSense D315 Kamera zur Aufnahme räumlicher Informationen genutzt. Ziel ist es, auf Basis dieser Daten Hände zu identifizieren und deren Positionen im Raum präzise zu bestimmen – z. B. zur Emulation von Touch-Ereignissen auf beliebigen Oberflächen. Die Wahl der Umsetzungstechnologie ist offen: Von einer performanten Implementierung in C/C++ über den Einsatz auf einem Mikrocontroller oder FPGA bis hin zur Anwendung einfacher neuronaler Netze sind viele Ansätze denkbar. Eine spätere Ausbaustufe könnte auch das Zusammenspiel mehrerer Kameras zur verbesserten Erfassung oder der Einsatz KI-basierter Verfahren zur präziseren Handerkennung umfassen. Die gesamte Verarbeitung soll lokal erfolgen, ohne Cloud-Abhängigkeiten, mit Fokus auf Effizienz und Robustheit.

Themen

• Hardwarenahe und performante Programmierung
• 3D-Datenverarbeitung und Computer Vision
• Intel RealSense SDK

Ansprechpartner

• Kadir Dede, innolizer GmbH, Ulm

Context

Manufacturing Execution Systems (MES) are systems used to support during the production of goods. They are supposed to monitor production for traceability and optimization purposes.
The MES developed at ZEISS allows fine grained modeling of production processes to allow detailed analysis and planning. One part of modeling requires the process engineers to write up work instructions for the shopfloor workers to manually execute during production. Instructions are usually a combination of textual descriptions and supplemental images. To make execution of such instructions easier, work instructions should follow best practices and predictable structures. Writing such instructions can be difficult to do, especially for inexperienced process engineers. As a result, these engineers need assistance, optimally via a computer system. 

Goal

The goal of this project is to implement a plugin for the existing text editor tool used at ZEISS to enable a seamless integration of a lightweight AI model for supporting process engineers in writing well rounded work instructions. The plugin shall be able to allow full text and selective optimization. The AI model can be set up as a single multi-modal model or an orchestra of multiple single purpose models. Models should be pretrained but also include a mechanism for human-feedback based reinforcement learning to allow experienced process engineers to optimize the improvement suggestions. 

Technologies

• Angular
• Typescript
• Most likely Python for the AI integration but the choice of language is open

Contact

• Stefan Höppner, Carl-Zeiss MES Solutions

Was ist der Sechs-Minuten-Gehtest?

• Der 6MWT ist ein einfacher Belastungstest im Gesundheitswesen.
• Misst die Distanz, die eine Person in sechs Minuten auf einer ebenen, harten Oberfläche schnell zurücklegen kann (ohne zu rennen).
• Wird häufig zur Beurteilung der funktionellen körperlichen Leistungsfähigkeit eingesetzt.

Ablauf des Tests

(siehe 1. Abbildung rechts)

Umsetzung als Cross-Plattform Flutter App

Nutzt Schrittzähler und manuelle Kalibrierung der Schrittlänge
Anmerkung: Wir hatten auch eine GPS-basierte Version, GPS funktioniert allerdings in-door nicht.

Eure Aufgaben

• Verbesserung der Benutzerfreundlichkeit: User-Story, Design, Passive-sensing, Lock-Screen …
• Testen neuer technischer Herangehensweisen zur Durchführung des Tests: Gyroscope, Accelerometer, …
• Umsetzung mit Google’s Cross-Plattform Framework Flutter für iOS und Android
• SE-Prozess (Softwareentwicklungsprozess)
• Details werden in Absprache mit dem Betreuer geklärt (z.B. Weiterentwicklung oder Neuentwicklung).

Contact

• Prof. Dr. Manfred Reichert, Inst. für Datenbank- und Informationssysteme
• Carsten Vogel, Universität Würzburg

In Familien mit Kindern fallen Aufgaben an, die mit Älterwerden der Kinder immer mehr unter allen Familienmitgliedern verteilt werden. Im Rahmen dieses Projekts soll diese familieninterne Aufgabenkoordination mit einem, im Rahmen des Projekts zu entwickelnden Werkzeug unterstützt werden. Das Werkzeug soll sich einige Konzepte aus KANBAN zu Nutze machen und die Transparenz bzgl. der Familienaufgaben erhöhen. Darüber hinaus soll das Werkzeug Anreize schaffen, sich an den Familienaufgaben zu beteiligen.

Adesso bietet den Kindern seiner Mitarbeiter:innen bereits heute das Portal „adessini“ (https://www.adessini.de) an, über welches die angemeldeten Kinder kleine Aufgaben erfüllen, Spiele spielen und zu besonderen Anlässen kleine Aufmerksamkeiten bekommen können. „adessini“ soll durch das Nachfolgeprojekt „Cosmic Coders“ (App) abgelöst werden. Die im Rahmen dieses Projekts entwickelte Lösung „Family- Kanban“ soll sich möglichst in die Cosmic Coders App integrieren lassen.

Anforderungsrahmen

• Transparenz schaffen via Kanban-Board (-artiger) Darstellung
• Konfigurierbarkeit des Boards („Spalten“)
• Flexible Aufgabenerstellung (auch „besondere“ Aufgabenkategorien wie regelmäßig wiedergehrende Aufgaben)
• Unterstützung des „Pull- Prinzips“: Kinder lernen, Verantwortung zu übernehmen, indem sie sich selbst Aufgaben „ziehen“
• Alle „Teilnehmer“ von Family- Kanban benötigen einen eigenen Account (Accountverwaltung bei Integration in Cosmic Coders bereits vorhanden und soll dann genutzt werden)
  • Kinderaccounts werden von den Eltern verwaltet
  • Accounts sind Familiengemeinschaften zugeordnet
• Optional: Ein Board soll von mehreren Clients parallel genutzt werden können (Kinder-Tablet, Eltern-Smartphone, Familientablet in der Küche am Kühlschrank o. Ä.)
• Optional: Es soll eine Art „Belohnungssystem“ o. Ä. integriert sein, um die Motivation zur Mitwirkung an Familienaufgaben zu steigern (-> Gamification)
• Die Gestaltung soll kindgerecht sein, sodass die Hauptfunktionen des Werkzeugs auch bereits von Kindern im Vorschulalter genutzt werden können
• Bzgl. der Gestaltung und weiterer Vorschläge – etwa zusätzlichen Funktionen - darf/soll sich das Projektteam kreativ einbringen
• Inspiration: https://kanban.family

Technischer Rahmen

• React Native
• Angelehnt an UI/UX- Design der Cosmic Coders App
• Weiterentwicklung des Ergebnisses des Projektteams aus dem WS 2024/25

Ansprechpartner

• Kai Freissler, adesso SE, Ulm
• Heiner Schöllkopf, adesso SE, Ulm

Problemstellung

Ziel ist es, eine zentrale Plattform bereitzustellen, die typische organisatorische Aufgaben und Informationen im Büroalltag abbildet, teilt und verwaltet.

1. Raumbelegung & -planung
   • Übersicht über verfügbare Büroräume
   • Buchungssystem mit Kalenderintegration
   • Anzeige von aktuellen und zukünftigen Belegungen
2. Kaffeemaschine & - Vorrat
   • Kaffeedienstübersicht und Tauschmöglichkeiten
   • additional: Benachrichtigung bei Meldung, wenn Milch oder Kaffee nachgekauft werden muss
3. Pflanzenpflege-Plan
   • Liste aller Pflanzen im Büro mit Pflegehinweisen
   • Gießdienst-Kalender Pflege
   • additional: Erinnerungsfunktion per Nachricht
4. Highscore für Mittagsspiele
   • Verwaltung von Scores für regelmäßig gespielte Spiele (z. B. Tischkicker, Dart)
   • additional: Benutzerprofile mit Statistiken & Rankings
   • additional: Spielhistorie / Match-Verwaltung
5. Parkplatzverwaltung
   • Übersicht über belegte/freie Parkplätze
   • Möglichkeit zur Reservierung/Blockierung
6. Wochenübersicht Mittagessen
   • Community Lunch Anzeige und Link zur Essensangabe
   • additional: Wochenübersicht mit Angeboten

Sonstige Additional Features

1. Statistiksammlung
   • Auswertung von Raumbelegungen, Kaffeeverbrauch, Spielstatistiken etc.
   • Darstellung per Charts
   • Monatlicher Report als PDF oder Webansicht
2. Benachrichtigungen & Erinnerungen
   • Integration mit Mattermost Chatprogramm für automatische Reminder
   • Push-Nachrichten bei wichtigen Ereignissen (z. B. "Kaffee leer", "Zimmerreservierung in 10 Min")
3. Gamification
   • Belohnungssystem für erledigte Aufgaben (z. B. Pflanzen gegossen = +1 Punkt)
   • „Mitarbeiter der Woche“-Feature basierend auf Aktivität
4. Benutzerrollen & Authentifizierung
   • Admins, Standardnutzer
   • OAuth via Gitlab
5. Export-/Importfunktionen
   • Export von Raumbelegungsplänen
   • Import vorhandener Daten aus CSV oder Google Calendar
6. Plugin-System
   • Möglichkeit zur Erweiterung mit neuen Modulen (z. B. Geburtstagskalender, GitHub-Aktivität im Team etc.

Technologien

• Responsive WebApp + Spring Boot Server mit Docker Deployment

Ansprechpartner

• Annika Schladt, itestra GmbH, Stuttgart
• Dr. Tobias Walter, itestra GmbH, Stuttgart

Hintergrund

Aktuelle Forschung fokussiert sich stark auf Digitale Zwillinge. Diese digitalen Abbilder von realen Objekten, wie LKWs, Flugzeugen, bis hin zu einzelnen Bauteilen, erfordern neue Middlewarelösungen zur Aufbereitung von Daten. Es reicht nichtmehr nur stumpf Daten zu sammeln, diese müssen semantisch angereichert werden. Ein Temperatursensor liefert nicht nur Werte, sondern kommuniziert seinen Standort, Zustand und viele weitere Informationen, welche wichtig für die Entscheidungsfindung in Prozessen ist. Web of Things (WoT) bietet dafür einen standardisierten Weg, diese Geräte zu beschreiben und mit Ihnen zu interagieren. Apache Ditto, ein Open-Source-Projekt zur Verwaltung digitaler Zwillinge in Form von Web of Things ähnlichen Abbildern, ermöglicht die nahtlose Verwaltung solcher Geräte und Sensoren und biete damit eine solide Grundlage für den Bau von robuster Middleware.

Ziel

Aktuelle Projekte am Institut adressieren einzelne Teilaspekte der Pipeline um Digitale Zwillinge, allerdings besteht noch keine integrierte Gesamtlösung, welche die Teilprojekte zu einem Gesamtsystem zusammensetzt. Z.B.: Adressiert ein LLM-basierter Analyticsansatz die Ableitung von Handlungen aus Zeitreihendaten, allerdings sind diese Daten nicht aus einem System ausgelesen, sondern synthetisch erzeugt.

Diese Lücke soll durch eine Middlewarelösung geschlossen werden, welche WoT-Beschreibungen einliest, daraus Datenbankschemas generiert und Datenströme aus bekannten Streaminglösungen (z.B.: MQTT, Apache Kafka) einliest und strukturiert speichert. Das Kernthema ist dabei eine robuste, erweiterbare Softwarearchitektur.

Je nach Gruppengröße, kann diese Projekt stark erweitert werden. Neben der Skalierung der im Projekt erzeugten Lösungen durch Docker und Kubernetes, ist es ebenfalls möglich die integrierten Teilprojekte (z.B.: LLM Analyticslösung) zu erweitern oder ein eigenens Vorgehen zu entwickeln für z.B.: automatische Erstellung von Web of Things Beschreibungen aus textuelle Beschreibung des physischen Objekts oder durch eine benutzerfreundliche UI-Lösung.

Aufgabenstellung

1. Integration von Web of Things Descriptions:
   • Nutzung von Apache Ditto zur Verwaltung und Integration der WoT Beschreibungen.
2. Automatisierte Datenbankintegration:
   • Entwicklung einer Architektur zur automatischen Generierung von Datenbankschemas auf Basis von WoT-Beschreibungen.
   • Einrichtung von Inputpfaden zur effizienten Erfassung und Weiterverarbeitung von Sensordaten.
3. Anbindung von Analytics-Lösungen:
   • Entwicklung einer Schnittstelle für Analytics-Software.
4. Mögliche, optionale Features
   • Implementierung einer Methode zur Generierung von WoT-Beschreibungen aus natürlicher Sprache. (Algorithmisch oder auf Basis von LLMs)
   • Erstellung einer nutzerfreundlichen UI zum Zusammenstellen von WoT-Deskriptionen.
   • Aufbau und Evaluierung der Skalierungsmöglichkeiten mittels Docker und Kubernetes für verteilte Systeme.
   • Weiterentwicklung von LLM-basierten Analytics-Prototypen
   • Raum für eigene Ideen und Ansätze

Technologien

• Grunsätzlich freie Wahl von Programmierspache, solange sinnvoll

• Apache Ditto

• Docker und Kubernetes

• Datenbanktechnologien (z.B. InfluxDB, MongoDB)

Zielgruppe

• Studierende mit Interesse an IoT/Digitalen Zwillingen, Streaming Middleware, Datenbanken, Web of Things, verteilten Systemen, künstlicher Intelligenz.

Teamgröße

• Kleines Team (3–4 Studierende): Fokus auf Integration und Schnittstellenentwicklung, optionale LLM-Anbindung ohne Weiterentwicklung.

• Großes Team (5–7 Studierende): Erweiterte Aufgabenstellung inkl. Weiterentwicklung einer LLM-Lösung sowie detaillierte Bearbeitung der Skalierungs- und UI-Komponenten.

Ansprechpartner

• Pascal Schiessle, Inst. für Datenbanken und Informationssysteme

Wie bewegen sich Nutzer*innen mit körperlichen oder sensorischen Einschränkungen durch virtuelle Umgebungen? Wie wirken sich beispielsweise eingeschränkte Sichtfelder, Tremor oder verringerte Muskelkraft auf das Interaktionsverhalten in VR oder an einem Touchscreen aus? Und wie können wir solche Nutzerprofile realistisch simulieren, ohne aufwendige Nutzerstudien mit echten Personen durchführen zu müssen?

Aktuelle Forschung liefert dafür bereits starke Grundlagen

• User-in-the-Box (UIST ’22) zeigt, wie biomechanisch realistische Nutzermodelle per Reinforcement Learning (RL) generiert werden können.
• SIM2VR (UIST ’24) integriert diese Simulationen direkt in Unity-VR-Anwendungen über eine Echtzeit-Bridge (ZeroMQ).
• VIP-Sim (UIST ’25) bringt echte Nutzer*innen mit Seheinschränkungen in die Entwicklung von visuellen Impairment-Simulationen ein.

Allerdings fehlt bislang eine durchgängige Systematik zur Kombination dieser Stärken: Es gibt keine Möglichkeit, systematisch Agenten mit Einschränkungen zu simulieren, zu konfigurieren und für Studien einzusetzen – also z. B. zu untersuchen, wie sich UI-Designs unter verschiedenen Einschränkungen auswirken.

Warum?

Aktuelle biomechanische Modelle bilden den „Durchschnittsmenschen“ ab. Für inklusives Design braucht es jedoch Simulationen, die den Einfluss verschiedener Beeinträchtigungen auf Interaktion, Performance und Ergonomie berücksichtigen. Dieses Projekt schließt diese Lücke.
Wir entwickeln ein offenes, modulares Framework, mit dem Forschende, Designer*innen und Studierende:

• realistisch eingeschränkte RL-Agents erzeugen und konfigurieren können,
• diese direkt in VR-Prototypen testen und vergleichen können (SIM2VR),
• und ihre Ergebnisse für Studien und barrierefreies Design nutzen können.

Für dich als Studierende*r bedeutet das:

• Du arbeitest mit aktuellen Top-Publikationen und Open-Source-Tools.
• Du entwickelst ein eigenes Framework, das reale Wirkung in Forschung und Designpraxis entfalten kann.
• Du bringst technische und gesellschaftliche Perspektiven zusammen – von Deep Reinforcement Learning bis inklusivem Design.

Das Projekt ist ideal für Studierende mit Interesse an:

• Mensch-Technik-Interaktion / HCI
• Python, VR, Unity, UI-Design
• Simulationsmodellierung und Machine Learning
• Barrierefreiheit und digitaler Inklusion

Kontakt

• Max Rädler, Institut für Medieninformatik

Die zunehmende Komplexität von Hardware-Software-Systemen stellt unsere Gesellschaft vor eine große Herausforderung. Jeder Chip, jedes System und jede Anwendung muss entwickelt, implementiert und optimiert werden, um den steigenden Anforderungen gerecht zu werden. Dieser damit verbundene wachsende Aufwand wird oft als Design-Gap bezeichnet, da die Modellierung von Systemen und die Implementierung immer weiter auseinanderdriften.
Ein vielversprechender Ansatz, um diese Lücke zu schließen, ist die Verwendung von Model-Driven Architecture (MDA). MDA ermöglicht es, Modelle auf verschiedenen Abstraktionsebenen zu erstellen und diese dann in ausführbaren Code zu transformieren. Dieser Ansatz verspricht nicht nur eine höhere Effizienz, sondern auch eine größere Flexibilität bei der Entwicklung von komplexen Systemen. Eng verbunden mit MDA ist die formale Definition der im MDA Prozess verwendeten Modelle durch sogenannte Metamodelle und die automatische Generierung von Code – z.B. um die Erzeugung, das Lesen, das Transformieren und das Modifizieren der Modelle zu unterstützen. Meta-Modellierung und Code Generierung wird in sogenannten Meta-Modelling-Frameworks unterstützt.
Die Verwendung von MDA birgt jedoch auch Herausforderungen. Die derzeit auf dem Markt verfügbaren Meta-Modelling-Frameworks neigen dazu, sehr groß und komplex zu sein, was ihre Anwendung oft erschwert. Darüber hinaus ist der Entwurf und das Wiederverwenden von Metamodellen nicht immer trivial. Unsere jahrelange Erfahrung im Bereich MDA hat uns gezeigt, dass es hierfür spezielle Techniken und Ansätze benötigt, um die Komplexität zu reduzieren und die Effizienz zu steigern.
Im Rahmen dieses Projekts soll ein neues Framework MOMENT entwickelt werden, das die Vorteile von MDA mit der Notwendigkeit nach Einfachheit und Flexibilität kombiniert. MOMENT steht dabei für Meta Object Modeling and Engineering for Next-generation Technologies. Das Framework soll es ermöglichen, Modelle auf verschiedenen Abstraktionsebenen zu erstellen und diese dann in ausführbaren Code zu transformieren, ohne die Komplexität und den Aufwand zu erhöhen.

Ziel

Das zu entwickelnde Framework soll eine flexible und effiziente Modellierung auf verschiedenen Abstraktionsebenen ermöglichen, ohne die Komplexität und den Aufwand zu erhöhen. Es soll möglich sein, beliebig viele Abstraktionsebenen in einer Kaskade zu schalten, um die Modellierung von komplexen Systemen zu unterstützen. Basierend auf unserer Erfahrung im Bereich MDA haben wir erkannt, dass der Entwurf und die Wiederverwendung von Metamodellen oft Herausforderungen mit sich bringen. Wir haben daher Methoden entwickelt, die wir gerne in diesem neuen System der Forschung und Lehre  zur Verfügung stellen möchten, um die Modellierung und Wiederverwendung von Metamodellen zu erleichtern. Wir sind aber auch auf eure Ideen und Ansätze gespannt, welche die Welt der Metamodellierung noch weiter vereinfachen und bereichern können!

Technologie

Wir formulieren Anforderungen und diskutieren Lösungsansätze. Wir bleiben technologieoffen und sind bereit, verschiedene Ansätze zu prüfen. Unsere bisherigen Prototypen und ersten Ansätze können als Ausgangspunkt dienen, aber wir möchten das Team nicht auf eine bestimmte Technologie festlegen, bevor wir nicht eine umfassende Technologiebewertung durchgeführt haben. Diese könnte neue Lösungen aufdecken, die wir bisher noch nicht in Betracht gezogen haben.

Kontakt

• Raphael Kunz, Infineon, München

immersight entwickelt mit dem 3D-Workroom ein System, um Räume mittels 360°-Kamera zu erfassen, zu vermessen und virtuell zu betreten. Für diese Anwendung existiert bislang keine echte App - es existiert nur eine Web-Anwendung basierend auf JavaScript, konkret ThreeJS. Dabei gibt es einen Edit-Mode (um Messungen vorzunehmen und 3D-Modelle zu platzieren, geht nur logged in) und einen Viewing-Mode, wenn man einen Virtuellen Raum einfach nur per Link teilt (anonym).

Hier ein Biespiel (Viewing-Mode): https://3d-showroom.com/projectlink/QyMVuVjQsO8jk3f148zs

Die Projekte im 3D-Workroom dienen meistens der Baustellendokumentation und -kommunikation. Das bedeutet, verschiedene Mitarbeiter eines Bauunternehmens machen zu verschiedenen Zeitpunkten mit der 360°-Kamera Aufnahmen vom Baufortschritt und laden diese Aufnahmen dann ins Projekt. Eine Vermessung und Begehung ist derzeit nur am PC, Laptop oder Tablet per Webbrowser möglich. Um einen noch immersiveren Zugang zu den virtuellen Räumen zu erhalten, soll es ermöglicht werden, diese Räume mittels VR-Brille zu betreten und ggf. mit dem Raum zu interagieren.

Es soll der aktuelle JS-Code, der den virtuellen Raum lädt und darstellt, erweitert oder umgeschrieben werden auf WebXR (mittels ThreeJS), sodass man die Räume immersiv mit einer VR-Brille (Meta Quest) betrachten kann. Die WebXR Anwendung kann durch Aufrufen des Links zum Virtuellen Raum mittels XR-Device gestartet werden (Standalone-Mode).

Genau so könnte aber der Virtuelle Raum auf einem PC/Laptop/Tablet geöffnet werden, dann über einen QR-Code ein XR-Client direkt auf dem XR-Device gestartet werden. Die Web-Anwendung auf dem Browser im PC/Laptop/Tablet könnte mittels Web-Schnittstelle mit dem XR-Device kommunizieren und Informationen (z.B. aktuelle Blickrichtung) zurücksenden (Client-Mode).

Der aktuelle JS-Code zum Virtuellen Begehen hat einen Edit-Mode (User ist logged in) und so kann der Benutzer aktiv im Raum Veränderungen vornehmen. Das bedeutet, er kann Messungen im Raum machen oder auch 3D-Modelle platzieren. Diese Interaktion ist auch mittels VR-Brille möglich, da die meisten Brillen noch Controller für die Hände mitbringen. Es soll überprüft werden, in welchem Umfang Interaktionen im XR-Mode mit VR-Brille möglich sind.

Mit der 3D-Showroom Windows Software hat die Firma immersight noch einen Standalone Client für die Präsentation von Virtuellen Räumen, die häufig an einem PC+TV verwendet wird. Diese wird im Verkaufsprozess mit neuen Kunden verwendet. Hier ist ein Beispiel für einen virtuellen Raum: https://3d-showroom.com/kojelink/pp7xhH 

Es ist möglich, eine Google Cardboard VR-Brille zu verwenden. Für Android wurde eineeigene App für diesen Zweck entwickelt (Panoramabrille-App). Diese App ist veraltet und die Funktion könnte durch den neuen WebXR-Client auch übernommen werden. 

Ziele in Stufen

1. Virtuelle Räume sind mittels WebXR auf einer VR Brille (Meta Quest) erlebbar
2. Möglichkeiten der Interaktion prüfen, z.B. Objekte im Raum platzieren
3. Standalone Mode erweitern auf Client-Mode
4. WebXR-Client für Meta Quest auch an die 3D-Showroom Software anschließen

Ansprechpartner

• Fabian Weiß, immersight GmbH

Context

Attack analysis is typically conducted by cybersecurity experts, who possess in-depth knowledge in this field. However, cybersecurity experts often do their job in the development phase, or even after the software system is released. When designing the software architectures or cyber-physical systems (CPSs), architects often miss the security aspects due to their knowledge.

Problem

The attacks can propagate through the system due to a misconfiguration or an unawareness of the implicit access control policies. Selecting an appropriate mitigation technique requires a lot of expert knowledge.

Tasks/Goals

• Research and develop an approach to use architectural analysis and a large language model (LLM) to mitigate an attack.
• Using architecture, we use Palladio Component Model (PCM) as the architectural description language, and ask LLM to identify the vulnerabilities and provide a suggestion to mitigate the vulnerabilities.
• Analyse the attack propagation with the proposed mitigation.

Technologies

• ReactJS
• Java
• Eclipse Modeling Framework
• Docker

Contact

• Lan Le, Inst. für Softwaretechnik und Programmiersprachen