Auf dieser Seite werden ab dem 06. Februar 2026 kurz die im SoSe 2026 angebotenen Projekte beschrieben. Es wird dabei nicht zwischen Bachelor und Masterprojekten unterschieden, da wir gemischte Gruppen zu lassen.
Wenn Sie im nächsten Semester eines der unten stehenden Projekte belegen möchten, senden Sie bitte bis zum 25.02.26 eine E-Mail mit priorisierten Wünschen (3-5 Projekte) an Alexander Raschke.
Bitte auch die Buchstaben zur eindeutigen Kennzeichnung in der Mail mit angeben!
Bei Fragen zu den Projekten wenden Sie sich bitte ebenfalls an Alexander Raschke.
Eine Galerie der bisherigen Projekte finden Sie hier: Bisherige SE-Projekte
Die Projektvorstellung der im SoSe 2026 angebotenen Projekte findet am Dienstag, 10.02.2026 von 13:00 - 15:00 Uhr über Zoom statt.
Sie können dem Zoom-Meeting beitreten, indem sie zu gegebener Zeit diesem Link folgen:
https://uni-ulm.zoom-x.de/j/66596460030?pwd=LuCqu05lZHmtmVSTsTSwPfHpPcYSqE.1
Die folgenden Beschreibungen sind die Projekte vom aktuellen Wintersemester 2025/26.
Die Liste für das Sommersemester wird erst ab dem 06.02.2026 veröffentlich!
A: Unterstützung der Münsterbauhütte bei Kartierungsarbeiten
B: RAG for Public Sector - A Tool for Enhancing Public Service Delivery by Information Retrieval with LLMs
C: BlockchainBench - An extensible Tool for Modelling and Analysing Blockchain Systems
D: Statische Programm-Analyse für Projekte
E: Weiterentwicklung und Optimierung eines Chatbots im Bereich der Prozessmodellierung
F: Chatbot-Frontend mit Fokus auf Usability und Nutzerführung
G: Intelligente E-Mail-Analyse und -Anreicherung mit LLMs
H: Lokale Handerkennung aus 3D-Punktewolken
I: Computer Assisted Work Instruction Documentation
J: Six-Minute Walk Test (6MWT)
K: Family Kanban
L: Software Engineering for Data Science and Deep Learning
M: Office Manager
N: H.O.L.T. Layer (Holistic Object Linking Twinware)
O: KI Sprachassistent
P: Kamera-basiertes Eye-Tracking
Q: Inventory and Management System for Sustainable Maker Space
R: SimPair – Simulation körperlicher und sensorischer Einschränkungen in virtuellen biomechanischen Nutzermodellen für VR-Design und Nutzerforschung
S: KITa Digitalisierung
T: Moment – An Open Source Lightweight Meta-Modeling Framework
U: Interactive Multi-User XR-Museum
V: WebXR-Viewer for 3D-Workroom
W: Build your own SaaS - and automate it!
X: Online Modelling and Analysis Tool to investigate Attack Propagation in Software Architectures
Y: VIP-Sim++ – Performance, AR und Eye-Tracking für inklusive VR/AR-Simulationen
Die Restauratoren der Münsterbauhütte müssen die Schäden an den zu restaurienden Gebäuden erfassen, um die Kosten und die Durchführung einer Restaurierung zu planen. Dabei wird Stein für Stein in Augenschein genommen und für jeden eine Menge an Daten erfasst, um den aktuellen Zustand und die notwendigen Restaurierungsarbeiten zu dokumentieren.
Um die sehr aufwändige Datenerfassung mit Fotoapparat, Papier und Bleistift zu verbessern, wurde in vergangenen Projekten eine Windows-App entwickelt, die es ermöglicht, die Daten direkt am Tablett zu erfassen. Dabei werden die Kamera des Tabletts benutzt, um Fotos zu machen, diese mit einer Stifteingabe zu markieren und zu bearbeiten. Zurück im Büro, werden die so integriert erfassten Daten direkt mit der zentralen Datenbank abgeglichen.
Nachdem im vergangenen Jahr die App "aufgeräumt" wurde und einige Teile modernisiert wurden, steht im Wintersemester die Entwicklung von neuen Anforderungen wie z.B. Verwaltung von "ToDos", "komplexeres Rechtekonzepte" usw. an. Diese müssen teilweise zunächst in Zusammenarbeit mit Mitarbeitern der Bauhütte definiert bzw. verfeinert werden.
Die App ist in C# entwickelt worden.
Ansprechpartner:
Public service offices struggle with high query volumes, causing delays for citizens and overburdened workforce. AI applications could address this issue. However, they tend to “hallucinate” and fall under GDPR-regulations if to be used in public sector. Retrieval Augmented Generation (RAG) incorporates Information Retrieval with LLMs. The company DPS Engineering GmbH has an existing RAG AI application but seeks innovative enhancements and extensions.
The goal of this project is to enhance and extend the company’s cloud-based RAG AI application. The company provides the initial app, document corpus, and resources, while students apply their engineering skills. Students will acquire hands-on AI and cloud computing experience and boosting their engineering skills. The improved app will streamline query handling on self-service devices in public offices.
Tasks can be grouped in three areas: web development, RAGs and LLMs as well as cloud deployment. In the area web development, students will revise and redesign the user Interface (UI) for self-service devices in public sector. Multi-language support and an Admin Dashboard will be designed and implemented. In the area RAGs and LLMs, students will fine-tune language models on domain-specific data, experiment with different embedding models (e.g., Sentence-BERT, Universal Sentence Encoder) to boost retrieval accuracy and optimize prompt engineering. The area cloud deployment is about setting up a Serverless Architecture, optimizing the database schema and queries as well as implementing Auto-Scaling.
Blockchain technology enables the operation of distributed ledgers, a form of replicated database, in blockchain systems. Blockchain systems serve diverse use cases, including asset trading, seed funding, and recording of certificates, each imposing different quality requirements. Key requirements typically relate to degree of decentralization (DoD), scalability, and security. However, according to the blockchain trilemma, DoD, scalability, and security cannot be maximized simultaneously, necessitating Pareto-optimal configurations to balance trade-offs. The quality of a given system configuration can be investigated using model-based analysis. Recent research is developing various approaches to modeling and analyzing blockchain systems.
Extending an existing simulation tool, the goal of this project is to implement tool support in the form of a modeling and analysis workbench for blockchain systems. The workbench should facilitate modeling a blockchain system configuration
through a Wizard based on system parameters like:
The workbench should allow for selecting several types of analyses for the given system configuration and then trigger the execution of existing analysis algorithms to investigate the dimensions of the blockchain trilemma. While scalability and security are the focus of the simulations, DoD is optional in this project. The workbench should help answer questions like:
In addition to configuring blockchain system models and starting analyses, the workbench should provide appropriate views to visualize the analysis results. Such visualizations could take the form of histograms, cumulative distribution functions, attack trees, or attack probabilities. Building upon the analysis of single quality requirements, the tool should allow for identifying Pareto-optimal configuration candidates to answer questions like:
Statische Analyse bezeichnet die Untersuchung von Programmen auf Laufzeiteigenschaften ohne diese tatsächlich auszuführen. Sie ist ein integraler Bestandteil moderner Softwareentwicklung und hilft beim Identifizieren von Fehlern, Sicherheitslücken oder dem Verbessern der Lesbarkeit. Compiler verwenden statische Analyse beispielsweise, um Typfehler zu vermeiden oder möglichst optimalen Code zu generieren. Entwicklungsumgebungen oder Language Server verwenden statische Analyse, um Ihre Funktionalität wie Refactorings oder Autovervollständigung zu realisieren.
In diesem Projekt widmen wir uns flowR, einem Framework für die statische Analyse von R, einer statistischen Programmiersprache die häufig in der Datenanalyse und -visualisierung eingesetzt wird. Eine ausgiebige Analyse des Daten- und Kontrollflusses ermöglicht es flowR beispielsweise ein Programm nur auf die Teile zu reduzieren, die für die Generierung einer Grafik oder die Berechnung eines statistischen Modells relevant sind (das sogenannte Program Slicing).
Aktuell kann flowR als Erweiterung für Visual Studio Code und RStudio, sowie direkt als Docker Image verwendet und ausprobiert werden.
flowR wird unter der GPLv3 Lizenz auf Github hauptsächlich in der Programmiersprache TypeScript entwickelt. Die Dokumentation erfolgt über ein dediziertes Wiki und direkt im Code.
Im Anwendungsprojekt wollen wir flowR um eine Unterstützung für R Projekte zu erweitern.
Während die Analyse von einzelnen und auch mehreren Skripten bereits unterstützt wird, zählt hierzu insbesondere die:
Auf diese Weise kann flowR auch in größeren Projekten eingesetzt werden und beispielsweise den Datenfluss unter der Berücksichtigung der richtigen Paketabhängigkeiten analysieren.
Unser Chatbot „BPMNGen“ soll weiterentwickelt werden. Ziel ist es, natürlichsprachliche Beschreibungen und Anforderungen automatisch in grafische BPMN 2.0-Modelle umzuwandeln – und umgekehrt (Model to Text). Dabei stehen Modellqualität, Usability und Team-Kollaboration im Fokus.
Interesse an UX/UI-Design und moderner Webentwicklung (z. B. mit React, Vue oder Angular). Grundkenntnisse in Backend-Entwicklung (z. B. REST APIs, Datenhaltung) sind hilfreich. Ein grundlegendes Verständnis von LLMs bzw. RAG ist von Vorteil, aber nicht zwingend erforderlich.
Retrieval-Augmented Generation (RAG) ist eine Technik, bei der ein LLM mit externen Informationen angereichert wird, um fundierte Antworten zu geben. Diese externen Informationen werden mittels Ähnlichkeitssuche aus Dokumentenschnipseln in einer Datenbank bereitgestellt. Viele Nutzer:innen wissen jedoch nicht, dass diese Systeme etwas anders zu verwenden sind als z.B. ChatGPT. Es ist oft unklar ob kurze Stichworte oder ganze Fragen besser funktionieren, wie sie Folgefragen stellen sollten oder welche Arten von Antworten sie erwarten können.
Ziel dieses Projekts ist die Entwicklung eines benutzerfreundlichen Frontends für ein RAG-basiertes Chatbot-System. Der Fokus liegt auf verständlicher Nutzerführung, ansprechender Darstellung der Inhalte und technischer Erweiterbarkeit. Geplant sind folgende Komponenten:
In diesem Projekt wird eine Webanwendung entwickelt, die E-Mails automatisiert strukturiert, analysiert und mit unternehmensinternem Wissen anreichert. Nutzer:innen können E-Mails entweder manuell hochladen oder – in einer späteren Ausbaustufe – automatisch einlesen lassen. Mithilfe eines LLM-gestützten Backends werden relevante Inhalte wie Beschreibung, Haupttext oder Anhänge extrahiert, interpretiert und in eine strukturierte Form überführt. Zudem können – z. B. durch Abfragen von internen Produktdatenbanken – Zusatzinformationen wie Verfügbarkeiten oder interne Referenzen eingebunden werden. Ziel ist es, die Bearbeitung aufwändiger oder unklar formulierter Mails zu beschleunigen und standardisierte Workflows zu fördern. Die Anwendung umfasst ein Frontend, ein Backend, eine Datenbank sowie eine Message-Queue für Hintergrundverarbeitung. In einer späteren Version könnte zusätzlich eine Abrechnung der LLM-Nutzung pro Benutzer erfolgen. Die Wahl der Technologien ist flexibel.
In diesem hardwareorientierten Projekt soll ein System zur lokalen Erkennung von Handpositionen aus 3D-Punktewolken realisiert werden. Dabei wird eine Intel RealSense D315 Kamera zur Aufnahme räumlicher Informationen genutzt. Ziel ist es, auf Basis dieser Daten Hände zu identifizieren und deren Positionen im Raum präzise zu bestimmen – z. B. zur Emulation von Touch-Ereignissen auf beliebigen Oberflächen. Die Wahl der Umsetzungstechnologie ist offen: Von einer performanten Implementierung in C/C++ über den Einsatz auf einem Mikrocontroller oder FPGA bis hin zur Anwendung einfacher neuronaler Netze sind viele Ansätze denkbar. Eine spätere Ausbaustufe könnte auch das Zusammenspiel mehrerer Kameras zur verbesserten Erfassung oder der Einsatz KI-basierter Verfahren zur präziseren Handerkennung umfassen. Die gesamte Verarbeitung soll lokal erfolgen, ohne Cloud-Abhängigkeiten, mit Fokus auf Effizienz und Robustheit.
Manufacturing Execution Systems (MES) are systems used to support during the production of goods. They are supposed to monitor production for traceability and optimization purposes.
The MES developed at ZEISS allows fine grained modeling of production processes to allow detailed analysis and planning. One part of modeling requires the process engineers to write up work instructions for the shopfloor workers to manually execute during production. Instructions are usually a combination of textual descriptions and supplemental images. To make execution of such instructions easier, work instructions should follow best practices and predictable structures. Writing such instructions can be difficult to do, especially for inexperienced process engineers. As a result, these engineers need assistance, optimally via a computer system.
The goal of this project is to implement a plugin for the existing text editor tool used at ZEISS to enable a seamless integration of a lightweight AI model for supporting process engineers in writing well rounded work instructions. The plugin shall be able to allow full text and selective optimization. The AI model can be set up as a single multi-modal model or an orchestra of multiple single purpose models. Models should be pretrained but also include a mechanism for human-feedback based reinforcement learning to allow experienced process engineers to optimize the improvement suggestions.
(siehe 1. Abbildung rechts)
Nutzt Schrittzähler und manuelle Kalibrierung der Schrittlänge
Anmerkung: Wir hatten auch eine GPS-basierte Version, GPS funktioniert allerdings in-door nicht.
In Familien mit Kindern fallen Aufgaben an, die mit Älterwerden der Kinder immer mehr unter allen Familienmitgliedern verteilt werden. Im Rahmen dieses Projekts soll diese familieninterne Aufgabenkoordination mit einem, im Rahmen des Projekts zu entwickelnden Werkzeug unterstützt werden. Das Werkzeug soll sich einige Konzepte aus KANBAN zu Nutze machen und die Transparenz bzgl. der Familienaufgaben erhöhen. Darüber hinaus soll das Werkzeug Anreize schaffen, sich an den Familienaufgaben zu beteiligen.
Adesso bietet den Kindern seiner Mitarbeiter:innen bereits heute das Portal „adessini“ (https://www.adessini.de) an, über welches die angemeldeten Kinder kleine Aufgaben erfüllen, Spiele spielen und zu besonderen Anlässen kleine Aufmerksamkeiten bekommen können. „adessini“ soll durch das Nachfolgeprojekt „Cosmic Coders“ (App) abgelöst werden. Die im Rahmen dieses Projekts entwickelte Lösung „Family- Kanban“ soll sich möglichst in die Cosmic Coders App integrieren lassen.
Software engineering for Data Science and Deep Learning is a new and emerging field. It aims to understand and implement algorithms, methods, and pipelines on a specific topic in Data Science. Of particular interest are methods in machine learning, including modern neural networks (Deep Learning), and their applications to the analysis, interlinkage, and enrichment of unstructured data like multimedia content and textual content, as well as the analysis and use of open data on the web.
Topics we are going to offer are:
The project group covers different topics in Data Science. Examples of topics are the analysis, interlinkage, and enrichment of unstructured textual documents or the analysis and use of semi-structured graph data on the web. The students work in small groups on different innovative and applied problems. Besides a requirements analysis and conceptual specification of the problem, an important task is the implementation and scientific evaluation of the proposed solution.
Data Science deals with the data-driven, interdisciplinary analysis of digital objects such as semi-structured graph data on the web (i.e., Linked Open Data), documents, profiles, or communities, and understanding their relationships. The module involves understanding and summarizing algorithms and methods on a specific topic in Data Science. Of particular interest are methods in machine learning, including modern neural networks (Deep Learning) and their applications to the analysis, interlinkage, and enrichment of unstructured data like multimedia content and textual content, as well as the analysis and use of open data on the web.
The students of the practical course are encouraged to independently organize and work on a project for a real or fictive partner in industry or research. An essential requirement of the practical course is a proper conceptual design, implementation, and scientific evaluation of the solution. In addition, a sufficient level of innovation for the proposed solution, an in-depth analysis of the problem, and the documentation of the results are required. This includes a continuous evaluation and reporting of intermediate results and active participation of students in the design of the solution for the practical course. Thus, students are highly encouraged to propose their views on the problem and make suggestions for improving the applied methods and results.
General information about the concept: https://github.com/data-science-and-big-data-analytics/teaching-examples
Topics for BSc and MSc theses: https://tinyurl.com/dsbda-topics
Writing template: https://tinyurl.com/dsbda-template
There are a couple of previous examples of projects with SE:
[1] Bag-of-Words vs. Graph vs. Sequence in Text Classification: Questioning the Necessity of Text-Graphs and the Surprising Strength of a Wide MLP, ACL 2022, URL: https://aclanthology.org/2022.acl-long.279/
[2] Hierarchical Text Classification (HTC) vs. eXtreme Multilabel Classification (XML): Two Sides of the Same Medal, URL: https://arxiv.org/abs/2411.13687
[3] Continual Learning for Encoder-only Language Models via a Discrete Key-Value Bottleneck, https://arxiv.org/abs/2412.08528
Contact me for an informal chat.
Ziel ist es, eine zentrale Plattform bereitzustellen, die typische organisatorische Aufgaben und Informationen im Büroalltag abbildet, teilt und verwaltet.
Aktuelle Forschung fokussiert sich stark auf Digitale Zwillinge. Diese digitalen Abbilder von realen Objekten, wie LKWs, Flugzeugen, bis hin zu einzelnen Bauteilen, erfordern neue Middlewarelösungen zur Aufbereitung von Daten. Es reicht nichtmehr nur stumpf Daten zu sammeln, diese müssen semantisch angereichert werden. Ein Temperatursensor liefert nicht nur Werte, sondern kommuniziert seinen Standort, Zustand und viele weitere Informationen, welche wichtig für die Entscheidungsfindung in Prozessen ist. Web of Things (WoT) bietet dafür einen standardisierten Weg, diese Geräte zu beschreiben und mit Ihnen zu interagieren. Apache Ditto, ein Open-Source-Projekt zur Verwaltung digitaler Zwillinge in Form von Web of Things ähnlichen Abbildern, ermöglicht die nahtlose Verwaltung solcher Geräte und Sensoren und biete damit eine solide Grundlage für den Bau von robuster Middleware.
Aktuelle Projekte am Institut adressieren einzelne Teilaspekte der Pipeline um Digitale Zwillinge, allerdings besteht noch keine integrierte Gesamtlösung, welche die Teilprojekte zu einem Gesamtsystem zusammensetzt. Z.B.: Adressiert ein LLM-basierter Analyticsansatz die Ableitung von Handlungen aus Zeitreihendaten, allerdings sind diese Daten nicht aus einem System ausgelesen, sondern synthetisch erzeugt.
Diese Lücke soll durch eine Middlewarelösung geschlossen werden, welche WoT-Beschreibungen einliest, daraus Datenbankschemas generiert und Datenströme aus bekannten Streaminglösungen (z.B.: MQTT, Apache Kafka) einliest und strukturiert speichert. Das Kernthema ist dabei eine robuste, erweiterbare Softwarearchitektur.
Je nach Gruppengröße, kann diese Projekt stark erweitert werden. Neben der Skalierung der im Projekt erzeugten Lösungen durch Docker und Kubernetes, ist es ebenfalls möglich die integrierten Teilprojekte (z.B.: LLM Analyticslösung) zu erweitern oder ein eigenens Vorgehen zu entwickeln für z.B.: automatische Erstellung von Web of Things Beschreibungen aus textuelle Beschreibung des physischen Objekts oder durch eine benutzerfreundliche UI-Lösung.
Grunsätzlich freie Wahl von Programmierspache, solange sinnvoll
Apache Ditto
Docker und Kubernetes
Datenbanktechnologien (z.B. InfluxDB, MongoDB)
Studierende mit Interesse an IoT/Digitalen Zwillingen, Streaming Middleware, Datenbanken, Web of Things, verteilten Systemen, künstlicher Intelligenz.
Kleines Team (3–4 Studierende): Fokus auf Integration und Schnittstellenentwicklung, optionale LLM-Anbindung ohne Weiterentwicklung.
Großes Team (5–7 Studierende): Erweiterte Aufgabenstellung inkl. Weiterentwicklung einer LLM-Lösung sowie detaillierte Bearbeitung der Skalierungs- und UI-Komponenten.
Im Rahmen eines Pilotprojekts bei eXXcellent solutions, in Zusammenarbeit mit dem Deutschen Roten Kreuz, beschäftigen wir uns mit dem Thema Hausnotrufsysteme. Ziel des Projekts ist es, praxisnah zu untersuchen, wie ein durch künstliche Intelligenz unterstütztes, automatisiertes Hausnotrufsystem entwickelt werden kann, das bestehende Systeme sinnvoll ergänzt und verbessert.
Ein wesentlicher Teil des Projekts befasst sich mit dem Themenfeld Spracherkennung und Sprachgenerierung.
Im Rahmen dieses Vorhabens soll ein KI-gestützter Sprachassistent entwickelt werden, der eine natürliche, flüssige und sprachgesteuerte Kommunikation ermöglicht. Die Interaktion erfolgt über Spracheingabe mittels Mikrofons. Gesprochene Inhalte werden automatisch transkribiert, inhaltlich analysiert und ausgewertet. Auf Basis dieser Auswertung generiert das System eine passende Antwort – in der Sprache des Sprechers.
Dabei steht nicht die Notfallkommunikation, sondern die allgemeine sprachliche Interaktion mit dem System im Vordergrund.
Das System auf folgende Art und Weise umgesetzt werden:
Die Auswahl der Modelle ist flexibel – es müssen keine eigenen Modelle trainiert werden. Wichtig ist jedoch, dass die eingesetzten Modelle problemlos austauschbar sind.
Ziel ist es, ein möglichst realistisches, natürliches und unterbrechungsfreies Gespräch zwischen Menschen und KI zu ermöglichen – bei möglichst geringer Latenz.
Eye Tracking ermöglicht die Erfassung der visuellen Aufmerksamkeit von Benutzern und wird im Bereich der Mensch-Computer-Interaktion (MCI) sowohl als methodisches Werkzeug zur Evaluation von Benutzerschnittstellen als auch zur augenbasierten Interaktion eingesetzt [1]. Allerdings ist die derzeit verfügbare Hard- und Software für Eye-Tracking kostenintensiv und nicht allgemein verfügbar, was eine breite Anwendung erheblich einschränkt. Obwohl Kamera-basiertes Eye-Tracking dank der Fortschritte im Bereich der Computer Vision bereits möglich ist [2, 3], fehlt es an einer einfach zu bedienenden, vielseitig einsetzbaren, leicht zu integrierenden und offenen Lösung hierfür.
Dieses Projekt zielt darauf ab, eine kostengünstige und einfache Kamera-basierte Eye-Tracking-Lösung bereitzustellen, die insbesondere im Bereich der MCI-Forschung für augenbasierte Interaktion und Datenerfassung einsetzbar ist und sich leicht in bestehende Systeme integrieren lässt.
In einem früheren SE-Projekt wurde bereits erfolgreich ein Unity-Plugin implementiert, das Eye-Tracking für Desktop-Applikationen ermöglicht. Allerdings ist dieses Plugin nicht plattformunabhängig und durch fehlende ML-Funktionalität in Unity eingeschränkt. Ziel des aktuellen Projekts ist die Entwicklung eines plattformunabhängigen Systems mit separater Middleware und Logging-Komponente. Die von der Middleware bereitgestellten Daten können anschließend von externen Applikationen genutzt werden. Nach dem Ausgliedern der Estimation-Pipeline aus dem bestehenden Unity-Plugin soll dieses weiterhin für die Kalibrierung und Validierung des Eye-Tracking-Systems verwendet werden können.
Darüber hinaus soll die ML-basierte Estimation-Pipeline durch das modulare Hinzufügen weiterer Blickdatensätze, Estimations- und Face-Recognition-Modelle verbessert werden. Weitere mögliche Ziele sind die Erweiterung der API um Funktionen für Entwickler*innen und Forschende. Die genauen Projektziele werden im Rahmen der Projektplanung gemeinsam mit der Projektgruppe festgelegt.
[1] Päivi Majaranta and Andreas Bulling. 2014. Eye Tracking and Eye-Based Human–Computer Interaction. In Advances in Physiological Computing, Stephen H. Fairclough and Kiel Gilleade (eds.). Springer, London, 39–65. https://doi.org/10.1007/978-1-4471-6392-3_3
[2] Kyle Krafka, Aditya Khosla, Petr Kellnhofer, Harini Kannan, Suchendra Bhandarkar, Wojciech Matusik, and Antonio Torralba. 2016. Eye Tracking for Everyone. 2016. 2176–2184. . Retrieved July 14, 2023 from https://www.cv-foundation.org/openaccess/content_cvpr_2016/html/Krafka_Eye_Tracking_for_CVPR_2016_paper.html
[3] Xucong Zhang, Yusuke Sugano, and Andreas Bulling. 2019. Evaluation of Appearance-Based Methods and Implications for Gaze-Based Applications. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (CHI ’19), May 02, 2019, New York, NY, USA. Association for Computing Machinery, New York, NY, USA, 1–13. https://doi.org/10.1145/3290605.3300646
Im Rahmen des Projekts soll ein Management-System für das Fabrication Lab der Forschungsgruppe HCI in Form einer WebApp geschaffen werden. Diese soll verschiedene Komponenten vereinen, darunter:
Im Folgenden werden diese genauer beschrieben:
Aktuell besteht das Leihsystem von Bauteilen und Werkzeugen aus einer handgeschriebenen Liste. Diese wird oft ignoriert oder vernachlässigt. Dies soll durch ein digitales System ersetzt werden. Dabei soll der Ausleih- und Rückgabeprozess so schnell und einfach wie möglich erfolgen. Der Bestand soll online einsehbar und Gegenstände reservierbar sein. Hierzu soll ein Lösungskonzept erarbeitet werden. Eine mögliche Lösung hierfür wäre eine Scanstation (RFID, Barcode, oder KI-Objekterkennung) und Identifizierung über den Studentenausweis.
Aktuell ist es nur möglich vor Ort zu überprüfen, welche Maschinen derzeit in Benutzung sind. Vorhandene APIs der Maschinen sollen in das System eingebunden werden und verschiedene Features ermöglichen:
Derzeit existiert keine Möglichkeit, den Materialverbrauch und Bestand von Filamenten, Holz, oder Metallen nachzuverfolgen. Hierfür soll eine Komponente entwickelt werden, die aktuelle Materialbestände dokumentiert und automatisch aktualisiert. Je nach Materialtyp und Gerät bedarf es gegebenenfalls einer Hardware-Komponente, die beim Messen assistieren kann. Des Weiteren soll die Komponente in der Lage sein, Vorschläge für nachhaltige Ressourcennutzung zu liefern. Im Falle des 3D Druckers sollen beispielsweise - sofern kein bestimmtes Material benötigt wird - dem Nutzer Spulen mit Restfilament, das für das Projekt ausreichend ist, vorgeschlagen werden. Beim Lasercutter wird selten die gesamte Holzplatte verwendet. Die Komponente soll für jede Platte eine digitale Kopie anlegen und dem Nutzer anzeigen, welche Platte noch genügend Platz für den aktuellen Auftrag verfügt.
Es empfiehlt sich die WebApp basierend auf NodeJS aufzubauen, das Framework ist frei wählbar. Es kann auch auf existierenden Open-Source Projekten aufgebaut werden. Da in diesem Projekt verschiedene, insbesondere auch physische Geräte eingebunden werden sollen, muss mit den vorhandenen Schnittstellen gearbeitet werden. Gegebenenfalls bedarf es der Entwicklung von Hardware-Komponenten mittels Arduino.
Wie bewegen sich Nutzer*innen mit körperlichen oder sensorischen Einschränkungen durch virtuelle Umgebungen? Wie wirken sich beispielsweise eingeschränkte Sichtfelder, Tremor oder verringerte Muskelkraft auf das Interaktionsverhalten in VR oder an einem Touchscreen aus? Und wie können wir solche Nutzerprofile realistisch simulieren, ohne aufwendige Nutzerstudien mit echten Personen durchführen zu müssen?
Aktuelle Forschung liefert dafür bereits starke Grundlagen
Allerdings fehlt bislang eine durchgängige Systematik zur Kombination dieser Stärken: Es gibt keine Möglichkeit, systematisch Agenten mit Einschränkungen zu simulieren, zu konfigurieren und für Studien einzusetzen – also z. B. zu untersuchen, wie sich UI-Designs unter verschiedenen Einschränkungen auswirken.
Warum?
Aktuelle biomechanische Modelle bilden den „Durchschnittsmenschen“ ab. Für inklusives Design braucht es jedoch Simulationen, die den Einfluss verschiedener Beeinträchtigungen auf Interaktion, Performance und Ergonomie berücksichtigen. Dieses Projekt schließt diese Lücke.
Wir entwickeln ein offenes, modulares Framework, mit dem Forschende, Designer*innen und Studierende:
Für dich als Studierende*r bedeutet das:
Das Projekt ist ideal für Studierende mit Interesse an:
Digitale Entlastung für Kitas – mehr Zeit für das Wesentliche
Die Digitalisierung hält Einzug in den Kita-Alltag – und bringt vor allem eines: spürbare Entlastung für Erzieherinnen, Kita-Leitungen und pädagogisches Personal. Innovative Softwarelösungen helfen dabei, Verwaltungsprozesse zu vereinfachen und Abläufe effizienter zu gestalten. Das Ziel? Mehr Freiraum für die wichtigste Aufgabe: die Betreuung und Förderung der Kinder.
Unsere Lösung vereint drei zentrale Funktionen:
Mithilfe moderner KI-Technologien erweitern wir diese Grundfunktionalitäten und schaffen echte Mehrwerte für den pädagogischen Alltag.
Ziel ist die Entwicklung einer Server-Client-basierten App für Android (optional für iOS) mit KI-Assistenten.
Die Aufgaben umfassen:
Grundsätzlich steht es den Studenten frei, welche Sprachen/Frameworks sie nutzen möchten. Die eingesetzten Sprachen/Frameworks sollten jedoch State of the Practice darstellen, lizenzgebührenfrei sein und einen Longtime Support bieten. Insbesondere sollten Konzepte zur Authentifizierung und Autorisierung betrachtet werden.
Beispiele für mögliche Technologien: Java, Kotlin, C#, React Native, TypeScript, JavaScript, UI-Toolkit von Google, Android Studio, gRPC, usw.
Für die Integration von KI-gestützten Features zur Abfrage von Daten kann beispielsweise Model Context Protocol (MCP) verwendet werden.
Die zunehmende Komplexität von Hardware-Software-Systemen stellt unsere Gesellschaft vor eine große Herausforderung. Jeder Chip, jedes System und jede Anwendung muss entwickelt, implementiert und optimiert werden, um den steigenden Anforderungen gerecht zu werden. Dieser damit verbundene wachsende Aufwand wird oft als Design-Gap bezeichnet, da die Modellierung von Systemen und die Implementierung immer weiter auseinanderdriften.
Ein vielversprechender Ansatz, um diese Lücke zu schließen, ist die Verwendung von Model-Driven Architecture (MDA). MDA ermöglicht es, Modelle auf verschiedenen Abstraktionsebenen zu erstellen und diese dann in ausführbaren Code zu transformieren. Dieser Ansatz verspricht nicht nur eine höhere Effizienz, sondern auch eine größere Flexibilität bei der Entwicklung von komplexen Systemen. Eng verbunden mit MDA ist die formale Definition der im MDA Prozess verwendeten Modelle durch sogenannte Metamodelle und die automatische Generierung von Code – z.B. um die Erzeugung, das Lesen, das Transformieren und das Modifizieren der Modelle zu unterstützen. Meta-Modellierung und Code Generierung wird in sogenannten Meta-Modelling-Frameworks unterstützt.
Die Verwendung von MDA birgt jedoch auch Herausforderungen. Die derzeit auf dem Markt verfügbaren Meta-Modelling-Frameworks neigen dazu, sehr groß und komplex zu sein, was ihre Anwendung oft erschwert. Darüber hinaus ist der Entwurf und das Wiederverwenden von Metamodellen nicht immer trivial. Unsere jahrelange Erfahrung im Bereich MDA hat uns gezeigt, dass es hierfür spezielle Techniken und Ansätze benötigt, um die Komplexität zu reduzieren und die Effizienz zu steigern.
Im Rahmen dieses Projekts soll ein neues Framework MOMENT entwickelt werden, das die Vorteile von MDA mit der Notwendigkeit nach Einfachheit und Flexibilität kombiniert. MOMENT steht dabei für Meta Object Modeling and Engineering for Next-generation Technologies. Das Framework soll es ermöglichen, Modelle auf verschiedenen Abstraktionsebenen zu erstellen und diese dann in ausführbaren Code zu transformieren, ohne die Komplexität und den Aufwand zu erhöhen.
Das zu entwickelnde Framework soll eine flexible und effiziente Modellierung auf verschiedenen Abstraktionsebenen ermöglichen, ohne die Komplexität und den Aufwand zu erhöhen. Es soll möglich sein, beliebig viele Abstraktionsebenen in einer Kaskade zu schalten, um die Modellierung von komplexen Systemen zu unterstützen. Basierend auf unserer Erfahrung im Bereich MDA haben wir erkannt, dass der Entwurf und die Wiederverwendung von Metamodellen oft Herausforderungen mit sich bringen. Wir haben daher Methoden entwickelt, die wir gerne in diesem neuen System der Forschung und Lehre zur Verfügung stellen möchten, um die Modellierung und Wiederverwendung von Metamodellen zu erleichtern. Wir sind aber auch auf eure Ideen und Ansätze gespannt, welche die Welt der Metamodellierung noch weiter vereinfachen und bereichern können!
Wir formulieren Anforderungen und diskutieren Lösungsansätze. Wir bleiben technologieoffen und sind bereit, verschiedene Ansätze zu prüfen. Unsere bisherigen Prototypen und ersten Ansätze können als Ausgangspunkt dienen, aber wir möchten das Team nicht auf eine bestimmte Technologie festlegen, bevor wir nicht eine umfassende Technologiebewertung durchgeführt haben. Diese könnte neue Lösungen aufdecken, die wir bisher noch nicht in Betracht gezogen haben.
This software project seeks to establish the technical infrastructure for a large-scale, multi-user XR museum experience. The initiative aims to immerse multiple participants, equipped with head-mounted displays (HMDs), into a shared digital environment where they can interact both with each other and with virtual exhibits. A key focus is on synchronizing these interactions to ensure a seamless and cohesive experience. Additionally, the project explores leveraging camera access from devices like the Quest 3 to manipulate video streams using generative AI, potentially enhancing the realism and interactivity of the virtual space.
The primary goals of this project are to create a shared digital environment where multiple users can simultaneously interact with exhibits and each other. Ensuring seamless synchronization is crucial to maintain a cohesive and real-time interactive experience for all participants. Integrating generative AI techniques to manipulate video streams from HMD cameras will potentially enhance realism and interactivity. Enhancing user engagement through the design of interactive elements and activities that promote collaboration and engagement among users within the XR museum is also a key objective. Additionally, the project aims to achieve accurate physical behavior of real people present in the room in terms of depth, allowing them to overlay digital elements correctly. This challenge, which has not yet been solved, is critical for achieving a truly immersive and realistic experience.
immersight entwickelt mit dem 3D-Workroom ein System, um Räume mittels 360°-Kamera zu erfassen, zu vermessen und virtuell zu betreten. Für diese Anwendung existiert bislang keine echte App - es existiert nur eine Web-Anwendung basierend auf JavaScript, konkret ThreeJS. Dabei gibt es einen Edit-Mode (um Messungen vorzunehmen und 3D-Modelle zu platzieren, geht nur logged in) und einen Viewing-Mode, wenn man einen Virtuellen Raum einfach nur per Link teilt (anonym).
Hier ein Biespiel (Viewing-Mode): https://3d-showroom.com/projectlink/QyMVuVjQsO8jk3f148zs
Die Projekte im 3D-Workroom dienen meistens der Baustellendokumentation und -kommunikation. Das bedeutet, verschiedene Mitarbeiter eines Bauunternehmens machen zu verschiedenen Zeitpunkten mit der 360°-Kamera Aufnahmen vom Baufortschritt und laden diese Aufnahmen dann ins Projekt. Eine Vermessung und Begehung ist derzeit nur am PC, Laptop oder Tablet per Webbrowser möglich. Um einen noch immersiveren Zugang zu den virtuellen Räumen zu erhalten, soll es ermöglicht werden, diese Räume mittels VR-Brille zu betreten und ggf. mit dem Raum zu interagieren.
Es soll der aktuelle JS-Code, der den virtuellen Raum lädt und darstellt, erweitert oder umgeschrieben werden auf WebXR (mittels ThreeJS), sodass man die Räume immersiv mit einer VR-Brille (Meta Quest) betrachten kann. Die WebXR Anwendung kann durch Aufrufen des Links zum Virtuellen Raum mittels XR-Device gestartet werden (Standalone-Mode).
Genau so könnte aber der Virtuelle Raum auf einem PC/Laptop/Tablet geöffnet werden, dann über einen QR-Code ein XR-Client direkt auf dem XR-Device gestartet werden. Die Web-Anwendung auf dem Browser im PC/Laptop/Tablet könnte mittels Web-Schnittstelle mit dem XR-Device kommunizieren und Informationen (z.B. aktuelle Blickrichtung) zurücksenden (Client-Mode).
Der aktuelle JS-Code zum Virtuellen Begehen hat einen Edit-Mode (User ist logged in) und so kann der Benutzer aktiv im Raum Veränderungen vornehmen. Das bedeutet, er kann Messungen im Raum machen oder auch 3D-Modelle platzieren. Diese Interaktion ist auch mittels VR-Brille möglich, da die meisten Brillen noch Controller für die Hände mitbringen. Es soll überprüft werden, in welchem Umfang Interaktionen im XR-Mode mit VR-Brille möglich sind.
Mit der 3D-Showroom Windows Software hat die Firma immersight noch einen Standalone Client für die Präsentation von Virtuellen Räumen, die häufig an einem PC+TV verwendet wird. Diese wird im Verkaufsprozess mit neuen Kunden verwendet. Hier ist ein Beispiel für einen virtuellen Raum: https://3d-showroom.com/kojelink/pp7xhH
Es ist möglich, eine Google Cardboard VR-Brille zu verwenden. Für Android wurde eineeigene App für diesen Zweck entwickelt (Panoramabrille-App). Diese App ist veraltet und die Funktion könnte durch den neuen WebXR-Client auch übernommen werden.
Im Rahmen des Projekts erhalten Studierende die Möglichkeit, praxisnahe Einblicke in die industrielle Softwareentwicklung zu gewinnen. Ziel ist es, unter realitätsnahen Bedingungen gemeinsam im Team Software zu konzipieren, zu entwickeln und zu testen – ganz im Sinne moderner, kollaborativer Entwicklungsprozesse in der Industrie.
Das Projekt „Build Your Own SaaS Startup“ richtet sich hierbei an Studierende, die unternehmerisches Denken mit technischer Umsetzung verbinden möchten. In diesem Projekt entwickeln die Teilnehmenden eigenständig ein Software-as-a-Service (SaaS)-Produkt, das auf einer mitgelieferten technischen Anforderungsliste basiert. Es stehen hierbei nicht nur die funktionalen Anforderungen im Fokus, sondern auch die Gestaltung eines professionellen Entwicklungsprozesses.
Zu den zentralen Aspekten gehören:
Ziel ist es, ein marktfähiges Produkt zu entwickeln – von der Idee bis zum Deployment – und dabei wertvolle Erfahrungen in der Softwareentwicklung, im Projektmanagement und im Aufbau eines digitalen Produkts zu sammeln.
Beispielhafte Produktideen:
Im Rahmen des Projekts wird erwartet, dass das Team ein SaaS-Produkt entwickelt, das die folgenden technischen Anforderungen erfüllt:
Attack analysis is typically conducted by cybersecurity experts, who possess in-depth knowledge in this field. However, cybersecurity experts often do their job in the development phase, or even after the software system is released. When designing the software architectures or cyber-physical systems (CPSs), architects often miss the security aspects due to their knowledge.
The attacks can propagate through the system due to a misconfiguration or an unawareness of the implicit access control policies. Selecting an appropriate mitigation technique requires a lot of expert knowledge.
Wie erleben Menschen mit Sehbehinderungen digitale Inhalte – und wie können wir diese Wahrnehmungen realitätsnah simulieren, um zugängliche Benutzeroberflächen zu gestalten?
VIP-Sim ist ein Open-Source-Werkzeug zur Simulation visueller Einschränkungen auf Desktop-Systemen. Es wird in der Forschung zur Mensch-Computer-Interaktion (MCI) eingesetzt, um Designprozesse barrierefreier zu gestalten – z. B. durch Tunnelblick-, Nebelseh- oder Makula-Simulationen.
Aktuell basiert VIP-Sim jedoch auf technisch eingeschränkten Plattformen: Die Performance am Desktop ist nicht optimal, Linux wird nicht unterstützt, und immersive oder mobile Plattformen wie AR-Headsets bleiben unberücksichtigt. Außerdem fehlt eine Integration von Echtzeit-Eye-Tracking zur interaktiven Kontrolle und zur realistischen Simulation individueller Sichtbereiche.
Dieses Projekt zielt darauf ab, VIP-Sim grundlegend zu modernisieren – durch eine plattformübergreifende, performante Architektur mit vollständiger Unity-Integration, AR-Erweiterung (z. B. für Meta Quest), Eye-Tracking-Unterstützung (via UnitEye), und Anpassung für binokulares Sehen mit stereoskopischer Darstellung und entsprechenden Shadern.
Konkret umfasst das Projekt:
Besonderes Augenmerk liegt auf der praxisnahen VR/AR-Erweiterung des Tools: Designer*innen, Forschende und Studierende sollen künftig auch direkt in der immersiven Umgebung testen können, wie sich visuelle Einschränkungen anfühlen – etwa bei der Gestaltung barrierefreier AR-Anwendungen.
Dieses Projekt eignet sich ideal für Studierende mit Interesse an:
