(Anwendungs-)Projekte SE im Sommersemester 2023

In diesem Projekt soll die bestehende App für die Uni Ulm weiterentwickelt werden. Verschiedene Informationen/Anwendungen können darin integriert werden, z.B.:

• Adressbuch
• Raumsuche
• Indoor-Navigation

Gerade der letzte Punkt umfasst viele Aspekte, die geklärt werden müssen: Welche Sensoren können genutzt werden (WLAN, Bilderkennung, QR-Codes, Lagesensor...), welche Karten können genutzt werden? Welche Zusatzinformationen können über QR-Codes und oder Bilderkennung wo angebracht werden? (Stundenpläne, Sprechzeiten, e-Mail-Adressen etc.)

Das Backend ist in PHP/Laravel, die Android App in Java/Kotlin und iOS in Swift 4 geschrieben.

Ein wesentliches Ziel für das nächste Semester ist die offizielle Veröffentlichung im App- und im Playstore. 

(siehe auch: http://uniapp.informatik.uni-ulm.de)

Ansprechpartner:

• Alexander Raschke, Uni Ulm

Die Restauratoren der Münsterbauhütte müssen die Schäden an den zu restaurienden Gebäuden erfassen, um die Kosten und die Durchführung einer Restaurierung zu planen. Dabei wird Stein für Stein in Augenschein genommen und für jeden eine Menge an Daten erfasst, um den aktuellen Zustand und die notwendigen Restaurierungsarbeiten zu dokumentieren.

Um die sehr aufwändige Datenerfassung mit Fotoapparat, Papier und Bleistift zu verbessern, wurde in vergangenen Projekten eine Windows-App entwickelt, die es ermöglicht, die Daten direkt am Tablett zu erfassen. Dabei werden die Kamera des Tabletts benutzt, um Fotos zu machen, diese mit einer Stifteingabe zu markieren und zu bearbeiten. Zurück im Büro, werden die so integriert erfassten Daten direkt mit der zentralen Datenbank abgeglichen.

In diesem Projekt soll nun die vorhandene Anwendung nach den Wünschen der Münsterbauhütte erweitert werden. Wichtige Punkte sind beispielsweise:

• Entwicklung eines webbasierten Admintools, dass verschiedene Verwaltungsaufgaben, wie z.B. Datenarchivierung/-export ermöglicht
• Recherchemöglichkeiten innerhalb der App

Als Technologie ist die Universal Windows Platform (UWP) mit C# vorgegeben.

Ansprechpartner:

• Alexander Raschke, Uni Ulm
• Andreas Böhm, Münsterbauhüttenmeister

Die immersight GmbH entwickelt mit dem 3D-Workroom eine Lösung für das Baugewerbe und Baunebengewerbe und dem Baunebengewerbe. Mit dem 3D-Workroom kann man Baustellendokumentation und -kommunikation umsetzen. Das bedeutet, verschiedene Mitarbeiter eines Handwerks-/Bauunternehmens machen zu verschiedenen Zeitpunkten mit dem Smartphone oder 360°-Kameras Fotos vom Baufortschritt und laden diese in die cloud-basierte Anwendung 3D-Workroom. Besonders im Fokus steht dabei Bauen im Bestand, also das Sanierung/Renovieren von bestehenden Räumen.

Der wichtigste und entscheidende Schritt für die Projektierung einer Baumaßnahme ist die Bestandsaufnahme. Diese erfolgt natürlich zu Beginn, kann aber auch kontinuierlich weitergeführt werden und wird dadurch zu einer begleitenden Dokumentation. Jedoch sind für Bestandsgebäude und Wohnung häufig schon Pläne vorhanden. Diese Pläne reichen teils Jahrzehnte oder Jahrhunderte zurück und sind durch Normungen für fachlich versierte und auch Laien gut zu lesen. Nebenan ein Beispiel.

Leider sind solche 2D-Pläne häufig nur Pixel-Arrays, also 2D Bilder, die als Scan/PDF (oder noch als Print) vorliegen. Manchmal handelt es sich bereits um PDF-Dateien, die
Vektorgrafiken enthalten und damit digital verarbeitbar sind. Jedoch heißt das nicht, dass der Grundriss in einem digitalen Format vorliegt, welches für Bau-Software lesbar ist. Ein internationaler Standard für Pläne / Grundrisse als digitales Format ist das ifc Format, welches im Zuge von BIM immer weitere Verbreitung findet.

Immersight hat ganz neu einen eigenen Grundrissplaner entwickelt. Dieser kann hier ausprobiert werden: https://planner.immersight.com. Das zweite Bild rechts zeigt eine  eine Planung, welche mit dem immersight Planer erstellt wurde.

Nun soll ein Importer entwickelt werden, welcher bestehende Pläne die als Bild vorliegen (PNG/JPG/PDF) importiert und in das digitale Format zur Weiterverarbeitung im immersight Planer konvertiert. Das bestehende Bild wird analysiert, zerlegt und dann in bekannte logische Einheiten überführt (Wand, Türe, Fenster, usw.). Das Resultat soll im korrekten Maßstab und bearbeitbar sein in der immersight Planer Software (Web-Anwendung). Die gesamte Lösung soll in der Cloud ausgeführt werden und sich in die Plattform-Architektur von immersight einfügen. Die gesamte sonstige Umsetzung ist nicht festgelegt, die Studenten dürfen die beste Lösung entwerfen und implementieren.

Ansprechpartner

• Fabian K.O. Weiss, immersight GmbH

Kontext

Menschen erleben in verschiedenen (Lebens-)Situationen (psychische) Traumata, die unterschiedlich aufgenommen werden und häufig auch zu einer Belastung im Alltag führen können. Leider gibt es deutlich zu wenig Therapieplätze, um allen Betroffenen adäquat helfen zu können. Daher werden gerade auch in den letzten Jahren verschiedene Apps entwickelt, die versuchen, gewisse Therapiemethoden auf die virtuelle/interaktive Welt des Smartphones zu übertragen und somit ein niedrigschwelliges Angebot für viele Nutzer zu schaffen.

Das besondere dieser App ist die starke Fokussierung auf Bilder, so dass die App möglichst auch sprachenunabhängig benutzt werden kann. Dies hat z.B. Vorteile in der Anwendung von Flüchtlingen, die sehr häufig von Traumata betroffen sind.

Aufgabe/Ziel

• Entwicklung einer plattformübergreifenden App (z.B. mit flutter) unter anderem mit den folgenden Ansichten:
  • Timeline
  • Resilienzbox
  • Gefühle/Gefühlsbarometer
  • Traumatische Erlebnisse
  • Notfallkoffer
• Inhalte werden zur Verfügung gestellt

Ansprechpartner:

• Simone Bischof, guter Hirte, Ulm

Context

A digital twin is a virtual representation of a physical object, system, or process, which can be used for simulation, analysis, and monitoring. In the context of infrastructure planning, a digital twin can be used to model and simulate the physical and operational aspects of a city or building, including infrastructure, energy systems, transportation, and social behavior.

By using a digital twin, infrastructure planners can test and analyze different scenarios and configurations before they are implemented in the real world, reducing the risk of costly mistakes and allowing for more sustainable and efficient planning decisions. For example, a digital twin can be used to evaluate the impact of proposed transportation changes on traffic flow and air quality, or to assess the potential energy savings from implementing smart building systems.

Additionally, a digital twin can be constantly updated with real-time data from sensors and other sources, providing planners with a detailed understanding of the current state of the city and allowing for more responsive and effective planning and management.

Project description

1. Data collection: Choose an appropriate use case. Gather relevant data about the physical object, system, or process that is being modeled, such as its geometry, material properties, and operational characteristics. This data can come from a variety of sources, including sensors, blueprints, and simulation models. 
2. Implementation: Next, the data is used to create a virtual representation of the physical object, system, or process. This may involve creating a 3D model, defining mathematical models to describe its behavior, or integrating existing simulation models. Action items should be integrated into the simulation to enable suggestions for potential sustainability-related optimizations.   
3. Deployment&Testing: The digital twin is then deployed in an operational environment, where it can be used for simulation, analysis, and monitoring. This may involve making it accessible through a web-based interface or integrating it with other systems and tools and evaluating it.

Contact

• Albin Zeqiri, Inst. für Medieninformatik
• Pascal Jansen, Inst. für Medieninformatik

Kontext

Die Human-Robot Interaction (HRI) zielt darauf ab, die Art und Weise, wie Menschen mit Robotern in realen Umgebungen interagieren, zu untersuchen und zu verbessern. Da Roboter zunehmend in unser tägliches Leben integriert werden (z. B. als Haushaltsassistenten oder im öffentlichen Dienst), ist es wichtig zu verstehen, wie Menschen diese Technologien wahrnehmen, akzeptieren und mit ihnen interagieren, um Systeme zu entwickeln, die benutzbar, sicher und effektiv sind. In ähnlicher Weise untersucht das vom Bundesministerium für Bildung und Forschung (BMBF) geförderte Projekt ZEN-MRI die HRI in der Öffentlichkeit am Beispiel der Ulmer Innenstadt mit einem voll funktionsfähigen autonomen Serviceroboter.

Problem

In realen Umgebungen gibt es jedoch viele Faktoren, die die Interaktion von Menschen mit Robotern beeinflussen können, wie z.B. die Anwesenheit anderer Menschen, der Kontext, in dem die Interaktion stattfindet, und die spezifische Aufgabe, für die der Roboter eingesetzt wird. Diese Faktoren können die Verallgemeinerung von Ergebnissen aus Laborstudien auf reale Szenarien und das Verständnis der gesamten Bandbreite von HRIs in der realen Welt erschweren.

Aufgabe/Ziel

Dieses Projekt zielt darauf ab, ein Tool für die Analyse von HRI-Daten zu entwickeln, die in realen Umgebungen gewonnen wurden durch mehrere an den Robotern des ZEN-MRI angebrachte Kameras und Computer Vision. Das Tool soll Deep-Learning-Ansätze wie Yolov4 verwenden, um die Bewegungen und Blicke von Umstehenden zu erkennen und zu verfolgen und ihre Interaktionen/Intention mit dem Roboter in Kategorien wie Anschauen, Ignorieren, Ansprechen oder Beschädigen zu klassifizieren.

Das Tool soll diese Interaktionen automatisch protokollieren und eine visuelle Darstellung der räumlich-zeitlichen Trajektorien und Bewegungen der Umstehenden, ihrer Blicke und ihrer Merkmale erstellen. Diese Daten könnten genutzt werden, um Erkenntnisse darüber zu gewinnen, wie sich Menschen in der Nähe von Robotern in realen Umgebungen verhalten, und um Interaktionsmuster zu erkennen.

Die spezifischen Projektaufgaben sind:

• Unterstützung der automatisierten Datenaufnahmen im ZEN-MRI Projekt unter Verwendung des Service Roboters, welcher (voraussichtlich) in der Ulmer Fußgängerzone eingesetzt wird
• Definition der Anforderungen für das HRI Analyse Tool durch Experten Interviews
• Analyse der verfügbaren (Echtwelt) Daten und Auswahl sowie Anwendung von bereits existierenden Machine/Deep Learning Ansätzen zur automatischen Erkennung von Menschen und deren Verhalten bei (Sicht-) Kontakt mit dem Roboter
• Entwicklung einer flexiblen (optional immersiven VR) Analyse Umgebung für HRI
• (Technische) Evaluierung des Prototyps anhand des ZEN-MRI Use Case

Ansprechpartner

• Pascal Jansen, Inst. für Medieninformatik
• Mark Colley, Inst. für Medieninformatik

Kontext

Die Entwicklung, Evaluation und Validierung von Automobilen User Interfaces (Auto UIs) beinhaltet häufig einen langwierigen iterativen Prozess, welcher zur Entwicklung von vielen Prototypen führt, welche später aufgrund niedriger Usability, unerwarteten Fehlfunktionen oder fehlender Nutzerakzeptanz wieder verworfen werden. Außerdem müssen die Prototypvarianten in zeitaufwändigen und teuren Nutzerstudien (im Idealfall in einem echten Auto) evaluiert werden. Um Geld und Aufwand zu sparen, könnte ein Simulationssystem, welches die Physis und das Verhalten von potenzielle Nutzern realistisch nachbildet, die Entwicklungsprozesse von Auto UIs signifikant beschleunigen und klassische Nutzerstudien obsolet machen.
Ein solches "Biomechanical User Model" (siehe [1]) ermöglicht zudem die realistische Simulation von Fahrern in einem simulierten Auto, woraus wertvolle Erkenntnisse zur Nutzbarkeit von Auto UIs während dem (simulierten) Fahren gewonnen werden könnten.

Problem

Einen solchen Ansatz gibt es bisher nicht für das Feld der Auto UI und es ist unbekannt, inwieweit ein darauf basierendes Simulationstool die Evaluation, das Design und die Entwicklung von Auto UIs verbessern kann.

Aufgabe/Ziel

Dieses Projekt zielt darauf ab, ein Tool für die Simulation von Auto UI Interaktionen unter Verwendung von Reinforcement Learning in einem biomechanical user model zu entwickeln. Dabei soll basierend auf einer Simulation von Gelenken und Muskeln ein simulierter Avatar lebensecht die Interaktion mit einem vorgeschlagenen Auto UI lernen und dabei auf beliebig viele Arten evaluieren und testen.

Die spezifischen Projektaufgaben sind:

• Definition von abbildbaren Auto UI Interaktionen und Festlegung auf einen Schwerpunkt (z.B. Interaktion mit Navigationssystem)
• Entwicklung eines neuen oder Anwendung eines bereits existierenden Reinforcement Learning Netz, welches als Eingabe den physischen Zustand des Avatars und des UI erhält und als Ausgabe virtuell die Muskeln des Avatars aktuiert.
• Entwicklung eines Tools, welches die Modifikationen an der Simulation und eine Live-Visualisierung des Avatars und des aktuellen UI anzeigt.
• (Technische) Evaluierung des Prototyps anhand des selbst gewählten Use Case (z.B. Bedienung eines Navigationssystems)

Ansprechpartner

• Pascal Jansen, Inst. für Medieninformatik
• Mark Colley, Inst. für Medieninformatik

[1] Ikkala et al. 2022. Breathing Life Into Biomechanical User Models. In Proceedings of the 35th Annual ACM Symposium on User Interface Software and Technology (UIST '22). Association for Computing Machinery, New York, NY, USA, Article 90, 1–14. doi.org/10.1145/3526113.3545689

Kontext

Assistenzfunktionen und Teilautomatisierungen haben im Automobilbereich seit Jahren ihren Siegeszug. Der Baumaschinenbereich mit z.B. Radladern und Baggern bietet ein hohes Potential, das bis jetzt kaum genutzt wird. Nachdem die meisten Tätigkeiten in einem abgesperrten Bereich stattfinden können, kann eine Gefährdung von Menschen einfach reduziert werden. So können Automatisierungslösungen eine erhebliche Steigerung von Produktivität und Sicherheit sowie eine Vereinfachung der Bedienung bewirken.

Hydrauliksysteme an mobilen Arbeitsmaschinen wurden in den letzten Jahrzenten mit komplexen mechanischen Reglern angesteuert, diese werden zunehmend durch Software ersetzt, da diese eine deutlich höherer Flexibilität bietet.

Aktuell ist eine Transformation von einfachen uControllern hin zu komplexen Software-Systemen auf Linux-basierten High-Performance-Rechnern zu erkennen. Aufgabe der SW ist das Einlesen von heterogenen Sensoren, Sensorfusion, Abbildung der Physik, Regelungsalgorithmen, Steuerung und Überwachung von Aktoren. Diese werden durch Konzepte der funktionalen Sicherheit sowie Echtzeit- und Security-Anforderungen ergänzt. Auch Künstliche Intelligenz soll auf den zukünftigen Steuerungsplattformen zum Einsatz gebracht werden.

Projektbeschreibung

Im Rahmen des Projekts soll ein Konzept entwickelt werden, bei dem ein typischer Arbeitzyklus eines Baggers teilautomatisiert wird. Hierzu soll mit ROS2 eine Software entwickelt werden. Das Framework ROS2 ermöglicht durch die integrierten Simulationsmöglichkeiten (z.B. Gazebo), das System unabhängig von dem Targetsystem zu testen. Bosch Rexroth kann im Rahmen des Projekts Stimuli/Testdaten eines realen Erprobungsträgers (20t-Raupenbagger) zur Verfügung stellen, insbesondere Bewegungsdaten der vier Freiheitsgrade (Drehen, Ausleger, Stiel, Löffel). So ergibt sich die Möglichkeit, das System auf jedem Computer zu simulieren aber auch zum Projektende auf einer realen Maschine zu erleben. Die Ansteuerung der Maschine kann über ein bereits vorhandenes Interface via CAN direkt aus der ROS2-SW erfolgen.

Fokus des Projektes soll die Entwicklung eines SW-Konzepts/ einer SW-Architektur und der Implementierung liegen. Aspekte der funktionalen Sicherheit können vernachlässigt werden.

Voraussetzungen

Begeisterung für mobile Arbeitsmaschinen. Selbständige Arbeitsweise. Motivation, Erlerntes aus dem Informatikstudium in die Praxis umzusetzen.

Aufgabe/Ziel

Erstellen eines Proof-of-Concept (POC) mit dem Framework ROS2. Das Team soll sich auf die zu automatisierende Arbeitsaufgabe einigen (z.B. 90°-Ladezyklus). Im Rahmen des Projekts sollte der komplette SW-Entwicklungszyklus abgedeckt werden. Idealerweise können über das Projekt hinweg mehrere MVPs erreicht werden und es entsteht iterativ ein erstes vorstellbares SW-System.

Mögliche Teilaufgaben:

1. Aufbau Simulationsmodell in Gazebo.

2. Erstellung eines Konzeptes zur Teilautomatisierung einer typischen Arbeitsaufgabe.

3. Implementierung der benötigten Funktionalitäten (Bahnplanung, Steuerung, Regelung, …)

4. Erstellung eines Test-Konzepts.

5. Simulative Validierung des erarbeiteten Konzepts.

6. KI-basierte Optimierung der Regelung (z.B. mittels Reinforcement Learning).

7. …

Ansprechpartner

• Marc Schmid, Bosch Rexroth AG, Ulm
• Dr. Frank Bender, Bosch Rexroth AG, Ulm

Kontext

Process Discovery ist ein wichtiger Bestandteil von Business Process Management. Dabei beschreibt Process Discovery die Entdeckung, Modellierung und Überwachung von Prozessen basierend auf einem Log und kann auf verschiedene Arten durchgeführt werden, einschließlich Datenanalyse, maschineller Lernmethoden und Process Mining. Neben den klassischen Prozessdaten, die während der Prozessausführung generiert werden, können IoT Daten als integraler Bestandteil betrachtet werden. Ein IoT gestütztes Prozess-Log, bei dem IoT-Geräte (z.B. Sensoren) erfasst werden ermöglicht die Identifikation von Abweichungen von Regeln, Drifts in Bezug auf die Zielfunktion zu finden und den Fortschritt zu überwachen.

Projektbeschreibung

Wir haben einen smarten Fertigungsprozess modelliert, der in einem Fischertechnik Smart Factory Model automatisiert ausgeführt wird. Im Fertigungsprozess wird ein Werkstück aus einem Hochregallager entnommen und anschließend von einem Vakuum-Greifroboter angesaugt und zum Ofen transportiert. Anschließend wird das Werkstück im Ofen gebrannt. Nach Abschluss dieser Aktivität wird das Werkstück wieder vom Vakuum-Greifroboter aufgenommen und zur Bohrmaschine transportiert. Anschließend wird das Werkstück basierend auf Farbe sortiert. Ein Video von unserer Smart Factory in welchem der beschriebene Prozess ausgeführt wird kann unter folgenden Link angesehen werden: https://youtu.be/z2wq7vW7a3o

Alle Sensoren und Aktoren erzeugen Sensorereignisse, die während der Ausführung protokolliert werden. Dies geschieht kontinuierlich in einem Intervall von 0,1 Sekunden. Daraus ergibt sich ein IoT-Datensatz, der aus fünf Logdateien besteht. Die jeweiligen Logdateien enthalten einen einzelnen Prozessdurchlauf des beschriebenen Fertigungsprozesses.

Ziel dieses Projektes ist es, die Identifikation des beschriebenen Prozesses auf Basis der Sensor-Logdateien automatisiert durchzuführen. Hierzu können verschiedene Techniken wie z.B. maschinelles Lernen oder die Anwendung von bereits existierenden Process Mining Algorithmen angewandt werden.

Ansprechpartner

• Yusuf Kirikkayis, Inst. für Datenbanken und Informationssysteme