Do it yourself, but not alone: Companion-Technologie für die Heimwerkerunterstützung

Im Rahmen des Transferprojekts "Do it yourself, but not alone: Companion-Technologie für die Heimwerkerunterstützung" soll in enger Zusammenarbeit der Universität Ulm mit der Zentralen Forschung und Vorausentwicklung der Robert Bosch GmbH ein prototypisches Companion-System für die Heimwerkerunterstützung entwickelt und praktisch erprobt werden. Basierend auf den Forschungsergebnissen der Teilprojekte A1, A2 und B1 des Sonderforschungsbereichs Transregio 62 soll dabei erstmalig ein digitaler Assistent entstehen, der Nutzer bei der Bedienung von Elektrowerkzeugen und der Durchführung von Heimwerkerprojekten individuell und kompetent unterstützt. So ist der Assistent unter anderem in der Lage sich in seinen detaillierten Schritt-für-Schritt-Anleitungen individuell an die Situation als auch die Fähigkeiten des jeweiligen Nutzers anzupassen. Für die Umsetzung der jeweiligen Assistenzaufgabe kann das System dabei auf eine umfassende Wissensbasis in Form von formalen Spezifikationen zurückgreifen. Darüber hinaus soll der Assistent dem Nutzer aber auch die Möglichkeit bieten, eigene neue Heimwerkerprojekte zu spezifizieren und ihm dabei assistieren. Diese Spezifikationen können dann auf einer Community-Plattform für andere Nutzer autorisiert bereitgestellt werden.

Die Bilder zeigen Auszüge des Forschungsprototyps. In der ersten Grafik ist eine Explosionszeichnung zu sehen, die das Heimwerkerprojekt abstrakt darstellt, bei dessen Bearbeitung der Assistent durch eine Schritt-für-Schritt-Anleitung unterstützt. Das nächste Bild stellt einen der Anleitungsschritte dar. Hier wird das Einlegen des Akkus gezeigt sowie eine weiterführende Erklärung, welche die Nutzerfrage nach weiteren Informationen zum dargestellten Akku beantwortet.

Das Projekt ist finanziert durch die Deutsche Forschungsgemeinschaft (DFG).


Projektlaufzeit: Oktober 2016 bis Oktober 2019

Erfahren sie mehr über das Projekt...

Projektteilnehmer

Aus A1, Planung:
  • Prof. Dr. Susanne Biundo-Stephan (TP-Leiter)
  • Dr. Pascal Bercher (Projektkoordination)
  • Gregor Behnke, M.Sc.
Aus A1, Wissensrepräsentation:
  • Prof. Dr. Birte Glimm (TP-Leiter)
  • Dr. Marvin Schiller
Aus B1:
  • Prof. Dr. Dr.-Ing. Wolfgang Minker (TP-Leiter)
  • Matthias Kraus, M.Sc.

Publikationen

2020

27.
M. Kraus, F. Fischbach, P. Jansen and W. Minker, "A Comparison of Explicit and Implicit Proactive Dialogue Strategies for Conversational Recommendation" in Proceedings of the 12th International Conference on Language Resources and Evaluation (LREC 2020), ELRA, 2020, pp. 429--435.
Datei:pdfhttps://www.aclweb.org/anthology/2020.lrec-1.54.pdf
26.
D. Höller, G. Behnke, P. Bercher, S. Biundo, H. Fiorino, D. Pellier and R. Alford, "HDDL: An Extension to PDDL for Expressing Hierarchical Planning Problems" in Proceedings of the 34th AAAI Conference on Artificial Intelligence (AAAI 2020), AAAI Press, 2020, pp. 9883--9891.
Datei:pdfhttps://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2020/Hoeller2020HDDL.pdf
25.
G. Behnke, P. Bercher, M. Kraus, M. R. G. Schiller, K. Mickeleit, T. Häge, M. Dorna, M. Dambier, W. Minker, B. Glimm and S. Biundo, "New Developments for Robert – Assisting Novice Users Even Better in DIY Projects" in Proceedings of the 30th International Conference on Automated Planning and Scheduling (ICAPS 2020), AAAI Press, 2020, pp. 343--347.
Datei:pdfhttps://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2020/Behnke2020DIYAssistant.pdf
24.
G. Behnke, D. Höller, A. Schmid, P. Bercher and S. Biundo, "On Succinct Groundings of HTN Planning Problems" in Proceedings of the 34th AAAI Conference on Artificial Intelligence (AAAI 2020), AAAI Press, 2020, pp. 9775--9784.
Datei:pdfhttps://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2020/AAAI-BehnkeG.1770.pdf
23.
P. Bercher and C. Olz, "POP ≡ POCL, right? Complexity Results for Partial Order (Causal Link) Makespan Minimization" in Proceedings of the 34th AAAI Conference on Artificial Intelligence (AAAI 2020), AAAI Press, 2020, pp. 9785--9793.
DOI:https://doi.org/10.1609/aaai.v34i06.6530
Datei:pdfhttps://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2020/Bercher2020POPvsPOCL.pdf
22.
M. Kraus, M. R. G. Schiller, G. Behnke, P. Bercher, M. Dorna, M. Dambier, B. Glimm, S. Biundo and W. Minker, "Was that successful? On Integrating Proactive Meta-Dialogue in a DIY-Assistant System using Multimodal Cues" in Proceedings of 22nd ACM International Conference on Multimodal Interaction (ICMI 2020), ACM, 2020.
Datei:/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2020/KSBB20a.pdf
21.
M. Kraus, N. Wagner and W. Minker, "Effects of Proactive Dialogue Strategies on Human-Computer Trust" in Proceedings of the 28th ACM Conference on User Modeling, Adaptation and Personalization, ACM, 2020, pp. 107--116.
Datei:https://dl.acm.org/doi/pdf/10.1145/3340631.3394840

2019

20.
G. Behnke, D. Höller and S. Biundo, "Finding Optimal Solutions in HTN Planning - A SAT-based Approach" in Proceedings of the 28th International Joint Conference on Artificial Intelligence (IJCAI 2019), 2019.
Datei:pdfhttps://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2019/Behnke2019satoptimal.pdf
19.
D. Höller, P. Bercher, G. Behnke and S. Biundo, "On Guiding Search in HTN Planning with Classical Planning Heuristics" in Proceedings of the 28th International Joint Conference on Artificial Intelligence (IJCAI 2019), IJCAI, 2019, pp. 6171--6175.
Datei:pdfhttp://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2019/Hoeller2019ProgressionHeuristics.pdf
18.
D. Höller, G. Behnke, P. Bercher, S. Biundo, H. Fiorino, D. Pellier and R. Alford, "HDDL - A Language to Describe Hierarchical Planning Problems" in Proceedings of the Second ICAPS Workshop on Hierarchical Planning, 2019, pp. 6--14.
Datei:pdfhttp://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2019/Hoeller2019HDDL.pdf
17.
G. Behnke, D. Höller, P. Bercher and S. Biundo, "More Succinct Grounding of HTN Planning Problems -- Preliminary Results" in Proceedings of the Second ICAPS Workshop on Hierarchical Planning, 2019, pp. 40--48.
Datei:pdfhttps://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2019/Behnke2019Grounding.pdf
16.
C. Olz and P. Bercher, "Eliminating Redundant Actions in Partially Ordered Plans -- A Complexity Analysis" in Proceedings of the 29th International Conference on Automated Planning and Scheduling (ICAPS 2019), AAAI Press, 2019, pp. 310--319.
DOI:https://doi.org/10.1609/icaps.v29i1.3493
Datei:pdfhttps://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2019/Olz2019StepElimination.pdf
15.
G. Behnke, D. Höller and S. Biundo, "Bringing Order to Chaos - A Compact Representation of Partial Order in SAT-based HTN Planning" in Proceedings of the 33rd AAAI Conference on Artificial Intelligence (AAAI 2019), AAAI Press, 2019, pp. 7520--7529.
Datei:pdfhttps://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2019/Behnke2019orderchaos.pdf
14.
G. Behnke, M. R. G. Schiller, M. Kraus, P. Bercher, M. Schmautz, M. Dorna, M. Dambier, W. Minker, B. Glimm and S. Biundo, "Alice in DIY wonderland or: Instructing novice users on how to use tools in DIY projects", AI Communications, vol. 32, no. 1, pp. 31-57, 2019. IOS Press.
DOI:10.3233/AIC-180604
Datei:pdfhttps://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2019/Behnke2019bosch.pdf
13.
M. Kraus, M. R. G. Schiller, G. Behnke, P. Bercher, S. Biundo, B. Glimm and W. Minker, "9th International Workshop on Spoken Dialogue Systems", Rafael Banchs and Luis Fernando D'Haro and Haizhou Li, Eds. Springer, 2019.
Datei:pdfhttps://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2019/Kraus2019CloudCompanion.pdf

2018

12.
D. Höller, P. Bercher, G. Behnke and S. Biundo, "A Generic Method to Guide HTN Progression Search with Classical Heuristics" in Proceedings of the 28th International Conference on Automated Planning and Scheduling (ICAPS 2018), AAAI Press, 2018, pp. 114--122.
Datei:pdfhttps://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2018/Hoeller18Progression.pdf
11.
M. Kraus, G. Behnke, P. Bercher, M. R. G. Schiller, S. Biundo, B. Glimm and W. Minker, "A Multimodal Dialogue Framework for Cloud-Based Companion Systems" in Proc. of the 10th International Workshop on Spoken Dialog Systems Technology (IWSDS 2018), 2018.
Datei:pdfhttps://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2018/Kraus2018CompanionCloudDemo.pdf
10.
T. Perleth, M. R. G. Schiller and B. Glimm, "Applying a Model of Text Comprehension to Automated Verbalizations of EL Derivations" in Proceedings of DL 2018, CEUR Workshop Proceedings Vol. 2211, 2018.
Datei:pdfhttps://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2018/PerlethSchillerGlimmDL2018.pdf
9.
M. R. G. Schiller, G. Behnke, P. Bercher, M. Kraus, M. Dorna, F. Richter, S. Biundo, B. Glimm and W. Minker, "Evaluating Knowledge-Based Assistance for DIY" in Proceedings of MCI Workshop "Digital Companion", 2018, pp. 925--930.
Datei:pdfhttps://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2018/MCI-WS19-schillerEtAl2018.pdf
8.
D. Höller, P. Bercher, G. Behnke and S. Biundo, "HTN Plan Repair Using Unmodified Planning Systems" in Proceedings of the First ICAPS Workshop on Hierarchical Planning, 2018, pp. 26--30.
Datei:pdfhttp://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2018/Hoeller18Repair.pdf
7.
G. Behnke, M. R. G. Schiller, M. Kraus, P. Bercher, M. Schmautz, M. Dorna, W. Minker, B. Glimm and S. Biundo, "Instructing Novice Users on How to Use Tools in DIY Projects" in Proceedings of the 27th International Joint Conference on Artificial Intelligence and the 23rd European Conference on Artificial Intelligence (IJCAI-ECAI 2018), IJCAI, 2018, pp. 5805--5807.
DOI:10.24963/ijcai.2018/844
Datei:pdfhttps://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2018/Behnke2018DIY.pdf
6.
B. Leichtmann, P. Bercher, D. Höller, G. Behnke, S. Biundo, V. Nitsch and M. Baumann, "Towards a Companion System Incorporating Human Planning Behavior -- A Qualitative Analysis of Human Strategies" in Proceedings der dritten transdisziplinären Konferenz "Technische Unterstützungssysteme, die die Menschen wirklich wollen" (engl: Proceedings of the 3rd "Transdisciplinary Conference on Support Technologies"), TCST 2018, 2018, pp. 89--98.
Datei:pdfhttp://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2018/Leichtmann2018HumanPlanningBehavior.pdf
5.
G. Behnke, D. Höller and S. Biundo, "Tracking Branches in Trees - A Propositional Encoding for Solving Partially-Ordered HTN Planning Problems" in Proceedings of the First ICAPS Workshop on Hierarchical Planning, 2018, pp. 40--47.
Datei:pdfhttps://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2018/Behnke2018partSAT.pdf
4.
G. Behnke and S. Biundo, "X and more Parallelism - Integrating LTL-Next into SAT-based Planning with Trajectory Constraints while Allowing for even more Parallelism" in Proceedings of the Workshop on Constraint Satisfaction Techniques for Planning and Scheduling Problems (COPLAS), 2018, pp. 1--10.
Datei:pdfhttps://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2018/Behnke2018satltl.pdf
3.
G. Behnke and S. Biundo, "X and more Parallelism: Integrating LTL-Next into SAT-based Planning with Trajectory Constraints While Allowing for Even More Parallelism", Inteligencia Artificial, vol. 21, no. 62, pp. 75--90, 2018.
DOI:10.4114/intartif.vol21iss62pp75-90
Datei:pdfhttps://www.uni-ulm.de/fileadmin/website_uni_ulm/iui.inst.090/Publikationen/2018/Behnke2018SATltljournal.pdf

Kontakt