In der Bachelorarbeit wurde eine Testmethodik für Spracherkenner entwickelt und getestet, welche den Task-Erfolg ins Zentrum der Evaluation rückt. Das bisherige Evaluationsverfahren bewertet die Erkennungsgüte des Spracherkenners auf der Basis eines Vergleichs von Referenzwerten mit den vom Erkenner gelieferten Daten. Dabei werden Werte, welche für die anschließende Content-Anfrage und damit für den Kunden nicht relevant sind, genauso gewichtet, wie jene, welche einen entscheidenden Einfluss auf die Kundenwahrnehmung haben. Daher ist es bislang sehr schwierig eine zuverlässige Aussage über die Relevanz eines Fehlers für das spätere Kundenerlebnis zu treffen. Wie die Arbeit zeigt, führt das Verfahren teilweise sogar zu falschen Rückschlüssen. Die neue Methodik verwendet für die Bestimmung der Erkennungsgüte einen Content-Anbieter. An diesen werden mit den Referenz- und den Spracherkennerdaten Anfragen gestellt. Durch den Vergleich der Ergebnisse dieser Content-Anfragen ermittelt die Testmethodik, ob sich aus Sicht des Kunden ein zufriedenstellendes Ergebnis und damit ein Task-Erfolg einstellt. Der Spracherkenner wird auf diese Weise End-to-End und damit so getestet, wie ihn der Kunde später im Fahrzeug erleben wird.
Mithilfe des neuen Verfahrens ist es jetzt möglich, diejenigen fehlerhaften Spracherkennerresultate automatisiert zu identifizieren und entsprechend zu priorisieren, welche aus Sicht des Kunden von Bedeutung sind.