Transparenzhinweis: Dieser Beitrag entstand im Rahmen einer vergüteten Kooperation mit Fonio.ai. Für den Praxistest wurde von TechPanther ein eigener KI-Telefonassistent konfiguriert und anhand von 15 unterschiedlichen Testsituationen geprüft. Die Durchführung, Auswertung und Darstellung der Testergebnisse erfolgten eigenständig durch TechPanther. Die im Artikel genannten Ergebnisse beziehen sich ausschließlich auf die getestete Konfiguration und die durchgeführten Tests.
Wie zuverlässig kann ein KI-Telefonassistent echte Kundengespräche führen? Genau dieser Frage bin ich im Rahmen eines ausführlichen Praxistests mit Fonio.ai nachgegangen.
Fonio bietet einen KI-basierten Telefonassistenten, der eingehende Telefonanrufe entgegennehmen und Gesprächsinhalte verarbeiten beziehungsweise protokollieren kann. Der Assistent lässt sich dabei individuell konfigurieren. Unter anderem können Name, Unternehmen, Rolle und verschiedene Verhaltensregeln festgelegt werden.
Für meinen Test habe ich einen eigenen KI-Kundendienst für TechPanther eingerichtet. Dabei habe ich dem Assistenten Informationen über meinen Blog, dessen Themenbereiche und die gewünschten Abläufe zur Verfügung gestellt.
Anschließend habe ich den KI-Telefonassistenten in insgesamt 15 unterschiedlichen Testsituationen angerufen. Dabei ging es nicht nur um einfache Standardfragen, sondern auch um bewusst schwierige und teilweise ungewöhnliche Gesprächssituationen.
Der Praxistest: 15 Testsituationen
Um die Funktionen möglichst unterschiedlich zu überprüfen, habe ich insgesamt 15 Szenarien durchgeführt.
1. Allgemeine Kundenanfrage
Zunächst wurde eine klassische Kundenanfrage simuliert. Die KI sollte erklären, womit sich TechPanther beschäftigt und welche Themen auf dem Blog behandelt werden.
Ergebnis: 2/2 Punkte
2. Frage nach nicht hinterlegten Informationen
Anschließend wurde nach einer Information gefragt, die nicht eindeutig in der Wissensbasis hinterlegt war. Konkret ging es um die Frage, wie viel ein Testbericht auf TechPanther kostet.
Damit sollte geprüft werden, wie der Assistent mit Informationen umgeht, auf die er keine eindeutige Antwort geben kann.
Ergebnis: 0/2 Punkte
3. Rückrufwunsch
In diesem Szenario wurde ein Rückruf angefordert. Die KI sollte die dafür notwendigen Informationen wie Name und Telefonnummer aufnehmen und anschließend zusammenfassen.
Ergebnis: 2/2 Punkte
4. Unklare Anfrage
Für diesen Test wurde bewusst eine ungenaue Aussage verwendet: „Ich rufe wegen dem Ding von letzter Woche an.“
Die KI sollte erkennen, dass die Anfrage nicht ausreichend konkret ist, und durch entsprechende Rückfragen herausfinden, worum es geht.
Ergebnis: 2/2 Punkte
5. Unterbrechung während des Gesprächs
Während eines laufenden Gesprächs wurde der KI bewusst ins Wort gefallen und anschließend eine neue Frage gestellt.
Damit sollte überprüft werden, wie gut der Assistent mit Unterbrechungen und einem veränderten Gesprächsverlauf zurechtkommt.
Ergebnis: 2/2 Punkte
6. Mehrere Anliegen gleichzeitig
In einem weiteren Gespräch wurden mehrere Fragen miteinander verbunden. Dazu gehörten unter anderem Informationen über TechPanther, Testberichte und Kontaktmöglichkeiten.
Die KI sollte die verschiedenen Anliegen erkennen und entsprechend darauf eingehen.
Ergebnis: 2/2 Punkte
7. Falsche beziehungsweise nicht vorhandene Information
Hier wurde bewusst eine falsche Behauptung aufgestellt. Es wurde beispielsweise behauptet, dass TechPanther bereits einen Artikel über das iPhone 18 veröffentlicht habe.
Der Assistent sollte die Aussage nicht einfach übernehmen, sondern überprüfen, ob eine entsprechende Information tatsächlich vorhanden ist.
Ergebnis: 2/2 Punkte
8. Telefonnummer aufnehmen und wiederholen
Die KI erhielt eine Telefonnummer und sollte diese korrekt erfassen und anschließend zur Kontrolle wiederholen.
Dieser Test ist insbesondere für Rückruf- oder Kontaktanfragen relevant, da bereits ein einzelner Fehler bei einer Telefonnummer dazu führen kann, dass ein Rückruf nicht möglich ist.
Ergebnis: 2/2 Punkte
9. E-Mail-Adresse aufnehmen und wiederholen
Auch eine E-Mail-Adresse wurde im Gespräch genannt. Anschließend sollte die KI die Adresse zur Kontrolle wiederholen.
Ergebnis: 0/2 Punkte
Hier zeigte sich eine Einschränkung bei der korrekten Verarbeitung der angegebenen E-Mail-Adresse.
10. Schnelle beziehungsweise schwierige Spracheingabe
Für diesen Test wurde eine längere Anfrage möglichst schnell und mit wenigen Pausen gesprochen.
Damit sollte überprüft werden, wie zuverlässig die Spracherkennung und das anschließende Verständnis auch bei einer anspruchsvolleren Spracheingabe funktionieren.
Ergebnis: 1/2 Punkte
11. Sprachwechsel
Der Assistent wurde zunächst auf Englisch angesprochen. Im weiteren Gespräch wurde anschließend wieder ins Deutsche gewechselt.
Dabei sollte überprüft werden, wie der KI-Telefonassistent mit einem Wechsel der Sprache innerhalb desselben Gesprächs umgeht.
Ergebnis: 1/2 Punkte
12. Rückruf wieder abbrechen
Nachdem zunächst ein Rückruf angefordert worden war, wurde dieser Wunsch im weiteren Gespräch wieder zurückgenommen.
Der Assistent sollte die Änderung des Wunsches erkennen und entsprechend verarbeiten.
Ergebnis: 2/2 Punkte
13. Beschwerde
Auch eine typische Beschwerdesituation wurde simuliert. Dabei wurde eine unzufriedene beziehungsweise enttäuschte Situation dargestellt.
Geprüft wurde, ob der Assistent angemessen auf die Beschwerde reagiert und durch Rückfragen herausfindet, worin das konkrete Problem besteht.
Ergebnis: 2/2 Punkte
14. Komplexes Gespräch mit mehreren Informationen
Besonders umfangreich war ein Szenario, in dem mehrere unterschiedliche Informationen miteinander kombiniert wurden.
Dabei ging es unter anderem um einen Produkt- beziehungsweise Testbericht, Kontaktmöglichkeiten, den Kontakt zum Team, eine E-Mail-Adresse und einen Rückrufwunsch.
Die KI sollte die verschiedenen Informationen während des Gesprächs verarbeiten und anschließend zusammenfassen.
Ergebnis: 2/2 Punkte
15. Unbekannte Information und Wissensdatenbank
Zum Abschluss wurde eine Frage gestellt, zu der keine passende Information in der Wissensdatenbank vorhanden war.
Hier sollte geprüft werden, ob der Assistent mit fehlendem Wissen korrekt umgeht und auf eine erfundene Antwort verzichtet, wenn keine passende Information gefunden werden kann.
Ergebnis: 2/2 Punkte
Bewertungssystem
Für die Auswertung habe ich ein einfaches Punktesystem verwendet. Jede Testsituation konnte zwischen 0 und 2 Punkten erreichen:
- 2 Punkte: Die Situation wurde vollständig und korrekt gelöst.
- 1 Punkt: Die Situation wurde teilweise gelöst oder es traten kleinere Einschränkungen auf.
- 0 Punkte: Die Situation wurde nicht zufriedenstellend gelöst.
Zusätzlich habe ich einzelne Szenarien in separaten Gesprächen wiederholt. Dadurch konnte ich überprüfen, wie sich der Assistent verhält, wenn kein vorheriger Gesprächskontext vorhanden ist.
Testergebnis: 26 von 30 Punkten
Von insgesamt 30 möglichen Punkten erreichte der KI-Telefonassistent in meinem Praxistest 26 Punkte.
Das entspricht einem Ergebnis von 86,7 Prozent.
| Allgemeine Kundenanfrage Die KI sollte erklären, womit sich TechPanther beschäftigt und welche Themen der Blog behandelt. | 2 |
| Frage nach nicht hinterlegten Informationen Es wurde gefragt, wie viel ein Testbericht auf TechPanther kostet. Damit sollte geprüft werden, wie die KI mit Informationen umgeht, die nicht eindeutig hinterlegt sind. | 0 |
| Rückrufwunsch Es wurde ein Rückruf angefordert. Die KI sollte die notwendigen Daten wie Name und Telefonnummer aufnehmen und anschließend zusammenfassen. Unklare Anfrage Eine bewusst ungenaue Aussage wie „Ich rufe wegen dem Ding von letzter Woche an“ sollte von der KI sinnvoll eingeordnet und durch Rückfragen konkretisiert werden. | 2 2 |
| Unterbrech Schnelle bzw. schwierige Spracheingabe Eine längere Anfrage wurde möglichst schnell und ohne große Pausen gesprochen, um die Spracherkennung und das Verständnis zu testen und während des Gesprächs Während eines laufenden Gesprächs wurde die KI unterbrochen und mit einer neuen Frage konfrontiert. | 2 |
| Mehrere Anliegen gleichzeitig In einem Gespräch wurden mehrere Fragen miteinander verbunden, beispielsweise zu Testberichten, den Inhalten von TechPanther und den Kontaktmöglichkeiten. | 2 |
| Falsche bzw. nicht vorhandene Information Es wurde behauptet, dass TechPanther bereits einen Artikel über das iPhone 18 veröffentlicht habe. Die KI sollte diese Information überprüfen, anstatt sie einfach zu bestätigen. | 2 |
| Telefonnummer aufnehmen und wiederholen Die KI erhielt eine Telefonnummer und sollte diese korrekt erfassen und anschließend wiederholen. | 2 |
| E-Mail-Adresse aufnehmen und wiederholen Auch eine E-Mail-Adresse wurde genannt und anschließend von der KI zur Kontrolle wiederholt. | 0 |
| Schnelle bzw. schwierige Spracheingabe Eine längere Anfrage wurde möglichst schnell und ohne große Pausen gesprochen, um die Spracherkennung und das Verständnis zu testen. | 1 |
| Sprachwechsel Die KI wurde zunächst auf Englisch angesprochen. Anschließend wurde wieder ins Deutsche gewechselt, um zu testen, wie sie mit einem Wechsel der Sprache innerhalb eines Gesprächs umgeht. | 1 |
| Rückruf wieder abbrechen Nachdem ein Rückruf angefordert worden war, wurde dieser im weiteren Gespräch wieder zurückgezogen. Die KI sollte die Änderung des Wunsches korrekt verarbeiten. | 2 |
| Beschwerde Es wurde eine unzufriedene bzw. enttäuschte Situation simuliert. Dabei wurde geprüft, wie die KI auf eine Beschwerde reagiert und ob sie angemessen nach dem Problem fragt. | 2 |
| Komplexes Gespräch mit mehreren Informationen In einem Gespräch wurden mehrere Anliegen miteinander kombiniert, darunter ein Produkt- bzw. Testbericht, Kontaktmöglichkeiten, der Kontakt zum Team, eine E-Mail-Adresse und ein Rückrufwunsch. Die KI sollte die verschiedenen Informationen erfassen und zusammenfassen. | 2 |
| Unbekannte Information / Wissensdatenbank Abschließend wurde eine Frage gestellt zu der keine passende Information in der Wissensdatenbank vorhanden war. Dabei wurde geprüft, ob die KI die Information tatsächlich sucht und bei fehlenden Ergebnissen auf eine erfundene Antwort verzichtet. | 2 |
| Gesamt | 26/30 |
Wo der Assistent besonders gut funktionierte
In meinem Test zeigte der KI-Telefonassistent insbesondere bei klassischen Gesprächssituationen eine gute Leistung.
Dazu gehörten beispielsweise allgemeine Kundenanfragen, Rückrufwünsche, unklare Anliegen und Gespräche mit mehreren gleichzeitig angesprochenen Themen.
Auch die Aufnahme und anschließende Wiederholung einer Telefonnummer funktionierte im Test zuverlässig.
Interessant war außerdem der Umgang mit bewusst falschen oder nicht vorhandenen Informationen. In diesen Tests zeigte sich, dass der Assistent nicht einfach jede vom Gesprächspartner vorgegebene Aussage übernehmen musste.
Wo es Einschränkungen gab
Gleichzeitig zeigte der Praxistest auch einige Grenzen.
Bei der Verarbeitung der E-Mail-Adresse konnte die Testsituation nicht vollständig gelöst werden. Auch bei einer besonders schnellen Spracheingabe kam es zu Einschränkungen.
Der Wechsel zwischen Englisch und Deutsch innerhalb eines Gesprächs wurde ebenfalls nur teilweise erfolgreich verarbeitet.
Bei der Frage nach einer nicht hinterlegten Information wurde die Situation ebenfalls nicht zufriedenstellend gelöst.
Gerade diese Tests sind aus meiner Sicht interessant, weil ein KI-Telefonassistent im praktischen Einsatz nicht ausschließlich mit perfekt formulierten Standardfragen konfrontiert wird.
Fazit
Mit 26 von 30 möglichen Punkten beziehungsweise 86,7 Prozent zeigte der von mir konfigurierte Fonio-KI-Telefonassistent im Praxistest eine insgesamt hohe Trefferquote.
Besonders bei klassischen Kundenanfragen, Rückrufwünschen, unklaren Anliegen und komplexeren Gesprächssituationen konnte der Assistent die gestellten Aufgaben im Test überwiegend vollständig bearbeiten.
Gleichzeitig zeigen die Ergebnisse, dass auch ein KI-Telefonassistent nicht jede Gesprächssituation gleichermaßen zuverlässig verarbeitet. Schwierigkeiten traten in meinem Test insbesondere bei einer nicht hinterlegten Information, der Verarbeitung einer E-Mail-Adresse, einer schnellen Spracheingabe sowie beim Sprachwechsel auf.
Wichtig ist dabei die Einordnung des Ergebnisses: Die Bewertung basiert ausschließlich auf meiner selbst konfigurierten Fonio-Testumgebung und den 15 von mir durchgeführten Testsituationen. Sie stellt daher keine allgemeingültige Bewertung sämtlicher Funktionen von Fonio.ai dar.
Für mich war vor allem interessant zu sehen, wie sich der Assistent außerhalb einfacher Standardsituationen verhält. Genau hier konnten die 15 unterschiedlichen Testsituationen zeigen, wo die Stärken liegen und an welchen Stellen bei einem praktischen Einsatz noch Grenzen auftreten können.
Schreibe einen Kommentar