Am 22.9. präsentierten wir dem assoziierten Partnerunternehmen Dr. Ausbüttel das gemeinsam mit ihnen abgestimmte Demonstrations-Szenario „Beratung zur Wundversorgung“. Zu dem Treffen an der Universität Witten/Herdecke kamen Jannis Augustin und Sebastian Groß aus der Abteilung Professionelle Wundversorgung/Digitales Marketing des Unternehmens Dr. Ausbüttel. Beide zeigten sich sehr begeistert von der Demo und der entwickelten Technologie für den Einsatz von virtual humans in der Unternehmensrepräsentation.

Die Demo behandelt den fiktiven use-case einer Beratung zu Wundversorgungsartikeln des Unternehmens Dr. Ausbüttel. Hierzu werden nach einem kurzen Einführungsteil in die VR-Bedienung (Tutorial) Fragen zu einer bestehenden Wunde gestellt. Auf Grundlage der Antworten der Nutzenden wird dann eine Empfehlung zur Wundversorgung ausgegeben.

In der Demonstration werden alle bislang im Projekt erstellten Technologien integriert:

• Per Photogrammetrie erzeugte und animierte Darstellung der Ai.vatare
• Speech-to-Text und Text-to-Speech Integration
• Integration an den BotKitManager von IOX
• Dialogsteuerung per Google DialogFlow
• Multi-Avatar-Funktionalität: Zwei Ai.vatare übernehmen unterschiedliche Rollen in der Anwendung
• Virtual Reality und Desktop Anbindung

Mit Ablauf des Monats März wurden beide im Projekt Ai.vatar betreuten Masterarbeiten zu einem erfolgreichen Ende gebracht. Sowohl Sophia Bermond als auch Nele Kost haben ihre sehr gut bewerteten Arbeiten zur Erlangung des akademischen Grades Master of Science (M. Sc.) fertigstellen können.

In Sophias Arbeit mit dem Titel „Effekte der anthropomorphen Verkörperung eines sprachbasierten Agenten auf die soziale Wahrnehmung der Nutzenden in einer virtuellen Umgebung“ wurde in Form eines Mixed-Method Designs quantitativ untersucht, ob sich das Erleben sozialer Präsenz und die Zuschreibung von Sympathie, Vertrauenswürdigkeit und Natürlichkeit bei einem ECA mit einer 3D Verkörperung im Vergleich zu einem rein sprachbasierten Conversational Agent (CA) erhöht. Für die Untersuchung wurde der zu dem damaligen Zeitpunkt aktuellste Prototyp des Ai.vatar Systems eingesetzt, das eine verkörperte Darstellung eines Menschen mit sprachbasierten Interaktionsmöglichkeiten kombiniert. Entsprechend der Hypothesen wurde der ECA im Vergleich zu dem CA als vertrauenswürdiger eingeschätzt. Dagegen unterschied sich das soziale Präsenzerleben, die Einschätzungen der Sympathie und der Natürlichkeit nicht zwischen den Untersuchungsgruppen.

In Neles Arbeit mit dem Titel „Anthropomorphisierung im Kontext der Mensch-Maschine-Interaktion. Der Einfluss von technikbezogenen Persönlichkeitseigenschaften und Einstellungen auf die Vermenschlichung von Embodied Conversational Agents“ wurde der Einfluss von technikbezogenen Persönlichkeitseigenschaften und Einstellungen auf die Anthropomorphisierung eines künstlichen sozialen Agenten untersucht, um die individuelle Tendenz zur Anthropomorphisierung künstlicher sozialer Agenten besser zu verstehen. Das explanative Mixed-Methods-Design bestand aus einer Online-Befragung, die den Einfluss von Technikaffinität, Technophobie, Medienbasierter Empathie und Fantasy-Empathy auf die Anthropomorphisierung künstlicher sozialer Agenten erfassen sollte, die durch Interviews mit Teilnehmer*innen der Online-Befragung vertieft wurde. Die Auswertung zeigte einen positiven Effekt von Medienbasierter Empathie auf die Anthropomorphisierung in Bezug auf Mind Agency, von Anthropomorphisierung.

Für unseren neuen Anwendungsfall haben wir uns Hilfe aus der Industrie geholt um zu beweisen, dass der Ai.vatar eine digitale Bereicherung für die Wirtschaft darstellen kann. 

Dazu haben wir eine Zusammenarbeit mit Dr. Ausbüttel & Co GmbH gestartet um ein Szenario zu schaffen, in welchem der Ai.vatar als interaktiver medizinischer Produktberater agiert. 

Im neuen Szenario wollen wir unsere Ai.vatar-Experience zudem um einen zweiten Ai.vatar erweitern, welcher dem User die Benutzung der VR-Brille beibringt und auch mit einem anderen Agenten kommunizieren kann. 

Auch die Artificial Intelligence unserer Ai.vatare wird durch neue Techniken ausgebaut und um ein Vielfaches interaktiver und realistischer. 

Die Planungs- und Koordinationsphase konnten wir zusammen in einem Workshop-Tag in Köln abschließen und freuen uns nun darauf die Pläne in die Realität umzusetzen. 

Wie schon angekündigt hat das Team Ai.vatar 2021 am Places Festival teilgenommen. Dort haben wir viele interessante Leute und Projekte kennengelernt und natürlich auch unser Projekt Ai.vatar vorgestellt. Es hat uns sehr gefreut, dass wir viel positives und auch wertvolles Feedback erhalten haben, welches wir direkt in den nächsten Prototypen einfließen lassen wollen. Für den DIVR Science Award hat es leider nicht gereicht, aber wir sind trotzdem stolz unter all den interessanten Projekten nominiert gewesen zu sein.

Nach der erfolgreichen Teilnahme am Festival freuen wir uns nun darauf, mit der Entwicklung des nächsten Prototyps zu starten.

Das Institut für Virtuelle Realitäten (DIVR) vergibt in Kooperation mit dem Places _ VR Festival jährlich den DIVR Science Award, der die besten Projekte der deutschen XR-Forschung in drei Kategorien auszeichnet.

Mit unserer Bewerbung stehen wir auf der Shortlist der Kategorie „best concept“, welche den innovativsten Ansatz, den kreativsten Einsatz oder das spannendste Experiment im Bereich Extended Realities bewertet. Für die Präsentation auf dem Festival und die Begutachtung der Jury entwickeln wir derzeit ein spezielles Szenario, das den aktuellen Stand des Ai.vatar Systems besonders gut zur Geltung bringen kann.

Das Festival und auch die Jurywertung finden statt vom 16. – 18. September 2021.

Mehr Infos unter: https://places-festival.de/divr-award-2021/

Auf zwei internationalen Tagungen zu Conversational Agents konnten erste Ergebnisse aus dem Ai.vatar Projekt vorgestellt werden. Alexandra Hofmann und Jonathan Harth haben sowohl auf der „CUI@IUI Theoretical and Methodological Challenges in Intelligent Conversational User Interface Interactions“ (Honourable Mention Award) als auch der „CHI ’18: ACM CHI Virtual Conference on Human Factors in Computing Systems” erfolgreich Papers präsentiert. In beiden Beiträgen stellen Alexandra und Jonathan neue methodische Überlegungen vor, die Mixed Reality Darstellungen zur Analyse von Interaktionen mit virtuellen Agenten verwenden.

Paper Download: https://sputze.github.io/evaluating-mr/paper/#mixed-reality-methods-for-analysis-of-multimodal-human-agent-interactions

Für diese kleine Demo haben wir den neu gescannten Aivatar Prototyp 2 an das Live Link Face angeschlossen. Dabei scannt ein Iphone das Gesicht des Nutzers und überträgt die Mimik in Realtime auf den digitalen Aivatar.

An der Universität Witten/Herdecke wurde im neu eingerichteten Mixed Reality Labor die erste Nutzerstudie mit dem Ai.vatar System durchgeführt. In dieser Studie stand die Frage im Vordergrund, wie sich die virtuelle Verkörperung des Ai.vatar auf die Wahrnehmung der Nutzer/innen und auch die Interaktion zwischen Nutzer/in und Agent auswirkt. Neben der Untersuchung, ob sich die User sich in sozialer Präsenz mit dem Agenten in der virtuellen Umgebung empfinden, untersuchten wir, inwiefern der Körper des Ai.vatar im Vergleich zu der
bloßen Stimme des Agenten zu einer stärkeren Wahrnehmung von Human-Likeness beitrug. Die Untersuchung wurde maßgeblich von Sophia Bermond durchgeführt.

Inzwischen hat sich im Projekt „Ai.vatar“ viel getan! Der Avatar wurde an ein neu entwickeltes Bot-System angeknüpft, in welchem eigene Dialoge eingepflegt werden können. Der Ai.vatar reagiert dabei auf die vom Nutzer gesprochenen Spracheingabe und wählt entsprechend seine Antwort aus.

Mit Hilfe einer Gaming-Entwicklungsumgebung wird der vom Bot-System ausgewählte Dialog, mithilfe der Text-to-Speech-Methode von Google vertont. Dabei kann zwischen einer männlichen und einer weiblichen Stimme ausgewählt werden, passend zum jeweiligen Ai.vatar.

Gleichzeitig werden die Texte aus dem Dialog-System ausgewertet. Mittels digitaler Auswertemethoden wird dabei entschieden, welche Mund- und Mimik-Bewegung zum Dialog abgespielt werden sollen. Mit diesem Feature bewegt der Ai.vatar also seinen Mund passend zum Text und wird direkt ein ganzes Stück menschlicher.

Um dieses zu ermöglichen mussten 39 verschiedene Mimiken der Gesichtspartie aufgenommen und in den 3D-Bereich übertragen werden. Während des Gesprächs interpoliert der Ai.vatar dann, gemäß des Textes, zwischen den Extrem-Mimiken des Munds.