Das Projekt

Ein virtueller und intelligenter Assistent

Ai.vatar steht für die Entwicklung eines intelligenten, menschenähnlichen Assistenten für den universellen und kostengünstigen Einsatz in einem virtuellen Umfeld (VR & AR). Ai.vatar ist das Produkt aus sprachgesteuertem Dialog-System und animierten, interaktiven digitalen Menschenmodellen.

In der virtuellen Welt kann Ai.vatar mit Menschen interagieren und z.B. als Tutor oder Coach in unterschiedlichsten Bereichen eingesetzt werden

Intelligente Interaktion

Partner

Das Düsseldorfer Start-Up IOX ist ein Technologieunternehmen, das Prototypen neuer intelligenter Produkte entwickelt. Seit 2015 realisiert das Team „Internet of Things“ (IoT)-Prototypen für seine Kunden und gewann Ende 2017 den Gründerpreis des Landes NRW. 

Dabei vereint IOX verschiedene Disziplinen wie fachliche bzw. methodische Beratung, Elektrotechnik, Industriedesign und Softwareentwicklung und kann seinen Kun-den so eine umfassende Lösung aus einer Hand bieten. IOX hat sich auf kundenspezifische Lösungen im Bereich IT und Industrie 4.0 spezialisiert.

Typische Produkte sind dabei virtuelle Assistenzsysteme wie Chatbots und künstliche Intelligenz zur Echtzeit-Bildanalyse. Neben technischen Dienstleistungen bietet IOX darüber hinaus Design Thinking und Rapid Design Workshops an, um mit seinen Kunden gemeinsam innovative Ideen für neue Produkte im Bereich IoT zu entwickeln. Hinter den Produkten verbergen sich verschiedene Technologien, Treiber sind dabei neue Megatrends aus den Bereichen Connectivity, Robotik und künstliche Intelligenz.

HHVISION wurde im Jahr 2000 mit den Schwerpunkten digitales Entwerfen und Konstruieren gegründet. Seit 20 Jahren entwickeln wir mit unseren 35 Mitarbeitern konstant den Qualitätsstandard der verschiedenen Darstellungsmedien architektonischer Planung weiter.

So stellen wir sowohl Gebäude und Städte, als auch digitale Menschmodelle so realitätsnah wie möglich in Form von Bildern, Animationen und als interaktive 3D-VR-Szenen dar.

In den letzten 10 Jahren forschte HHVISION in verschiedenen Themengebieten mit unterschiedlichen Kooperationspartnern. Dabei wurde die Projekte „Virtuell immersives Stadtplanungsmodells“, die „Virtuell immersiven Webkonferenz“ und „3D People in Motion“ durchgeführt, welche wegweisende neue virtuelle Darstellungsmethoden in den Bereichen Stadtplanung, virtuelle Konferenz digitale Menschmodelle aufzeigten. Aus den Projekten ergaben sich neue Arbeitsbereiche, die stetig ausgebaut werden und damit neue Fragen aufwerfen, die es zu erforschen gilt.

In dem Forschungsvorhaben Ai.vatar soll untersucht werden, wie sich digitale Menschmodell noch realistischer darstellen lassen, wie eine Kommunikation mit einem intelligenten digitalen Avatar umgesetzt werden kann und welche Schnittstellen geschaffen werden müssen, um einen qualitativen Dialog mit seinem digitalen Gegenüber halten zu können.

Die UNIVERSITÄT WITTEN/HERDECKE ist die erste private Universität Deutschlands und steht seit ihrer Gründung im Jahre 1982 für unkonventionelle, innovative und wegweisende Konzepte im Bildungssektor.

Am Lehrstuhl für Soziologie werden in theoretischen und empirischen Studien Fragen der digitalen Transformation der Gesellschaft zum Gegenstand gemacht. Forschungsschwerpunkte des Lehrstuhls sind unter anderem empirische Studien zu Virtual/Augmented Reality und theoretische Überlegungen zu Sozialität unter Bedingungen maschineller Intelligenz. Dies äußert sich in soziologischen und psychologischen Studien zu Plausibilität und Akzeptanz computergesteuerter Spielpartner im Bereich Gaming sowie in Nutzungsstudien im Bereich Virtual Reality mit HMDs wie Oculus Rift und HTC Vive. Auch experimentelle Studien zu Empathie und Embodiment in virtuellen Räumen zählen zu den quantitativen und qualitativen Forschungsschwerpunkten. 

Für das Projekt Ai.vatar werden Fragen zur sozialen Akzeptanz von Avataren, adaptierten Körperbewegungen und emotionalem Ausdruck wissenschaftlich beantwortet. Diese Studien tragen dazu bei, dass der Ai.vatar sympathisch, intelligent und plausibel im virtuellen Raum auftreten kann. 

Update

  • Teilnahme am Places-Festival und DIVR Science Award 20. September 2021

    Wie schon angekündigt hat das Team Ai.vatar 2021 am Places Festival teilgenommen. Dort haben wir viele interessante Leute und Projekte kennengelernt und natürlich auch unser Projekt Ai.vatar vorgestellt. Es hat uns sehr gefreut, dass wir viel positives und auch wertvolles Feedback erhalten haben, welches wir direkt in den nächsten Prototypen einfließen lassen wollen. Für den DIVR Science Award hat es leider nicht gereicht, aber wir sind trotzdem stolz unter all den interessanten Projekten nominiert gewesen zu sein.

    Nach der erfolgreichen Teilnahme am Festival freuen wir uns nun darauf, mit der Entwicklung des nächsten Prototyps zu starten.

  • Der erste Ai.vatar: ein Demo-Video 27. Juli 2021
    Im Zuge der Bewerbung für das Places-Festival und dem damit verbundenen DIVR Science Award 2021 haben wir ein kurzes Demo-Video des Ai.vatars erstellt, welches die Grundfunktionen darstellen soll. Zu sehen ist ein kurzes Gespräch mit dem Ai.vatar. Die Userin trägt dabei eine VR-Brille und taucht vollständig in die virtuelle Umgebung ein. Um dies im Video gut darzustellen wechseln wir, sobald das Gespräch startet, in die reale Sichtweise der Userin und erkunden die Umgebung und den Ai.vatar mit ihr zusammen.

  • Nominierung für den DIVR Science Award 2021 9. Juli 2021

    Das Institut für Virtuelle Realitäten (DIVR) vergibt in Kooperation mit dem Places _ VR Festival jährlich den DIVR Science Award, der die besten Projekte der deutschen XR-Forschung in drei Kategorien auszeichnet.

    Mit unserer Bewerbung stehen wir auf der Shortlist der Kategorie „best concept“, welche den innovativsten Ansatz, den kreativsten Einsatz oder das spannendste Experiment im Bereich Extended Realities bewertet. Für die Präsentation auf dem Festival und die Begutachtung der Jury entwickeln wir derzeit ein spezielles Szenario, das den aktuellen Stand des Ai.vatar Systems besonders gut zur Geltung bringen kann.

    Das Festival und auch die Jurywertung finden statt vom 16. – 18. September 2021.

    Mehr Infos unter: https://places-festival.de/divr-award-2021/

  • Honourable Mention Award für Konferenzbeitrag 9. Mai 2021

    Auf zwei internationalen Tagungen zu Conversational Agents konnten erste Ergebnisse aus dem Ai.vatar Projekt vorgestellt werden. Alexandra Hofmann und Jonathan Harth haben sowohl auf der „CUI@IUI Theoretical and Methodological Challenges in Intelligent Conversational User Interface Interactions“ (Honourable Mention Award) als auch der „CHI ’18: ACM CHI Virtual Conference on Human Factors in Computing Systems” erfolgreich Papers präsentiert. In beiden Beiträgen stellen Alexandra und Jonathan neue methodische Überlegungen vor, die Mixed Reality Darstellungen zur Analyse von Interaktionen mit virtuellen Agenten verwenden.

    Paper Download: https://sputze.github.io/evaluating-mr/paper/#mixed-reality-methods-for-analysis-of-multimodal-human-agent-interactions

     

  • Der Aivatar geht in die zweite Runde- und dieses Mal mit einem optimierten Workflow! 28. April 2021

    Für diese kleine Demo haben wir den neu gescannten Aivatar Prototyp 2 an das Live Link Face angeschlossen. Dabei scannt ein Iphone das Gesicht des Nutzers und überträgt die Mimik in Realtime auf den digitalen Aivatar.

  • Erste Nutzerstudie erfolgreich durchgeführt 15. März 2021

    An der Universität Witten/Herdecke wurde im neu eingerichteten Mixed Reality Labor die erste Nutzerstudie mit dem Ai.vatar System durchgeführt. In dieser Studie stand die Frage im Vordergrund, wie sich die virtuelle Verkörperung des Ai.vatar auf die Wahrnehmung der Nutzer/innen und auch die Interaktion zwischen Nutzer/in und Agent auswirkt. Neben der Untersuchung, ob sich die User sich in sozialer Präsenz mit dem Agenten in der virtuellen Umgebung empfinden, untersuchten wir, inwiefern der Körper des Ai.vatar im Vergleich zu der
    bloßen Stimme des Agenten zu einer stärkeren Wahrnehmung von Human-Likeness beitrug. Die Untersuchung wurde maßgeblich von Sophia Bermond durchgeführt.

  • Der Dialog mit dem Ai.vatar 14. Februar 2021

    Inzwischen hat sich im Projekt „Ai.vatar“ viel getan! Der Avatar wurde an ein neu entwickeltes Bot-System angeknüpft, in welchem eigene Dialoge eingepflegt werden können. Der Ai.vatar reagiert dabei auf die vom Nutzer gesprochenen Spracheingabe und wählt entsprechend seine Antwort aus.

    Mit Hilfe einer Gaming-Entwicklungsumgebung wird der vom Bot-System ausgewählte Dialog, mithilfe der Text-to-Speech-Methode von Google vertont. Dabei kann zwischen einer männlichen und einer weiblichen Stimme ausgewählt werden, passend zum jeweiligen Ai.vatar.

    Gleichzeitig werden die Texte aus dem Dialog-System ausgewertet. Mittels digitaler Auswertemethoden wird dabei entschieden, welche Mund- und Mimik-Bewegung zum Dialog abgespielt werden sollen. Mit diesem Feature bewegt der Ai.vatar also seinen Mund passend zum Text und wird direkt ein ganzes Stück menschlicher.

    Um dieses zu ermöglichen mussten 39 verschiedene Mimiken der Gesichtspartie aufgenommen und in den 3D-Bereich übertragen werden. Während des Gesprächs interpoliert der Ai.vatar dann, gemäß des Textes, zwischen den Extrem-Mimiken des Munds.

  • Ein Meilenstein in der Interaktion 20. Oktober 2020

    Der erste große technische Meilenstein ist erreicht! Die grundlegende Verbindung zwischen virtueller Umgebung, digitalisiertem Avatar und NLU-System ist gelegt. Seit Oktober 2020 lässt sich mit einem ersten Ai.vatar in der Virtual Reality sprechen und interagieren. Noch in 2020 werden deshalb die ersten Testreihen mit Probanden gestartet.

    Doch es gibt weiterhin viel zu tun! Es gilt, die Animationen weiter zu optimieren und das Aussehen zu verfeinern. Auch müssen die Aktionen, das Verhalten und die Persona des Ai.vatar mit passenden Dialogen kombiniert werden. Dies erfordert ein kluges Schnittstellen Management und klare Anwendungsfälle. Unser hoch gestecktes Ziel, den Ai.vatar so menschenähnlich wie möglich wirken zu lassen, ist zwar noch nicht erreicht, aber ein gutes Stück näher gekommen.

  • Projektmeeting in Köln 21. Januar 2020

    Kurz nach dem offiziellen Projektstart am 1. Januar 2020 trifft sich das Projektkonsortium zum Kick-Off Termin in den Räumlichkeiten von HHVISION. In konzentrierter und zielorientierter Stimmung werden die ersten inhaltlichen Meilensteine besprochen und technisches Know-How ausgetauscht. Die drei Projektpartner bringen ihre sich ergänzenden Kompetenzen ein und formulieren gemeinsam die ersten Projektziele.

    Neben der konzeptionellen Arbeit kommt auch der Spaß nicht zu kurz: alle Projektmitarbeiter /-Innen lassen sich im HHVISION-internen 3D-Photogrammetrie Scanner einscannen, um in naher Zukunft als digitaler Zwilling in der virtuellen Welt von Ai.vatar zu Hause sein zu können.

  • AiVatar: Das Projekt geht an den Start 8. Januar 2020

    Als eines von elf Projekten wird „Ai.vatar – der virtuelle intelligente Assistent“ im Rahmen des Leitmarktwettbewerbs IKT.NRW gefördert. Nach der feierlichen Übergabe des Förderbescheids im Ministerium für Wirtschaft, Innovation, Digitalisierung und Energie des Landes Nordrhein-Westfalen beginnt nun die dreijährige Projektlaufzeit. Ziel ist es, einen künstlich intelligenten und visuell ansprechenden Avatar zu entwickeln und erforschen, welcher in einen Dialog mit dem realen Nutzer treten soll. Das Projektkonsortium besteht dabei aus den beiden Unternehmen HHVISION aus Köln und IOX aus Düsseldorf sowie der Universität Witten/Herdecke. Die Fördermittel stammen aus dem Europäischen Fonds für Regionale Entwicklung (EFRE) und vom Land NRW.

    Der zentrale Meilenstein des Projekts besteht aus der technischen Schnittstelle aller Komponenten des virtuellen Agenten. Neben der anthropomorphen Darstellung, den natürlichen Bewegungsabläufen und den elaborierten Wahrnehmungs- und Kommunikationsfähigkeiten, sollen die intelligenten Assistenten durch ihre lebensnahen und sympathischen Interaktions- und Verhaltensweisen ein positives Erlebnis und Vertrauen beim Nutzer schaffen. Auf diese Weise ermöglicht das System plausible, intuitive und effiziente Interaktionen.

    Quelle: www.wirtschaft.nrw

Neugierig?

Wir verraten Ihnen gerne mehr:

Das Projekt wird gefördert von: