Studie zu Conversational-AI-Avataren: Vergleich von LLMs und Audio2Face

Im Research-Team von Plain Concepts haben wir mehrere Monate lang die Performance eines dialogfähigen Echtzeit-Avatarsystems evaluiert, um die am besten geeignete Konfiguration für eine Produktivumgebung zu ermitteln. Im Rahmen dieser Untersuchung haben wir verschiedene Conversational-AI-Modelle und Hardwarekonfigurationen analysiert und Kennzahlen wie Latenz, Stabilität der Antworten und Gesamtperformance des Systems gemessen. Anhand der Ergebnisse konnten wir feststellen, welche Komponenten den größten Einfluss auf das Benutzererlebnis haben und welche Kombination das beste Gleichgewicht zwischen Performance und Konstanz bietet.

Dialogfähiger 3D-Echtzeit-Avatar, gerendert mit Evergine

Kontext und Motivation

Ziel dieses Projekts ist die Entwicklung eines dialogfähigen Avatars, der in Echtzeit per Sprache mit Benutzern interagieren kann. Der Avatar hört dem Benutzer zu, interpretiert seine Anfrage mithilfe eines Sprachmodells und antwortet sowohl mit Sprache als auch mit synchronisierten Gesichtsanimationen, um ein möglichst natürliches Gespräch zu ermöglichen. Dazu mussten wir verschiedene Komponenten – Sprachverarbeitung, künstliche Intelligenz, Gesichtsanimation und Rendering – aufeinander abstimmen und gleichzeitig die Gesamtlatenz des Systems minimieren.

Die in den Tests verwendete Pipeline folgt diesem Ablauf: Der Benutzer spricht, und ein Voice-Activity-Detection-System (VAD) erkennt das Ende seines Redebeitrags. Das LLM (in diesem Fall Gemini 3.1 Live oder ein GPT-Realtime-Modell) erzeugt daraufhin eine Audioantwort. Diese Audio-Chunks werden gleichzeitig an NVIDIA Audio2Face, das die Gesichtsanimationen (Blendshapes) erzeugt, und an den Audiowiedergabedienst gesendet. Der Wiedergabedienst wartet, bis sowohl das Audio als auch die zugehörige Animation vorliegen, und gibt beide dann synchron wieder. Abschließend wird das Ergebnis mit der Grafik-Engine Evergine auf dem Avatar gerendert.

Pipeline des dialogfähigen Avatars: Mikrofoneingabe des Benutzers, LLM (Google Live API oder OpenAI GPT Realtime), Audio-Chunks, NVIDIA Audio2Face für Blendshapes, Synchronisierung von Audio und Animation sowie der in Evergine gerenderte 3D-Avatar

Damit sich die Interaktion natürlich anfühlt, muss die Zeitspanne zwischen dem Ende der Benutzeräußerung und dem Moment, in dem der Avatar zu sprechen und sich zu bewegen beginnt, so kurz und vorhersehbar wie möglich sein. Aus Sicht des Benutzererlebnisses sind unvorhersehbare Latenzspitzen sogar auffälliger und störender als eine etwas höhere, aber stabile Latenz.

Teil I: Vergleich der LLM-Anbieter

Um den am besten geeigneten Anbieter für eine Produktivumgebung zu ermitteln, haben wir die Performance der führenden Sprachmodelle mit Echtzeit-Dialogfunktionen verglichen. Uns interessierte nicht nur, welches am schnellsten antwortet, sondern auch, welches die stabilste und vorhersehbarste Latenz bietet – ein entscheidender Faktor dafür, dass sich die Interaktion mit dem Avatar natürlich anfühlt.

Dazu haben wir die TTFT (Time To First Token) jedes evaluierten Anbieters gemessen – also die Zeit zwischen dem Moment, in dem die VAD des Clients das Ende des Redebeitrags erkennt, und dem Eintreffen des ersten vom Modell erzeugten Audio-Bytes. Die Methodik war für alle Anbieter identisch: dieselbe VAD, derselbe silence_duration_ms-Wert (200 ms) und derselbe Katalog mit 20 nach Schwierigkeitsgrad geordneten Fragen.

Was ist TTFT und warum ist sie wichtig?

TTFT steht für “Time To First Token” bzw. im Audiokontext für die Zeit bis zum ersten Audio-Byte. Gemeint ist das Intervall zwischen dem Ende der Benutzeräußerung und dem Eintreffen des ersten Audio-Chunks der Antwort des Sprachmodells. Audio2Face und der Wiedergabepuffer sind nicht enthalten – es handelt sich ausschließlich um die “Denkzeit” des LLM.

Je niedriger die TTFT, desto früher kann die Audioverarbeitung beginnen. Und je stabiler sie ist (geringere Standardabweichung), desto vorhersehbarer ist das Benutzererlebnis.

Eine weitere gängige Kennzahl bei der Modellbewertung ist TPOT (Time Per Output Token). In dieser Studie wurde TPOT jedoch nicht gemessen, da sie in diesem Szenario keine relevanten Informationen über das Benutzererlebnis liefert. Sobald der erste Audio-Chunk eingetroffen ist, verlagert sich der Engpass auf Audio2Face, das genügend Zeit hat, die nachfolgenden Chunks zu verarbeiten, während diese weiter eintreffen. Daher ist die TTFT die Kennzahl, die die wahrgenommene Reaktionsfähigkeit des Systems am besten widerspiegelt.

Methodik

Alle Anbieter wurden unter denselben Bedingungen gemessen, um vergleichbare Ergebnisse zu gewährleisten:

Jede der 20 Fragen wurde pro Anbieter einmal ausgeführt und die jeweils erzielte TTFT erfasst. Aggregierte Kennzahlen (Mittelwert, Standardabweichung, Minimum und Maximum) wurden aus den 20 Messungen pro Modell berechnet.

Die Fragen wurden nach dem erwarteten Denkaufwand des Modells eingestuft. Einfache Fragen sind Begrüßungen oder einfaches Allgemeinwissen; mittlere Fragen erfordern kurze Erklärungen; komplexe Fragen erfordern logisches Schlussfolgern oder das Ausarbeiten von Empfehlungen; sehr komplexe Fragen verlangen ausführliche Antworten mit Planung, Vergleichen oder detaillierten Erläuterungen von Konzepten.

Die vollständige Liste finden Sie im Anhang: Verwendeter Fragenkatalog.

Bereitstellungsregion: GPT Realtime wird aus der Azure-Region Sweden Central bereitgestellt. Gemini Live gibt keine feste Region an; Google leitet die Anfragen automatisch weiter.

AnbieterMittelwertStd.-Abw.Min.Max.
Gemini 3.1 Live1.407 ms±118 ms1.191 ms1.626 ms
GPT-Realtime1.731 ms±399 ms834 ms2.783 ms
GPT-Realtime 1.51.869 ms±389 ms1.263 ms2.857 ms
GPT-Realtime-Mini1.758 ms±872 ms1.045 ms4.446 ms
GPT-Realtime-22.232 ms±126 ms1.931 ms2.523 ms

Balkendiagramm der mittleren TTFT je LLM-Anbieter: Gemini zeigt den niedrigsten Mittelwert und den kleinsten Fehlerbalken

Latenz nach Schwierigkeitsgrad

Das wichtigste Ergebnis ist das Verhalten der einzelnen Modelle bei steigender Komplexität. Gemini 3.1 Live hält unabhängig vom Schwierigkeitsgrad eine nahezu konstante Latenz (~1.400 ms). Die GPT-Modelle hingegen skalieren deutlich: GPT-Realtime steigt von 1.201 ms bei einfachen Fragen auf 2.308 ms bei sehr komplexen.

Hinweis: GPT-Realtime wurde in der Azure-Region Sweden Central bereitgestellt, während Gemini 3.1 Live das automatische Infrastruktur-Routing von Google nutzt. Ein Teil der beobachteten TTFT-Unterschiede kann daher von der Netzwerklatenz zwischen Client und der Infrastruktur des jeweiligen Anbieters beeinflusst sein.

SchwierigkeitGemini 3.1 LiveGPT-RealtimeGPT-Realtime 1.5GPT-Realtime MiniGPT-Realtime 2
Einfach1.372 ms1.201 ms1.530 ms1.274 ms2.264 ms
Mittel1.389 ms1.554 ms1.674 ms1.385 ms2.314 ms
Komplex1.450 ms1.860 ms1.869 ms1.547 ms2.160 ms
Sehr komplex1.416 ms2.308 ms2.401 ms2.825 ms2.192 ms

Liniendiagramm der Latenz in Abhängigkeit vom Schwierigkeitsgrad der Frage: Gemini bleibt nahezu flach, während die GPT-Modelle mit der Komplexität ansteigen

Wichtigste Ergebnisse

Gemini ist am schnellsten und am konsistentesten. Mit einem Mittelwert von 1.407 ms und einer Standardabweichung von nur ±118 ms ist Gemini 3.1 Live der am besten vorhersagbare Anbieter. Unabhängig von der gestellten Frage antwortet es konstant im selben Bereich.

Die Latenz von Gemini skaliert NICHT mit der Komplexität. Einfache Frage: 1.372 ms. Sehr komplexe Frage: 1.416 ms. Der Unterschied beträgt nur 44 ms – im Grunde statistisches Rauschen. Das deutet darauf hin, dass das Modell Gemini 3.1 Live auf eine konstante Latenz optimiert ist und nicht darauf, je nach Schwierigkeit mehr Zeit zum Nachdenken aufzuwenden. Während der Tests wurden keine nennenswerten Unterschiede in der Antwortqualität festgestellt, die diese konstante Latenz rechtfertigen würden.

Das interessanteste Ergebnis ist nicht, wer schneller ist, sondern dass Gemini unabhängig von der Komplexität eine konstante Latenz aufweist, während GPT seine Denkzeit mit der Schwierigkeit skaliert.

GPT-Realtime ist bei einfachen Fragen am schnellsten. Bei einfachen Fragen erreicht GPT-Realtime 1.201 ms und ist damit schneller als Gemini. Das Problem entsteht mit der Komplexität: Bei sehr komplexen Fragen steigt die Latenz auf 2.308 ms, fast das Doppelte. Das zeigt, dass das Modell umso mehr Zeit zum Nachdenken aufwendet, je schwieriger die Frage ist.

GPT-Realtime-Mini weist starke Ausreißer auf. Zwei sehr komplexe Fragen treiben seine Latenz auf 4.446 ms und 3.781 ms. Mit einer Standardabweichung von ±872 ms ist es das am wenigsten vorhersagbare Modell von allen – für den Produktivbetrieb mit komplexen Fragen nicht empfehlenswert.

Antwortqualität. Über die Latenz hinaus wurden qualitative Unterschiede zwischen den Modellen beobachtet:

Diese Beobachtungen sind qualitativ und beruhen auf den Erfahrungen während der Tests. Sie sind nicht Teil einer systematischen Qualitätsstudie, aber für die Entscheidung über den Produktiveinsatz relevant.

Teil II: Hardwarevergleich für Audio2Face

Sobald das LLM die Audioantwort erzeugt hat, muss dieses Audio in Gesichtsanimationen umgewandelt werden: Lippenbewegung, Wangen, Augenbrauen – alles in Echtzeit. NVIDIA Audio2Face (A2F) ist das System, das diese Umwandlung durchführt und dabei „Blendshapes“ erzeugt – numerische Anweisungen, die genau festlegen, wie stark sich jeder Gesichtsmuskel des Avatars zu jedem Zeitpunkt bewegt.

Audio2Face ist nach dem LLM die rechenintensivste Komponente. Es kann auf zwei Arten betrieben werden:

Was ist ein Audio-Chunk?

NVIDIA Audio2Face verarbeitet nicht das gesamte Audio auf einmal, sondern erhält es in kleine Fragmente (Chunks) aufgeteilt, die kontinuierlich per gRPC gesendet werden. Jeder Chunk enthält einige hundert Millisekunden Audio, und sobald Audio2Face einen Chunk empfängt, beginnt es mit der Erzeugung der entsprechenden Gesichtsanimationen, ohne auf den Rest des Satzes zu warten.

Die Chunk-Größe ist ein Kompromiss zwischen Latenz und Effizienz: Kleinere Chunks lassen die Avatar-Animation früher beginnen, erhöhen aber die Anzahl der Anfragen und den Verarbeitungs-Overhead. Größere Chunks verringern diesen Overhead, erfordern jedoch eine längere Wartezeit, bevor die Animation beginnen kann.

Diagramm zur Erklärung eines Audio-Chunks: eine vollständige Audio-Wellenform für den Satz „Hallo, wie geht es Ihnen?“, aufgeteilt in 500-ms-Fragmente, die nacheinander gesendet werden

Methodik

ChunkRTX 4070RTX 4080 SuperRTX 5090A100 (Cloud)4070→5090A100→5090
300 ms596 ms249 ms225 ms237 ms2.65×1.05×
500 ms637 ms325 ms283 ms303 ms2.25×1.07×
750 ms1.162 ms421 ms386 ms400 ms3.01×1.04×
1.000 ms1.240 ms495 ms455 ms476 ms2.73×1.05×
1.500 ms1.882 ms676 ms613 ms662 ms3.07×1.08×

Diagramm der Chunk-Dauer im Verhältnis zur Audio2Face-Latenz: RTX 5090, RTX 4080 Super und A100 liegen dicht beieinander im unteren Bereich, während die RTX 4070 steil ansteigt

Die RTX 5090 erzielt bei allen Chunk-Größen die niedrigste Latenz. Der Unterschied zur RTX 4080 Super ist jedoch relativ gering (24–63 ms in den durchgeführten Tests), sodass der Einfluss auf die Gesamtlatenz des Systems begrenzt ist. Hinsichtlich der Latenz verhalten sich beide GPUs also sehr ähnlich.

Die auf Azure Container Apps bereitgestellte NVIDIA A100 liegt in ihrer Leistung ebenfalls sehr nah an der RTX 5090, mit einer geringen zusätzlichen Latenz, die auf die Netzwerkkommunikation zurückzuführen ist. Diese Art der Bereitstellung ist eine Alternative für Architekturen, in denen Audio2Face zentral ausgeführt wird. Diese Studie beschränkt sich jedoch auf die Latenzanalyse und bewertet keine Aspekte wie Betriebskosten oder Leistung unter paralleler Last.

Teil III: Kombinierte Latenzanalyse von LLM + A2F

Fasst man beide Studien zusammen, ergibt sich die Gesamtlatenz der Pipeline (ohne den Wiedergabepuffer, der in allen Konfigurationen konstant ist) aus der Summe der TTFT des LLM und der A2F-Latenz.

Die A2F-Latenz wird von dem Moment gemessen, in dem ein Audio-Chunk per gRPC gesendet wird, bis zum Empfang der zugehörigen Blendshapes für die Avatar-Animation. Bei lokalen Bereitstellungen ist dies reine Verarbeitungszeit, bei der A100 ist der Netzwerk-Roundtrip enthalten.

Die A2F-Werte beziehen sich auf einen 500-ms-Chunk, den praxisgerechten Wert für den Produktivbetrieb – er bietet einen guten Kompromiss zwischen einer kurzen Wartezeit bis zum Animationsbeginn und einem vertretbaren gRPC-Anfrage-Overhead.

LLMA2F-HardwareTTFT LLMA2F @500 msGesamtStd.-Abw.
Gemini 3.1 LiveRTX 50901.407 ms283 ms1.690 ms±120 ms
Gemini 3.1 LiveA100 (Cloud)1.407 ms303 ms1.710 ms±119 ms
Gemini 3.1 LiveRTX 4080 Super1.407 ms325 ms1.732 ms±120 ms
Gemini 3.1 LiveRTX 40701.407 ms637 ms2.044 ms±122 ms
GPT-RealtimeRTX 50901.731 ms283 ms2.014 ms±401 ms
GPT-Realtime-2RTX 50902.176 ms283 ms2.459 ms±128 ms

Horizontales Balkendiagramm der End-to-End-Latenz für LLM-GPU-Kombinationen: Die Kombinationen mit Gemini belegen die schnellsten Plätze

Die Wahl des LLM-Anbieters wirkt sich stärker aus als die Wahl der Hardware: Der Unterschied zwischen dem besten und dem schlechtesten Modell (Gemini vs. GPT-Realtime-2) beträgt ~770 ms, gegenüber ~354 ms zwischen der besten und der schlechtesten GPU (RTX 5090 vs. RTX 4070) bei 500-ms-Chunks. Konsistenz ist ebenso wichtig wie absolute Geschwindigkeit: Gemini + RTX 5090 erreicht eine kombinierte Standardabweichung von ±120 ms, gegenüber ±401 ms bei GPT-Realtime + RTX 5090 und ±872 ms bei GPT-Realtime-Mini.

Empfehlungen für den Produktivbetrieb

Nach der Bewertung der verschiedenen Kombinationen aus Conversational-AI-Modellen und Hardwarekonfigurationen in der in dieser Studie beschriebenen Architektur lässt sich eine Empfehlung für den Einsatz in einer Produktivumgebung ableiten. Die folgende Tabelle fasst die relevantesten Konfigurationen anhand der ermittelten Gesamtlatenz und der während der Tests beobachteten Konsistenz zusammen. Unter den getesteten Bedingungen erzielte die Kombination Gemini 3.1 Live + RTX 5090 die beste Gesamtleistung mit der niedrigsten Latenz und der höchsten Stabilität aller untersuchten Konfigurationen.

PrioritätLLMA2F-HardwareGesamtlatenzBegründung
🥇 OptimalGemini 3.1 LiveRTX 5090~1.690 msNiedrigste Latenz und höchste End-to-End-Konsistenz
🥈 Beste Cloud-OptionGemini 3.1 LiveA100 (Cloud)~1.710 msNur 20 ms mehr; gerechtfertigt für Mehrbenutzerszenarien
🥉 Ohne RTX 5090Gemini 3.1 LiveRTX 4080 Super~1.732 msHervorragendes Preis-Leistungs-Verhältnis
⚠️ Nicht empfohlenBeliebigRTX 4070>2.044 msBietet in keiner Chunk-Konfiguration eine akzeptable Animationslatenz
⚠️ Nicht empfohlenGPT-RT-MiniBeliebigUnvorhersehbar±873 ms Standardabw.; Spitzen von bis zu 4,4 s bei sehr komplexen Fragen

Fazit

Diese Studie untersucht, welche Kombination aus Conversational-AI-Modell und Audio2Face-Hardware das beste Erlebnis bei einem Echtzeit-Avatar bietet, gemessen vor allem an der Latenz und ihrer Konsistenz.

Unter den untersuchten Modellen eignet sich Gemini 3.1 Live am besten für den Produktivbetrieb: Es ist nicht nur im Durchschnitt am schnellsten, sondern auch am stabilsten und antwortet unabhängig von der Komplexität der Frage stets in einem sehr ähnlichen Bereich. Die GPT-Modelle sind bei einfachen Fragen konkurrenzfähig, ihre Latenz wächst jedoch mit der Schwierigkeit und erreicht im Fall von GPT-Realtime-Mini Spitzen von über 4 Sekunden, die die Natürlichkeit des Gesprächs vollständig zerstören.

Bei der Hardware für die Gesichtsanimation bieten unter den in dieser Studie verwendeten GPUs die RTX 5090 und die A100 in der Cloud eine sehr ähnliche Leistung. Die RTX 4080 Super ist eine solide Alternative mit einem für den Benutzer vernachlässigbaren Unterschied. Die RTX 4070 hingegen verursacht in jeder Konfiguration eine Latenz, die die Flüssigkeit beeinträchtigt, und wird daher für den Produktivbetrieb nicht empfohlen.

Die empfohlene Kombination für den Produktivbetrieb ist Gemini 3.1 Live mit RTX 5090 oder A100, mit einer kombinierten Latenz von etwa 1.700 ms und einer Schwankung von ±120 ms. Das gewährleistet ein stabiles und natürliches Gesprächserlebnis.

Einschränkungen der Studie

Die Ergebnisse und Empfehlungen dieser Studie sollten unter Berücksichtigung der folgenden Einschränkungen interpretiert werden:

Anhang: Verwendeter Fragenkatalog

StufeFrage
EinfachHallo, wie geht es Ihnen?
EinfachWie spät ist es ungefähr?
EinfachWas ist die Hauptstadt von Frankreich?
EinfachWie viele Tage hat eine Woche?
EinfachWelche Farbe entsteht, wenn man Blau und Gelb mischt?
MittelErklären Sie kurz, was künstliche Intelligenz ist.
MittelWas sind die wichtigsten Unterschiede zwischen einem Hund und einer Katze als Haustier?
MittelWarum erscheint der Himmel tagsüber blau?
MittelWelche Vorteile hat regelmäßige Bewegung?
MittelWas sind die Unterschiede zwischen einer SSD und einer herkömmlichen Festplatte?
KomplexIch lerne Programmieren. Mit welcher Sprache würden Sie mir den Einstieg empfehlen und warum?
KomplexIch habe ein Budget von 1.500 € für einen Computer für Arbeit und Gaming. Wie würden Sie es auf die verschiedenen Komponenten verteilen?
KomplexErklären Sie Schritt für Schritt und in einfachen Worten, wie ein neuronales Netz funktioniert.
KomplexWas sind die Vor- und Nachteile von Remote-Arbeit gegenüber Arbeit vor Ort?
KomplexWenn ich in einem Jahr Englisch von Grund auf lernen wollte, welchen wöchentlichen Lernplan würden Sie vorschlagen?
Sehr komplexEntwerfen Sie einen detaillierten Plan für eine 10-tägige Reise nach Japan mit einem Budget von 2.500 € und geben Sie an, welche Städte besucht werden sollten, welche Verkehrsmittel empfehlenswert sind und wie sich das Budget ungefähr aufteilt.
Sehr komplexStellen Sie sich vor, Sie sind Technologieverantwortlicher in einem Unternehmen mit 200 Mitarbeitern, das seine gesamte Infrastruktur in die Cloud migrieren möchte. Erklären Sie Schritt für Schritt, wie Sie die Migration planen würden, um Risiken und Ausfallzeiten zu minimieren.
Sehr komplexVergleichen Sie eingehend die Sprachen C++, C# und Rust für die Entwicklung von Grafik-Engines und analysieren Sie dabei Leistung, Speichersicherheit, Entwicklungsaufwand und Ökosystem. Schließen Sie mit einer begründeten Empfehlung.
Sehr komplexErklären Sie, wie ein Transformer-basiertes KI-Modell arbeitet – vom Empfang eines Satzes bis zur Erzeugung einer Antwort – und beschreiben Sie dabei Konzepte wie Tokenisierung, Embeddings, Attention-Mechanismus und Inferenz.
Sehr komplexIch möchte mein Auto in einer Waschanlage etwa 20 Meter von meinem Haus entfernt waschen. Sollte ich zu Fuß gehen oder fahren? Begründen Sie Ihre Antwort unter Berücksichtigung, dass das Ziel ist, das Auto zu waschen, und dass die Entfernung sehr kurz ist.

Anhang: Testumgebungen

ParameterWert
MessdatumJuli 2026
Audio2Face-Versionaudio2face-3d:2.0
Modellegemini-3.1-flash-live-preview, gpt-realtime, gpt-realtime-mini, gpt-realtime-2, gpt-realtime-1.5
RTX-4070-RechnerCPU: 13th Gen Intel(R) Core(TM) i7-13700H, RAM: 32 GB, Betriebssystem: Windows
RTX-4080-Super-RechnerCPU: AMD Ryzen 7 7800X3D, RAM: 32 GB, Betriebssystem: Windows
RTX-5090-RechnerCPU: Intel Core i7-14700, RAM: 32 GB, Betriebssystem: Windows
A100 (Cloud)Anbieter: Azure Container Apps, Region: Sweden Central
Autor
Joan Manuel Ramos Refusta
Plain Concepts Research