Technische Analyse der Echtzeit-Videodialoge von Doubao

Das ist eine sehr professionelle und präzise Frage. Dass Doubao (und ähnliche Modelle wie GPT-4o, Gemini Live) flüssige Echtzeit-Videogespräche führen können, ohne dass die Token-Anzahl explodiert oder die Latenz zu hoch wird, liegt hauptsächlich an mehreren entscheidenden Optimierungsstrategien im "multimodalen Large-Model-Tech-Stack".

Einfach gesagt, es verarbeitet nicht den rohen Videostream und es betrachtet auch nicht jedes einzelne Bild.

Hier ist eine Aufschlüsselung der zugrunde liegenden Kernprinzipien:

1. Es wird kein "Video" verarbeitet, sondern ein "Bildstrom" (Keyframe-Extraktion)

Deine Vermutung ist richtig: Das Extrahieren von Keyframes (Frame Sampling) ist der grundlegendste und wichtigste Schritt.

• Mechanismus: Ein Video ist im Wesentlichen eine Folge von Bildern (normalerweise 30 oder 60 Bilder pro Sekunde, d.h. fps). Die KI muss nicht 60 Bilder pro Sekunde sehen, um zu verstehen, was du tust.

• Abtastrate: Das Modell tastet normalerweise mit einer extrem niedrigen Frequenz ab. Zum Beispiel werden nur 1-2 Bilder pro Sekunde extrahiert oder es basiert auf "Bewegungsänderungen" (keine Extraktion bei statischer Szene, Extraktion bei starker Veränderung).

• Effekt: Dies reduziert die Datenmenge direkt um das 30- bis 60-fache. Für die KI ist es, als würde sie eine Diashow ansehen, nicht einen Film, aber das reicht aus, um die Szene zu verstehen.

2. Extreme Kompression visueller Token (Visual Encoding)

Selbst wenn nur 1 Bild pro Sekunde betrachtet wird, wäre ein 1080p-Bild, wenn es direkt in Token umgewandelt würde, enorm. Hier kommt ein visueller Encoder (Visual Encoder, wie eine Variante von ViT oder VQ-VAE) zum Einsatz.

• Patching: Das Modell verarbeitet nicht Pixel für Pixel, sondern schneidet das Bild in kleine Blöcke (z.B. 16x16 Pixel Patches).

• Feature-Kompression: Diese Patches werden nach der Encodierung in hochdimensionale Vektoren komprimiert. Ein mehrere Megabyte großes Bild wird letztendlich möglicherweise nur als 256 oder 512 Token dargestellt (oder sogar weniger, je nach Kompressionsrate).

• Fazit: Selbst wenn du 1 Minute lang mit der Kamera sprichst, könnte das für das Modell bedeuten, dass nur einige Zehntausend Token hinzugefügt werden, nicht Milliarden von Datenpunkten.

3. Sliding Window und Context Management

Um zu verhindern, dass die Token mit der Zeit unbegrenzt anwachsen (was zu einer "Explosion" führen würde), verwendet das System einen Sliding Window oder einen dynamischen Verwerfungsmechanismus.

• Kurzzeitgedächtnis: Das Modell konzentriert sich normalerweise nur auf die "aktuellsten" visuellen Informationen. Zum Beispiel behält es möglicherweise nur die visuellen Token der letzten 10-20 Bilder im Speicher.

• Alt-Daten verwerfen: Sobald du die Kamera von einem "Wasserglas" auf einen "Computer" richtest, sind die visuellen Token des Wasserglases nach einigen Gesprächsrunden nicht mehr wichtig und werden vom System aus dem Kontext entfernt oder in eine kurze Textzusammenfassung komprimiert.

4. End-to-End natives multimodales Modell (Native Multimodal / Omni)

Frühere Technologien waren wie eine "Staffel":

Sprache zu Text -> Screenshot -> Visuelles Modell erkennt Bild -> Textmodell generiert Antwort -> Text zu Sprache.

Diese Kette war zu langsam. Das heutige Doubao (insbesondere das Doubao-Vision-Modell) und GPT-4o tendieren zur Verwendung nattiver multimodaler Modelle oder hochoptimierter kaskadierter Architekturen:

• Natives Verständnis: Das Modell "hört" die Audio- und "sieht" die visuellen Token direkt. Es muss nicht den Zwischenschritt der Umwandlung in Text durchführen (oder die Umwandlung ist extrem schnell).

• Streaming (Streaming Output): So wie das menschliche Gehirn bereits eine Antwort konzipiert, während du noch sprichst, führt das Modell während des Empfangs des Videostreams eine Vorabberechnung (Prefill) durch, was eine extrem niedrige Latenz ermöglicht.

5. Zur Vermutung eines "kleinen Modells" (MoE & Quantization)

Du fragst, ob ein kleines Modell verwendet wird. Die Antwort ist höchstwahrscheinlich ein "Mixture of Experts (MoE)-Modell" oder ein für eine bestimmte Aufgabe destilliertes Modell.

• MoE (Mixture of Experts): Dies ist ein riesiges Modell, aber bei der Verarbeitung jedes Bildes wird nur ein kleiner Teil der Parameter (Experten) aktiviert. Wenn zum Beispiel eine "Katze" gesehen wird, werden nur die Parameter des "Tierexperten"-Teils aktiviert. Dies bewahrt sowohl die Intelligenz des "großen Modells" als auch die Inferenzgeschwindigkeit und Kosten eines "kleinen Modells".

• Edge-Cloud-Kollaboration: Obwohl die Hauptberechnung in der Cloud (ByteDances Volcano Engine) stattfindet, übernimmt das Telefon möglicherweise einige Vorverarbeitungsaufgaben (wie Bildzuschnitt, Komprimierung, Spracherkennung), um den Druck auf die Cloud zu verringern.

Zusammenfassende Tabelle: Wie spart Doubao?

Fazit

Der Grund, warum Doubao flüssig läuft, ist nicht, dass es "göttlich" ist, sondern dass es "kompromissbereit" ist. Es starrt nicht ständig auf jedes einzelne Pixel, sondern erreicht durch hochkomprimierte visuelle Codierung und spärliches Sampling ein Videoverständnis mit dem geringsten Rechenaufwand, innerhalb des von dir wahrgenommenen "Echtzeit"-Rahmens.

Was kann ich als Nächstes für dich tun?

Would you like me to explain more about Visual Encoders (like ViT) work to compress images, or how MoE (Mixture of Experts) allows large models to run fast?

Deine Beobachtung ist sehr scharfsinnig, und die Schlussfolgerung ist im Großen und Ganzen richtig.

In der aktuellen technischen Architektur ist die Fähigkeit zur Bildverarbeitung in Echtzeit-Videogesprächen tatsächlich schwächer in Bezug auf „Detailerfassung“ und „Tiefenanalyse“ als bei der Verarbeitung direkt gesendeter Standbilder.

Dies ist hauptsächlich ein technischer Kompromiss (Trade-off) „Genauigkeit für Geschwindigkeit und Flüssigkeit zu opfern“. Wir können die Unterschiede aus mehreren Dimensionen vergleichen:

1. Auflösung und Klarheit (Auflösungsunterschied)

• Beim Senden eines Bildes (Hochpräzisionsmodus): Wenn du ein Foto an Doubao oder GPT-4o hochlädst, verarbeitet das System es normalerweise mit einer höheren Auflösung (z. B. 1024x1024 oder eine komprimierte Version des Originals). Das Modell kann „näher heranzoomen“ und kleine Schrift auf Dokumenten, komplexe Diagrammdetails oder winzige Texturen auf Objektoberflächen erkennen.

• Bei Echtzeit-Video (Niedrigpräzisions-/Schnelldurchlaufmodus): Um mehrere Bilder pro Sekunde ohne Ruckeln zu verarbeiten, werden einzelne Bilder im Videostream normalerweise stark komprimiert und herunterskaliert (Resizing).

• Konsequenz: Das Modell sieht möglicherweise ein eher unscharfes Bild mit niedriger Auflösung (z. B. 336x336 oder 512x512).

• Typisches Szenario: Wenn du eine Medikamentenflasche im Video hin und her bewegst, erkennt das Modell möglicherweise nur „das ist eine weiße Flasche“, kann aber die kleine Schrift auf der Inhaltsstoffliste nicht lesen; wenn du jedoch ein hochauflösendes Foto sendest, kann es die Inhaltsstoffliste vorlesen.

2. Rechenleistungszuweisung und Denkzeit (System 1 vs. System 2)

In Anlehnung an das psychologische Konzept „Schnelles Denken, langsames Denken“:

• Bild senden = System 2 (Langsames Denken): Das Modell hat reichlich Zeit (einige Sekunden), um jeden Patch dieses Bildes tiefgehend zu analysieren. Es kann mehr Parameter aufrufen, um die logischen Beziehungen zwischen Objekten im Bild zu analysieren.

• Echtzeit-Video = System 1 (Schnelles Denken): Videogespräche erfordern Millisekunden-Reaktionszeiten. Das Modell muss in extrem kurzer Zeit Feedback geben, daher befindet es sich oft in einem Modus der „intuitiven Reaktion“. Es neigt dazu, große Konturen, Bewegungen, Farben und Szenen zu erkennen, hat aber nicht die „Gehirnleistung“, um Details zu ergründen.

3. Kontextueller Fokus (Aufmerksamkeitsmechanismus)

• Standbild: Die Aufmerksamkeit (Attention) des Modells ist vollständig auf dieses eine Bild konzentriert; es ist die einzige Informationsquelle.

• Videostream: Die Aufmerksamkeit des Modells wird auf die „Zeitachse“ verteilt. Es muss Rechenleistung aufwenden, um sich zu merken, „was du vor einer Sekunde getan hast“ und „was du in dieser Sekunde tust“. Um sich an eine zusammenhängende Bewegung zu erinnern, muss es die Detailgenauigkeit einzelner Bilder opfern.

4. Einzigartiger Vorteil des Videomodus: Zeitliche Informationen

Obwohl es bei „statischen Details“ schwächer ist, hat der Videomodus eine Fähigkeit, die Standbilder nicht haben: Veränderung und Kausalität verstehen.

• Beispiel: Wenn du ein Standbild sendest, auf dem deine Hand in der Luft ist, weiß das Modell nicht, ob du „schlagen“ oder „abklatschen“ willst.

• Video: Das Modell kann die Bewegungsbahn deiner Hand sehen und so die Absicht genau erkennen.

---

Ein anschaulicher Vergleich

• Direktes Senden eines Bildes: Es ist, als würdest du in einem Museum mit einer Lupe ein Gemälde genau betrachten. Du kannst die Pinselstriche des Malers und die Textur der Leinwand sehen.

• Echtzeit-Videogespräch: Es ist, als würdest du mit dem Fahrrad an diesem Gemälde vorbeifahren. Du kannst immer noch erkennen, dass es ein Gemälde ist, ob es eine Landschaft oder ein Porträt ist, ob die Farben leuchtend sind, aber du kannst absolut nicht sehen, wie viele Knöpfe die Person im Bild trägt.

Zusammenfassung und Nutzungsempfehlungen

Wenn du also Doubao oder eine ähnliche KI verwendest:

1. Wenn du Details analysieren möchtest (z. B. Bedienungsanleitung lesen, komplexe Fehlercodes ansehen, Hautprobleme untersuchen, komplexe Excel-Screenshots analysieren): Mache ein Foto oder lade ein Bild hoch.

2. Wenn du interagieren oder die Umgebung zeigen möchtest (z. B. Englisch sprechen üben, die Raumaufteilung zeigen, die KI anschauen lassen, was die Katze macht, einen Bedienschritt demonstrieren): Verwende das Echtzeit-Videogespräch.

Das ist eine sehr wichtige Architekturfrage. Die Antwort ist: In der Vergangenheit waren sie „völlig unterschiedliche“ Modelle, aber der Trend geht jetzt dahin, dass sie zu „einem einzigen Gehirn“ werden, den sogenannten „nativ multimodalen Modellen“ (Native Multimodal Models).

Um dir diese Entwicklung zu verdeutlichen, können wir die Entwicklung der KI-Architektur in drei Phasen einteilen. Produkte wie Doubao und GPT-4o befinden sich derzeit im Übergang von Phase zwei zu Phase drei.

---

Phase 1: Die Ära des Zusammenstückelns (Pipeline / Cascade)

„Viele Köche verderben den Brei“

In frühen KI-Systemen waren Videomodell und Dialogmodell tatsächlich völlig unabhängig; sie kannten sich nicht einmal.

1. Augen (Visuelles Modell): Dies war ein spezielles CNN (Convolutional Neural Network) oder ein frühes ViT. Es war nur für das Betrachten von Bildern zuständig und übersetzte das Gesehene in Textlabels. Zum Beispiel sah es ein Video und gab aus: „Eine Katze, auf dem Sofa, springt“.

2. Gehirn (Dialogmodell): Dies war ein reines Text-LLM (wie GPT-3). Es übernahm den obigen Text und generierte eine Antwort: „Wow, sie ist sehr lebhaft.“

3. Mund (Sprachmodell): Es wandelte den Text in Sprache um.

• Nachteile: Viele nicht-textliche Informationen gingen verloren. Zum Beispiel, wenn der Blick der Katze sehr durchdringend war oder es eine bestimmte Atmosphäre im Hintergrund gab, und das visuelle Modell dies nicht in Text umwandelte, würde das Dialogmodell es nie erfahren. Es ist, als würdest du mit verbundenen Augen chatten, nur darauf angewiesen, dass dir jemand die Szene beschreibt.

---

Phase 2: Die Ära der Angleichung (Alignment / Projection) – Derzeit vorherrschend

„Dem Gehirn einen Sehnerv einpflanzen“

Dies ist die Architektur, die von den meisten derzeitigen multimodalen Modellen (einschließlich früherer wie LLaVA, MiniGPT-4 usw.) verwendet wird.

• Kernlogik: Es gibt immer noch ein zentrales „Sprachgehirn“ (LLM), aber die Ingenieure haben einen „Übersetzer“ (Projector/Adapter) trainiert.

• Funktionsweise:

1. Video/Bild wird nicht mehr in Text umgewandelt.

2. Stattdessen wird es durch einen Visuellen Encoder (Visual Encoder) in eine Reihe von Zahlenvektoren (Visual Tokens) umgewandelt.

3. Schlüsselschritt: Diese visuellen Vektoren werden in „Sprachvektoren“ übersetzt, die das Sprachgehirn verstehen kann.

4. Gehirnverarbeitung: Aus Sicht des LLM sieht das Videobild wie ein fremdsprachiger Text aus. Es mischt die Video-Token und die Text-Token und führt eine Inferenz durch.

• Fazit: In dieser Phase teilen sich der visuelle Teil und der Dialogteil dasselbe „Inferenzgehirn“, aber die visuellen „Augen“ sind extern angebunden.

---

Phase 3: Nativ vollständig multimodal (Native Omni) – Die Richtung von Doubao/GPT-4o

„Geborene Synästhetiker“

Dies ist die ultimative Form, die du mit „Echtzeit-Videogesprächen“ erreichen kannst.

• Kernlogik: Das Modell wird von Anfang an mit Videos, Audio und Text zusammen trainiert.

• Ist es dasselbe Modell? Ja, es ist ein einziges neuronales Netzwerk.

• Prinzip: In diesem Modell kann die Eingabe alles sein (Audiowellenform, Bildpixel, Textzeichen). Sie werden nach dem Eintritt in das Modell in eine einheitliche Darstellung umgewandelt. Das Modell muss nicht zuerst Ton in Buchstaben umwandeln; es kann direkt die Wut im Tonfall „hören“; es muss nicht zuerst das Bild in Buchstaben umwandeln; es kann direkt die Bedrücktheit der Szene „sehen“.

---

Zusammenfassung: Sind sie nun dasselbe oder nicht?

Um auf deine Frage zurückzukommen, können wir das „menschliche Gehirn“ als Metapher verwenden:

1. Visueller Encoder (Visual Encoder) = Netzhaut und Sehnerv des Menschen Dieser Teil ist speziell für die Bildverarbeitung zuständig, anders als der Teil, der Sprache verarbeitet. Er wandelt Lichtsignale (Pixel) in Nervensignale (Token) um.

2. Large Language Model Basis (LLM Backbone) = Großhirnrinde des Menschen Dieser Teil ist universell. Egal, ob es sich um Signale vom Sehnerv (Video ansehen) oder vom Hörnerv (Dialog) handelt, letztendlich werden sie in derselben Region gedacht, geschlussfolgert und entschieden.

Die Antwort lautet also: Sie sind auf der „Wahrnehmungsebene“ (Augen und Ohren) unterschiedliche Module, aber auf der „Denkebene“ (Gehirn) arbeitet ein und dasselbe Modell.

Das ist eine sehr gute Intuition! Du berührst den Kernzauber multimodaler Large Models – die „Repräsentationsangleichung“ (Representation Alignment).

Die Antwort ist: Ja, obwohl die „Eingänge“ für Bilder und Texte völlig unterschiedlich verarbeitet werden, werden sie im Inneren des Modells mathematisch zur gleichen Sache, sodass sie im selben Trainingsprozess „voneinander lernen können“.

Das ist vergleichbar mit: Obwohl die Schriftzeichen von Chinesisch und Englisch völlig unterschiedlich sind (hier Zeichen, dort Buchstaben), ist das Konzept, das in deinem Gehirn auftaucht, wenn du „苹果“ und „Apple“ siehst (diese rote Frucht), dasselbe.

Hier ist eine detaillierte Aufschlüsselung, wie dieser Prozess abläuft:

---

1. Unterschiedliche Eingänge: Der Übersetzungsprozess führt auf verschiedenen Wegen zum gleichen Ziel

Wie du sagst, ist ihre anfängliche Verarbeitung tatsächlich grundverschieden:

• Text (Text): Verwendet einen Tokenizer.

• Prozess: "一只猫" -> Wörterbuchsuche -> [ID: 105, ID: 2003] -> Vektor A.

• Bild (Image): Verwendet einen Visual Encoder.

• Prozess: 图片像素 -> In Patches schneiden -> Faltung/Transformer-Operation -> Vektor B.

Der entscheidende Punkt kommt: Obwohl die Quellen unterschiedlich sind, werden beide letztendlich zu „hochdimensionalen Vektoren“ (Embedding Vectors), also einer langen Zahlenreihe (z. B. [0.1, -0.5, 0.9, ...]).

Sobald sie zu Vektoren geworden sind, ist es für das nachgelagerte Transformer-Gehirn völlig egal, ob dieser Vektor ursprünglich ein Pixel oder ein Text war. Es führt nur Berechnungen durch.

2. Trainingsprozess: Die Magie der Lückentextaufgabe (Unified Training)

Wie können in einem einzigen Training gleichzeitig zwei Fähigkeiten erworben werden? Das Geheimnis liegt darin, dass die Trainingsdaten „Text und Bild gemischt“ sind und die Trainingsaufgabe einheitlich das „Vorhersagen des nächsten Tokens“ ist.

Stell dir vor, das Modell liest ein illustriertes Comicbuch oder durchsucht eine Webseite:

• Eingabesequenz: [图片Token_1] [图片Token_2] ... [图片Token_256] + [文字Token: 这] + [文字Token: 是] + [文字Token: 什] + [文字Token: 么]

• Trainingsziel: Das Modell muss das nächste Zeichen [猫] vorhersagen.

Um diese Aufgabe richtig zu lösen, wird das Modell gezwungen, etwas zu tun:

„Ich muss in den vorherigen [图片Token] nach Hinweisen suchen! Wenn ich verstehe, dass diese Bildvektoren die Merkmale einer ‚Katze‘ darstellen, kann ich das Zeichen ‚Katze‘ vorhersagen; wenn ich es nicht verstehe, kann ich es nicht richtig erraten, und der Fehler (Loss) wird groß sein.“

Durch Billionen solcher Trainingsschritte (Gradientenabstieg) lernt das Modell, Verbindungen herzustellen:

• Merkmalsvektor der „Katze“ im Bild ≈ Semantischer Vektor der „Katze“ im Text.

3. Derselbe Raum: Die vierte Dimension durchbrechen (Joint Embedding Space)

Nach diesem Training bildet sich im Gehirn des Modells ein „einheitlicher semantischer Raum“.

• In diesem Raum liegen der Bildvektor, der ein „rundes Objekt“ repräsentiert, und der Textvektor, der das Wort „Ball“ repräsentiert, geometrisch sehr nahe beieinander.

• Das erklärt, warum „Videogespräche“ möglich sind: Wenn du ein Videobild eingibst, liest das Modell tatsächlich einen Haufen Vektoren, die in seinem Gehirn automatisch die entsprechenden Textkonzepte aktivieren.

Zusammenfassung

Obwohl die „vorgelagerten Prozesse“ (Schneiden, Kodieren) für die Verarbeitung von Bild-Token völlig anders sind als für Text, werden sie in denselben „mathematischen Raum“ abgebildet.

Ein Vergleich:

• Text ist der US-Dollar.

• Bild ist der Japanische Yen.

• Modell ist eine internationale Bank. Obwohl der US-Dollar und der Japanische Yen völlig unterschiedlich aussehen (unterschiedliche Eingangsverarbeitung), rechnet die Bank beide in Gold (Vektoren) um. Im Tresor der Bank (im Inneren des Modells) gibt es nur Gold, keine Unterscheidung zwischen Dollar und Yen.

Durch ein groß angelegtes, gemischtes Training lernt das Modell also nicht nur, wie man Dollar verdient (Schreiben), und wie man Yen verdient (Bilder erkennen), sondern auch den Wechselkurs (Text-Bild-Verständnis).

Das ist eine sehr scharfsinnige und tiefgründige technische Perspektive! Du hast den subtilsten Widerspruch in „Multimodalen Large Models“ (LMM) erfasst:

Da die Eingabedatenmerkmale von Einzelbildverarbeitung („hohe Auflösung, Betonung räumlicher Details“) und Videobildverarbeitung („niedrige Auflösung, Betonung zeitlicher Abläufe“) so unterschiedlich sind, wie kann dasselbe Modell dann universell einsetzbar sein?

Die Antwort liegt in einer Kerneigenschaft der modernen Vision Transformer (ViT)-Architektur: Auflösungsunabhängigkeit (Resolution Agnostic) und der „Unempfindlichkeit“ des LLM gegenüber Token-Sequenzen.

Wir können dieses Prinzip in drei Ebenen aufschlüsseln:

---

1. Visuelle Ebene: Die „Gummiband“-Eigenschaft von ViT (Patching & Interpolation)

Dies ist der entscheidende technische Punkt. Du denkst vielleicht, dass das Modell wie ein traditionelles vollständig verbundenes Netzwerk eine feste Eingabegröße haben muss (z. B. 224×224). Aber das aktuelle ViT ist nicht so.

• Patch-Logik: Wenn ViT ein Bild verarbeitet, schneidet es es in kleine Quadrate von 14×14 oder 16×16 Pixeln (Patches).

• Egal ob großes oder kleines Bild:

• Verarbeitung eines hochauflösenden Einzelbildes (1024px): Schneidet 64×64=4096 Patches.

• Verarbeitung eines niedrig aufgelösten Videobildes (336px): Schneidet 24×24=576 Patches.

• Positional Embedding Interpolation: Das Modell hat während des Trainings normalerweise eine Standardauflösung. Wenn die Eingabe größer oder kleiner wird, interpoliert (dehnt oder staucht) das Modell automatisch die „Positionskodierung“.

• Vergleich: Es ist wie mit deinen Augen. Wenn du ein Buch aus der Nähe betrachtest (hochauflösendes Bild), ist dein Sichtfeld klein, aber die Details sind groß; wenn du zurücktrittst und die ganze Wand betrachtest (Videobild), ist dein Sichtfeld groß, aber die Details sind gering. Deine Netzhaut wurde nicht gegen eine neue ausgetauscht; nur die Fokussierungsmethode hat sich geändert. Das Modell verwendet denselben Parametersatz (Gewichte), nur die Anzahl der verarbeiteten Patches ist unterschiedlich.

2. Sprachebene: Das Gesetz der Erhaltung der Gesamtmenge (Space-Time Trade-off)

Für das nachgelagerte Large Language Model (LLM) ist es völlig irrelevant, ob der vorgelagerte visuelle Encoder ein hochauflösendes Bild oder 8 niedrig aufgelöste Bilder gesehen hat. Es sieht nur einen Haufen Token.

Hier gibt es eine clevere „Raum gegen Zeit“-Rechenleistungsbalance:

• Szenario A: Ein Bild genau lesen

• Eingabe: 1 Bild 1024×1024.

• Token-Zusammensetzung: Vollständig den räumlichen Details zugeordnet.

• LLM sieht: [细节1] [细节2] ... [细节1000] (insgesamt 1000 Token).

• Fähigkeit: Kann Text und winzige Objekte erkennen.

• Szenario B: Ein Video ansehen

• Eingabe: 8 Bilder 336×336 (1 Bild pro Sekunde).

• Token-Zusammensetzung: Räumliche Details reduziert, aber zeitliche Dimension hinzugefügt.

• LLM sieht: [第1秒大概轮廓] ... [第2秒大概轮廓] ... [第8秒大概轮廓] (insgesamt 1000 Token).

• Fähigkeit: Kann Text nicht erkennen, aber Bewegungsabläufe erkennen.

Fazit: Für das LLM ist die Rechenlast (Gesamtzahl der Token) in beiden Fällen möglicherweise gleich. Das Modell hat nicht für das Video „das Gehirn gewechselt“, sondern der Informationsschwerpunkt der eingegebenen Token-Sequenz ist unterschiedlich (einmal tiefe räumliche Informationen, einmal breite zeitliche Informationen).

3. Semantische Ebene: Robustheit der Merkmale (Feature Invariance)

Warum führt dies zu einer „allgemeinen Fähigkeit“? Weil die Kernmerkmale komprimierungsresistent sind.

• Katze bleibt Katze: Eine Katze, egal ob in einem 4K-Foto oder in einem 360P-Video, ihre Kernmerkmale (spitze Ohren, Schnurrhaare, flauschig) sind in der hochdimensionalen Vektordarstellung nach der Faltung oder Patch-Verarbeitung sehr ähnlich.

• Angleichungstraining: Das Modell verwendet während der Vortrainingsphase (Pre-training) riesige Datenmengen:

1. Hochauflösende Bild-Text-Paare (lernt Details).

2. Niedrig aufgelöste Video-Text-Paare (lernt Bewegungen). Dies lehrt das Modell, visuelle Merkmale bei verschiedenen Auflösungen auf dasselbe Konzept abzubilden.

Zusammenfassung

Das Modell „spaltet“ sich nicht in zwei, sondern es ist elastisch:

1. Hardwaremäßig: Der Vision Encoder fungiert wie ein Akkordeon und gibt je nach Auflösung eine unterschiedliche Anzahl von Token aus.

2. Softwaremäßig: Das LLM empfängt eine „lange Sequenz“; es ist ihm egal, ob diese Sequenz „die Scheiben eines großen Bildes“ oder „die Aneinanderreihung mehrerer kleiner Bilder“ ist.

Wenn du also ein Videogespräch führst, wird Doubao nicht „dümmer“; es verteilt lediglich die Gehirnzellen, die ursprünglich dazu da waren, „Poren zu erkennen“, darauf, „deine Bewegungen zu erkennen“.

Das ist eine sehr knifflige Frage zu den Architekturdetails. Der derzeitige Mainstream-Ansatz in der Industrie (einschließlich GPT-4o, Gemini 1.5 Pro und Doubao) liegt normalerweise zwischen den beiden von dir genannten Möglichkeiten, tendiert aber eher zu „zuerst jedes Bild einzeln extrahieren, dann zeitlich komprimieren/fusionieren“.

Nur wenige Modelle fassen mehrere Bilder zu einem einzigen Token zusammen (zu wenig Information), und sie behalten auch nicht dummerweise alle Token jedes Bildes (Informationsexplosion).

Derzeit gibt es hauptsächlich zwei gängige Verarbeitungsansätze, und es ist sehr wahrscheinlich, dass Echtzeitmodelle wie Doubao eine Variante von Ansatz zwei verwenden:

---

Ansatz 1: Das Zuckerstangen-Modell (Frame Stacking / Concatenation)

„Bild für Bild, Zeit durch Position merken“

Dies ist der intuitivste Ansatz und wurde häufig von frühen multimodalen Modellen (wie Video-LLaVA) verwendet.

1. Unabhängige Kodierung: Der visuelle Encoder unterteilt das Video in Frame 1, Frame 2, Frame 3... und wandelt dann jedes Bild unabhängig in eine Gruppe von Token um (z. B. 256 Token pro Bild).

2. Direkte Verkettung: Diese Gruppen von Token werden wie Zuckerstangen aneinandergereiht.

3. Positionskodierung (Positional Embedding): Sie werden markiert, um dem LLM mitzuteilen: „Das ist das Bild von Sekunde 1, das ist das Bild von Sekunde 2“.

• Vom LLM gesehene Sequenz: [Frame1_Tokens] + [Frame2_Tokens] + [Frame3_Tokens] ...

• Nachteil: Extrem hoher Token-Verbrauch. Wenn 2 Bilder pro Sekunde gesampelt werden, jedes Bild 256 Token, dann sind das für eine Minute Video 2×60×256=30.720 Token. Das ist für Echtzeitgespräche zu teuer und zu langsam.

---

Ansatz 2: Das Raum-Zeit-Kompressionsmodell (Spatiotemporal Pooling / Aggregation)

„Viele Bilder rein, wenige Bilder raus“ – Die erste Wahl für Echtzeitmodelle

Um die Token-Explosion zu lösen, führen moderne Modelle einen „zeitlichen Aggregator“ (Temporal Projector/Adapter) ein. Das ist das, was du mit „Zusammenfassen zu einem Token mit zeitlicher Dimension“ vermutet hast.

1. Merkmale extrahieren: Der visuelle Encoder betrachtet weiterhin zuerst Frame 1, Frame 2, Frame 3, Frame 4.

2. Fusion und Kompression (Pooling): Es gibt eine Schicht im Modell, die speziell für „Deduplizierung“ und „Extraktion von Veränderungen“ zuständig ist.

• Wenn Frame 1 und Frame 2 fast identisch sind (z. B. du sitzt still), mittelt oder gewichtet das Modell die Token dieser beiden Bilder mathematisch.

• Es könnte die Rohdaten von 4 Bildern (angenommen insgesamt 1000 Token) auf eine Gruppe von Token komprimieren, die diesen Zeitraum repräsentieren (z. B. auf 64 Token komprimieren).

3. Eingabe ins Gehirn: Das LLM empfängt nicht mehr die statischen Bilder einzelner Frames, sondern eine Gruppe konzentrierter Informationspakete, die darstellen, „was in diesen 2 Sekunden passiert ist“.

• Vom LLM gesehene Sequenz: [Time_0-2s_Summary_Tokens] + [Time_2-4s_Summary_Tokens] ...

---

Es gibt noch eine radikalere Technik: Tubelet Embedding (3D-Patches)

In der akademischen Welt und bei einigen speziellen Modellen (wie Sora-ähnlichen Videogenerierungsmodellen oder bestimmten effizienten Verständnismodellen) gibt es einen noch radikaleren Ansatz für „Token mit zeitlicher Dimension“, genannt Tubelet (Röhren-Patches).

• Prinzip:

• Normale Bild-Patches (Patch): Schneiden ein 2D-Quadrat (x, y).

• Video-Patches (Tubelet): Schneiden einen 3D-Quader (x, y, t).

• Beispiel: Ein vom Modell abgeschnittener Token repräsentiert nicht mehr „das Pixel in der oberen linken Ecke in dieser Sekunde“, sondern „die Veränderung dieses Bereichs in der oberen linken Ecke über die nächsten 3 Frames hinweg“.

• Ergebnis: Ein solcher Token enthält von Natur aus Informationen über den zeitlichen Ablauf.

---

Zusammenfassung: Wie macht es Doubao wahrscheinlich?

Angesichts der extrem niedrigen Latenzanforderungen von Echtzeitgesprächen verwendet Doubao höchstwahrscheinlich eine Mischstrategie aus „Schlüsselbild-Sampling + lokales zeitliches Pooling (Local Temporal Pooling)“:

1. Es sieht nicht jedes Bild: Es überspringt Bilder (z. B. sieht es nur die Bilder 1, 5, 10).

2. Token sind unabhängig, aber verbunden: Jedes Bild generiert unabhängige Token.

3. Das LLM ergänzt die Zeit: Es verlässt sich darauf, dass das leistungsstarke LLM (Gehirn) die Zeit durch die Reihenfolge der Token (Sequence Order) versteht, anstatt die Zeit gewaltsam in einen einzelnen Token zu packen.

Vereinfacht gesagt: Es komprimiert nicht die Aktion „du winkst“ zu einem einzigen „Winken-Token“; sondern es sendet eine Reihe von Token an das Gehirn: [手在下] -> [手在中] -> [手在上]. Das Gehirn liest diese Sequenz und kommt selbst zu dem Schluss: „Oh, er winkt.“