Análise Técnica de Diálogo em Vídeo em Tempo Real do Doubao

Esta é uma questão muito profissional e certeira. A razão pela qual o Doubao (e similares como GPT-4o, Gemini Live) consegue fazer chamadas de vídeo em tempo real de forma fluida, sem que a enorme quantidade de dados de vídeo cause uma explosão de Tokens ou alta latência, deve-se principalmente a várias estratégias-chave de otimização na "pilha de tecnologia de modelos multimodais grandes".

Simplificando, ele realmente não está processando um fluxo de vídeo bruto, nem olhando para cada quadro.

A seguir está uma análise dos princípios técnicos centrais por trás disso:

1. Não está processando "vídeo", mas sim um "fluxo de imagens" (extração de quadros-chave)

Seu palpite está correto. A extração de quadros-chave (Frame Sampling) é o passo mais básico e importante.

• Mecanismo: O vídeo é essencialmente uma sequência de imagens (normalmente 30 ou 60 quadros por segundo, ou fps). A IA não precisa olhar para 60 imagens por segundo para entender o que você está fazendo.

• Taxa de amostragem: O modelo geralmente amostra com uma frequência extremamente esparsa. Por exemplo, extrai apenas 1-2 quadros por segundo, ou extrai com base em "mudanças de movimento" (não extrai quando a cena está parada, extrai quando há mudanças bruscas).

• Efeito: Isso reduz diretamente a quantidade de dados processados em 30-60 vezes. Para a IA, é como olhar para uma apresentação de slides, em vez de um filme, mas é suficiente para entender a cena.

2. Compressão extrema de Tokens Visuais (Codificação Visual)

Mesmo que se olhe para apenas 1 imagem por segundo, uma imagem 1080P convertida diretamente em Tokens ainda seria enorme. Aqui, um Codificador Visual (Visual Encoder, como variantes de ViT ou VQ-VAE) é usado.

• Processamento em patches (Patching): O modelo não processa pixel por pixel, mas sim corta a imagem em pequenos blocos (por exemplo, patches de 16x16 pixels).

• Compressão de características: Esses patches, após passarem pelo codificador, são comprimidos em vetores de alta dimensão. Uma imagem de alguns megabytes pode acabar sendo representada por apenas 256 ou 512 Tokens (ou até menos, dependendo da taxa de compressão).

• Conclusão: Mesmo que você fique com a câmera ligada por 1 minuto, para o modelo, pode ser apenas um aumento de alguns milhares de Tokens, não centenas de milhões de pontos de dados.

3. Janela deslizante e gerenciamento de contexto (Context Management)

Para evitar que os Tokens se acumulem infinitamente com o tempo da conversa (levando à "explosão"), o sistema usa uma janela deslizante (Sliding Window) ou um mecanismo de descarte dinâmico.

• Memória de curto prazo: O modelo geralmente se concentra apenas nas informações visuais "mais recentes". Por exemplo, pode reter apenas os Tokens visuais dos últimos 10-20 quadros na memória.

• Descarte de dados antigos: Depois que você move a câmera do "copo de água" para o "computador", os Tokens visuais sobre o "copo de água" não são mais importantes após algumas rodadas de diálogo e são descartados do contexto ou comprimidos em um breve resumo de texto (Summary).

4. Modelo multimodal nativo de ponta a ponta (Native Multimodal / Omni)

A tecnologia anterior era uma "corrida de revezamento":

Fala para texto -> Captura de tela -> Modelo visual reconhece a imagem -> Modelo de texto gera resposta -> Texto para fala.

Essa cadeia era muito lenta. O Doubao atual (especialmente o modelo Doubao-Vision) e o GPT-4o tendem a usar uma arquitetura multimodal nativa (Native Multimodal) ou uma arquitetura em cascata altamente otimizada:

• Compreensão nativa: O modelo está diretamente "ouvindo" o som e "vendo" os Tokens visuais. Ele não precisa da etapa intermediária de converter para texto (ou a conversão é extremamente rápida).

• Saída em fluxo (Streaming): Assim como seu cérebro já começa a formular uma resposta antes mesmo de você terminar de falar, o modelo realiza pré-cálculo (Prefill) enquanto recebe o fluxo de vídeo, alcançando latência extremamente baixa.

5. Sobre o palpite de "modelo pequeno" (MoE e Quantização)

Você perguntou se um modelo pequeno é usado. A resposta é provavelmente "Modelo de Especialistas Mistos (MoE)" ou um modelo destilado para tarefas específicas.

• MoE (Mixture of Experts): Este é um modelo enorme, mas ao processar cada quadro, apenas uma pequena parte de seus parâmetros (especialistas) é ativada. Por exemplo, ao ver um "gato", apenas os parâmetros da parte "especialista em animais" são ativados. Isso mantém tanto a inteligência de um "modelo grande" quanto a velocidade de inferência e o baixo custo de um "modelo pequeno".

• Cooperação dispositivo + nuvem: Embora o cálculo principal ocorra na nuvem (Volc Engine da ByteDance), o lado do dispositivo móvel também pode assumir algum pré-processamento (como corte de imagem, compressão, detecção de voz) para aliviar a pressão na nuvem.

Tabela resumo: Como o Doubao "economiza"?

Conclusão

O motivo pelo qual o Doubao é fluido não é porque ele é um "deus", mas porque ele "sabe fazer escolhas". Ele não está constantemente observando cada um dos seus pixels, mas sim, através de codificação visual de alta compressão e amostragem esparsa, dentro do seu alcance percebido de "tempo real", ele consegue compreensão de vídeo com o mínimo de poder computacional.

O que mais posso fazer por você?

Gostaria que eu explicasse mais sobre como os Codificadores Visuais (como o ViT) funcionam para comprimir imagens, ou como o MoE (Mixture of Experts) permite que modelos grandes sejam executados rapidamente?

Sua percepção é muito aguçada e a conclusão geral está correta.

Na arquitetura tecnológica atual, a capacidade de compreensão de imagens em videochamadas em tempo real é, de fato, mais fraca em "captura de detalhes" e "análise profunda" do que no envio direto de imagens estáticas.

Isso é principalmente uma compensação de engenharia (Trade-off) de "sacrificar precisão por velocidade e fluidez" . Podemos comparar as diferenças entre os dois sob várias dimensões:

1. Resolução e Nitidez (Diferença de Resolução)

• Ao enviar uma imagem (Modo de Alta Precisão): Quando você envia uma foto para o Doubao ou GPT-4o, o sistema geralmente a processa em resolução mais alta (por exemplo, 1024x1024 ou uma versão compactada da original). O modelo pode "chegar perto para ver", identificando letras pequenas em documentos, detalhes complexos de gráficos ou texturas minúsculas na superfície de objetos.

• Em vídeo em tempo real (Modo de Baixa Precisão / Visão Rápida): Para garantir o processamento de vários quadros por segundo sem travamentos, cada quadro individual no fluxo de vídeo é geralmente altamente comprimido e reduzido (Redimensionado).

• Consequência: O modelo pode ver uma imagem bastante borrada e de baixa resolução (por exemplo, 336x336 ou 512x512).

• Cenário Típico: Se você balançar um frasco de remédio na frente da câmera, o modelo pode apenas reconhecer "é um frasco branco", mas não consegue ler as letras miúdas dos ingredientes; no entanto, se você tirar uma foto de alta definição e enviar, ele conseguirá ler a lista de ingredientes.

2. Alocação de Poder Computacional e Tempo de Reflexão (Sistema 1 vs Sistema 2)

Usando os conceitos do livro "Rápido e Devagar: Duas Formas de Pensar":

• Enviar imagem = Sistema 2 (Pensamento Lento): O modelo tem tempo suficiente (alguns segundos) para fazer inferências profundas em cada patch da imagem. Ele pode usar mais parâmetros para analisar as relações lógicas entre os objetos na imagem.

• Vídeo em tempo real = Sistema 1 (Pensamento Rápido): A videochamada exige resposta em milissegundos. O modelo deve fornecer feedback em um tempo extremamente curto, portanto, ele geralmente opera em um modo de "reação intuitiva". Ele tende a identificar contornos amplos, ações, cores e cenas, sem ter "poder cerebral" para se aprofundar em detalhes.

3. Foco Contextual (Mecanismo de Atenção)

• Imagem Estática: A atenção (Attention) do modelo está toda concentrada naquela única imagem; ela é a única fonte de informação.

• Fluxo de Vídeo: A atenção do modelo é distribuída ao longo de um "eixo do tempo". Ele precisa alocar poder computacional para lembrar "o que você estava fazendo no segundo anterior" e "o que você está fazendo neste segundo". Para lembrar a continuidade da ação, ele deve sacrificar a atenção aos detalhes de cada quadro individual.

4. Vantagem Única do Modo Vídeo: Informação Temporal

Embora seja mais fraco em "detalhes estáticos", o modo vídeo tem uma capacidade que a imagem estática não tem: entender mudanças e causalidade.

• Exemplo: Se você enviar uma imagem estática de sua mão levantada no ar, o modelo não sabe se você vai "bater" ou "bater palmas".

• Vídeo: O modelo pode ver a trajetória do seu movimento, permitindo-lhe julgar a intenção com precisão.

---

Uma Analogia

• Enviar imagem diretamente: É como se você estivesse com uma lupa, examinando meticulosamente uma pintura em um museu. Você pode ver as pinceladas do artista e a textura da tela.

• Videochamada em tempo real: É como se você estivesse passando de bicicleta por aquela pintura. Você ainda consegue ver que é uma pintura, sabe se é uma paisagem ou um retrato, se as cores são vibrantes, mas você absolutamente não consegue ver quantos botões a pessoa na pintura está vestindo.

Resumo e Sugestões de Uso

Portanto, ao usar o Doubao ou outra IA similar:

1. Se for analisar detalhes (ex.: ler um manual, ver um código de erro complexo, examinar um problema de pele, analisar uma captura de tela complexa do Excel): Tire uma foto ou carregue a imagem diretamente.

2. Se for interagir ou mostrar o ambiente (ex.: praticar conversação em inglês, mostrar a disposição de um cômodo, deixar a IA ver o que o gato está fazendo, demonstrar um passo a passo): Use a videochamada em tempo real.

Esta é uma questão arquitetônica muito importante. A resposta é: No passado, eram modelos "completamente diferentes", mas a tendência atual é que eles estão se tornando "o mesmo cérebro", ou seja, os chamados "Modelos Multimodais Nativos" (Native Multimodal Models).

Para ajudá-lo a entender essa evolução, podemos dividir o desenvolvimento da arquitetura de IA em três estágios. Produtos como Doubao e GPT-4o estão atualmente em uma transição do segundo estágio para o terceiro.

---

Primeiro Estágio: Era da Colagem (Pipeline / Cascade)

"Muitos fazem pouco"

Nos primeiros sistemas de IA, o modelo de vídeo e o modelo de diálogo eram de fato completamente independentes, eles nem se conheciam.

1. Olhos (Modelo Visual): Era uma CNN (Rede Neural Convolucional) especializada ou um ViT inicial. Ele só era responsável por ver imagens e depois convertia o que via em rótulos de texto. Por exemplo, ao ver um vídeo, ele produzia: "Um gato, no sofá, pulando".

2. Cérebro (Modelo de Diálogo): Era um LLM puramente textual (como GPT-3). Ele recebia o texto acima e gerava uma resposta: "Uau, ele é muito agitado."

3. Boca (Modelo de Fala): Convertia o texto em som.

• Desvantagem: Muita informação não textual era perdida. Por exemplo, se o olhar do gato é muito penetrante ou se há uma certa atmosfera no fundo, se o modelo visual não convertesse isso em texto, o modelo de diálogo nunca saberia. Era como se você estivesse de olhos vendados, conversando apenas com base na descrição que alguém lhe dá da cena.

---

Segundo Estágio: Era do Alinhamento (Alignment / Projection) — Atualmente predominante

"Colocando um nervo óptico no cérebro"

Esta é a arquitetura usada pela maioria dos modelos multimodais atuais (incluindo LLaVA, MiniGPT-4, etc.).

• Lógica Central: Ainda há um "cérebro de linguagem" central (LLM), mas os engenheiros treinaram um "tradutor" (Projector/Adapter).

• Como funciona:

1. O vídeo/imagem não é mais convertido em texto.

2. Em vez disso, através de um codificador visual (Visual Encoder), ele se torna uma sequência de vetores numéricos (Tokens Visuais).

3. Passo Chave: Esses vetores visuais são "traduzidos" em "vetores de linguagem" que o cérebro de linguagem pode entender.

4. Processamento pelo Cérebro: Do ponto de vista do LLM, o quadro de vídeo é como um texto em língua estrangeira. Ele mistura os tokens de vídeo com os tokens de texto para raciocinar.

• Conclusão: Neste estágio, a parte visual e a parte de diálogo compartilham o mesmo "cérebro de raciocínio" , mas os "olhos" visuais são um apêndice externo.

---

Terceiro Estágio: Omni Nativo (Native Omni) — Direção do Doubao/GPT-4o

"Sinestésico nato"

Esta é a forma final que permite a "videochamada em tempo real" que você mencionou.

• Lógica Central: O modelo, desde o início do treinamento, foi crescido assistindo vídeos, ouvindo áudio e vendo texto juntos.

• É o mesmo modelo? Sim, é a mesma rede neural.

• Princípio: Neste modelo, a entrada pode ser qualquer coisa (forma de onda de áudio, pixel de imagem, caractere de texto). Elas entram no modelo e são todas convertidas em uma representação unificada. O modelo não precisa primeiro converter o som em texto; ele pode diretamente "entender" a raiva no tom de voz; não precisa primeiro converter a imagem em texto; ele pode diretamente "ver" a sensação opressiva da cena.

---

Resumo: Eles são ou não o mesmo?

Voltando à sua pergunta, podemos usar o "cérebro humano" como analogia:

1. Codificador Visual (Visual Encoder) = Retina e nervo óptico humanos Esta parte é especializada em processar imagens, diferente da parte que processa linguagem. Ela é responsável por converter sinais de luz (pixels) em sinais neurais (Tokens).

2. Base do Modelo de Linguagem Grande (LLM Backbone) = Córtex cerebral humano Esta parte é genérica. Quer venha o sinal do nervo óptico (assistir vídeo) ou o sinal do nervo auditivo (diálogo), é nesta mesma área que ocorre o pensamento, o raciocínio e a tomada de decisão.

Portanto, a resposta é: Eles são módulos diferentes na "camada de percepção" (olhos e ouvidos) , mas na "camada de pensamento" (cérebro) , é exatamente o mesmo modelo operando.

Essa é uma intuição excelente! Você tocou na mágica mais central dos grandes modelos multimodais: "Alinhamento de Representação" (Representation Alignment).

A resposta é: Sim, embora as "portas de entrada" para imagens e texto sejam completamente diferentes, uma vez dentro do modelo, sua essência matemática se torna a mesma coisa, permitindo que "aprendam um com o outro" durante o mesmo treinamento.

É como se, embora o chinês e o inglês sejam escritos de formas completamente diferentes (um com caracteres, outro com letras), no seu cérebro, quando você vê "苹果" e "Apple", o conceito que surge (aquela fruta vermelha) é o mesmo.

Aqui está uma análise detalhada de como esse processo funciona:

---

1. Entradas Diferentes: O Processo de "Tradução" que Leva ao Mesmo Lugar

Como você disse, o processamento inicial é realmente muito diferente:

• Texto (Text): Usa um Tokenizer.

• Processo: "一只猫" -> consulta dicionário ->[ID: 105, ID: 2003] ->Vetor A.

• Imagem (Image): Usa um Visual Encoder (codificador visual).

• Processo: 图片像素 -> divisão em patches -> operações de convolução/Transformer ->Vetor B.

Ponto-chave: Embora as origens sejam diferentes, ambas se transformam em "vetores de alta dimensão" (Embedding Vectors), ou seja, longas sequências de números (por exemplo, [0.1, -0.5, 0.9, ...]).

Uma vez transformados em vetores, para o cérebro Transformer que vem depois, não importa se o vetor veio de pixels ou de texto. Ele só calcula.

2. Processo de Treinamento: A Mágica das Lacunas (Unified Training)

Como obter ambas as habilidades em um único treinamento? O segredo está nos dados de treinamento serem "misturados com texto e imagem", e a tarefa de treinamento ser unificada como "predizer o próximo token".

Imagine o modelo lendo um livro ilustrado ou navegando em uma página da web:

• Sequência de entrada: [图片Token_1] [图片Token_2] ... [图片Token_256] + [文字Token: 这] + [文字Token: 是] + [文字Token: 什] + [文字Token: 么]

• Objetivo do treinamento: O modelo precisa prever que o próximo caractere é [猫].

Para acertar essa questão, o modelo é forçado a fazer uma coisa:

"Preciso encontrar pistas nos [图片Token] anteriores! Se eu entender que aqueles vetores de imagem representam características de 'gato', consigo prever a palavra 'gato'; se não entender, erro e o erro (Loss) será grande."

Através de trilhões desses treinamentos (gradiente descendente), o modelo aprende a estabelecer conexões:

• Vetor de características de "gato" na imagem ≈ Vetor semântico de "gato" no texto.

3. Mesmo Espaço: Quebrando a Barreira Dimensional (Joint Embedding Space)

Após esse treinamento, o cérebro do modelo forma um "espaço semântico unificado".

• Nesse espaço, o vetor de imagem que representa "objeto redondo" e o vetor de texto que representa a palavra "Bola" ficam muito próximos geometricamente.

• Isso explica por que é possível fazer "conversa por vídeo": quando você envia um quadro de vídeo, o modelo está na verdade lendo um monte de vetores que, em sua mente, ativam automaticamente os conceitos textuais relacionados.

Resumo

Embora o "processo frontal" (fatiamento, codificação) para processar tokens de imagem seja completamente diferente do texto, ambos são mapeados para o mesmo "espaço matemático".

Uma analogia:

• Texto é dólar.

• Imagem é iene.

• Modelo é um banco internacional. Embora dólar e iene tenham aparências completamente diferentes (processamento de entrada diferente), o banco converte ambos em ouro (vetores). No cofre do banco (dentro do modelo), só existe ouro, sem distinção entre dólar e iene.

Portanto, através de um treinamento misto em larga escala, o modelo não só aprendeu a ganhar dólar (escrever), aprendeu a ganhar iene (reconhecer imagens), mas também aprendeu a taxa de câmbio (compreensão texto-imagem).

Essa é uma perspectiva técnica muito aguçada e profunda! Você capturou o ponto mais sutil dos "Grandes Modelos Multimodais" (LMMs):

Já que o processamento de uma única imagem é "alta resolução, foco em detalhes espaciais", enquanto o processamento de quadros de vídeo é "baixa resolução, foco no fluxo temporal", as características dos dados de entrada são tão diferentes. Por que o mesmo modelo consegue ser universal?

A resposta está em uma característica central da arquitetura moderna Vision Transformer (ViT): Agnosticismo de Resolução (Resolution Agnostic), e a "insensibilidade" do LLM a sequências de tokens.

Podemos dividir esse princípio em três níveis para entender:

---

1. Camada Visual: A Propriedade "Elástica" do ViT (Patching & Interpolation)

Este é o ponto técnico mais crucial. Você pode pensar que o modelo, como uma rede totalmente conectada tradicional, precisa de um tamanho de entrada fixo (por exemplo, 224×224). Mas o ViT atual não é assim.

• Lógica de divisão em patches (Patching): Quando o ViT processa uma imagem, ele a divide em pequenos quadrados de 14×14 ou 16×16 (Patches).

• Independentemente do tamanho da imagem:

• Processando imagem única de alta resolução (1024px): Gera 64×64=4096 Patches.

• Processando quadro de vídeo de baixa resolução (336px): Gera 24×24=576 Patches.

• Interpolação de Codificação Posicional (Positional Embedding Interpolation): O modelo geralmente tem uma resolução padrão durante o treinamento. Quando a entrada fica maior ou menor, o modelo automaticamente interpola (estica ou comprime) a "codificação posicional".

• Analogia: É como o olho humano. Quando você se aproxima de um livro (imagem de alta resolução), o campo de visão é pequeno, mas os detalhes são muitos; quando você se afasta para ver uma parede inteira (quadro de vídeo), o campo de visão é grande, mas os detalhes são poucos. Sua retina não muda, apenas a forma de focar. O modelo também usa o mesmo conjunto de parâmetros (pesos), apenas a quantidade de Patches processados é diferente.

2. Camada de Linguagem: Lei da Conservação da Quantidade (Space-Time Trade-off)

Para o grande modelo de linguagem (LLM) que vem depois, ele não sabe se o codificador visual anterior viu uma imagem de alta resolução ou 8 imagens de baixa resolução. Ele só vê um monte de tokens.

Aqui há um engenhoso equilíbrio de poder computacional "espaço por tempo":

• Cenário A: Leitura detalhada de uma imagem

• Entrada: 1 imagem de 1024×1024.

• Composição dos Tokens: Tudo alocado para detalhes espaciais.

• O que o LLM vê: [细节1] [细节2] ... [细节1000] (total de 1000 Tokens).

• Capacidade: Consegue ler texto, objetos minúsculos.

• Cenário B: Assistir a um vídeo

• Entrada: 8 quadros de 336×336 (1 quadro por segundo).

• Composição dos Tokens: Detalhes espaciais reduzidos, mas dimensão temporal adicionada.

• O que o LLM vê: [第1秒大概轮廓] ... [第2秒大概轮廓] ... [第8秒大概轮廓] (total de 1000 Tokens).

• Capacidade: Não consegue ler texto, mas consegue ver a continuidade do movimento.

Conclusão: Para o LLM, a carga computacional (total de Tokens) desses dois casos pode ser a mesma. O modelo não "muda de cérebro" para vídeo, apenas o foco da informação carregada pela sequência de tokens de entrada é diferente (um é informação espacial profunda, o outro é informação temporal ampla).

3. Camada Semântica: Robustez das Características (Feature Invariance)

Por que isso resulta em uma "capacidade universal"? Porque as características semânticas centrais são resistentes à compressão.

• Gato continua sendo gato: Um gato, seja em uma foto 4K ou em um vídeo 360P, suas características centrais (orelhas pontudas, bigodes, pelagem) após processamento por convolução ou Patches, a representação vetorial de alta dimensão é muito semelhante.

• Treinamento de alinhamento: Durante a fase de pré-treinamento, o modelo usou uma quantidade massiva de dados:

1. Pares de imagem-texto de alta resolução (aprender detalhes).

2. Pares de vídeo-texto de baixa resolução (aprender movimento). Isso permitiu que o modelo aprendesse a mapear características visuais para o mesmo conceito em diferentes resoluções.

Resumo

Não é que o modelo "se divida" em dois, mas ele tem elasticidade:

1. Hardware: O Vision Encoder é como um acordeão: dependendo da resolução, ele produz diferentes quantidades de Tokens.

2. Software: O LLM recebe uma "sequência longa" e não se importa se essa sequência é "fatias de uma imagem grande" ou "concatenação de várias imagens pequenas".

Portanto, quando você está em uma chamada de vídeo, o Doubao não "fica mais burro", ele apenas realoca os "neurônios" que usaria para "ver os poros" para "ver seus movimentos".

Essa é uma questão de detalhe arquitetural bastante técnica. A abordagem mainstream atual da indústria (incluindo GPT-4o, Gemini 1.5 Pro e Doubao) geralmente fica entre as duas opções que você mencionou, mas tende mais para "extrair quadro a quadro primeiro, depois comprimir/fundir temporalmente".

Raramente um modelo combina múltiplos quadros em apenas um token (muita pouca informação), nem mantém todos os tokens de cada quadro (explosão de informação).

Atualmente, as abordagens principais se dividem em dois caminhos, e modelos em tempo real como o Doubao provavelmente usam uma variante da segunda abordagem:

---

Abordagem 1: Modo "Espetinho" (Frame Stacking / Concatenation)

"Um quadro após o outro, usando posição para marcar o tempo"

Esta é a abordagem mais intuitiva, comum em modelos multimodais antigos (como Video-LLaVA).

1. Codificação independente: O codificador visual (Visual Encoder) divide o vídeo em Quadro 1, Quadro 2, Quadro 3... e independentemente transforma cada quadro em um conjunto de tokens (por exemplo, 256 tokens por quadro).

2. Concatenação direta: Concatena esses conjuntos de tokens como espetinhos.

3. Codificação Posicional (Positional Embedding): Adiciona marcações para dizer ao LLM: "Esta é a imagem do 1º segundo, esta é a do 2º segundo".

• Sequência vista pelo LLM: [Frame1_Tokens] + [Frame2_Tokens] + [Frame3_Tokens] ...

• Desvantagem: Consumo enorme de tokens. Se amostrar 2 quadros por segundo, com 256 tokens cada, um vídeo de 1 minuto resulta em 2×60×256=30.720 tokens. Isso é caro e lento demais para conversas em tempo real.

---

Abordagem 2: Modo de Compressão Espaço-Temporal (Spatiotemporal Pooling / Aggregation)

"Muitos quadros entram, poucos saem" — A escolha para modelos em tempo real

Para resolver a explosão de tokens, os modelos avançados atuais introduzem um "Agregador Temporal" (Temporal Projector/Adapter). É isso que você imaginou como "sintetizar tokens com dimensão temporal".

1. Extrair características: O codificador visual ainda vê primeiro o Quadro 1, Quadro 2, Quadro 3, Quadro 4.

2. Fusão e compressão (Pooling): O modelo tem uma camada intermediária especializada em "deduplicação" e "extração de mudanças".

• Se o Quadro 1 e o Quadro 2 são quase idênticos (por exemplo, você sentado parado), o modelo faz uma média ou ponderação matemática dos tokens desses dois quadros.

• Ele pode pegar os dados brutos de 4 quadros (suponha 1000 tokens no total) e comprimi-los em um conjunto de tokens que representa aquele período (por exemplo, comprimir para 64 tokens).

3. Entrada no cérebro: O LLM não recebe mais imagens estáticas de quadros individuais, mas sim um pacote de informações condensadas representando "o que aconteceu nestes 2 segundos".

• Sequência vista pelo LLM: [Time_0-2s_Summary_Tokens] + [Time_2-4s_Summary_Tokens] ...

---

E uma técnica mais radical: Tubelet Embedding (Fatias 3D)

Na academia e em alguns modelos específicos (como modelos de geração de vídeo estilo Sora, ou alguns modelos de compreensão eficiente), existe uma abordagem mais radical de "Token com dimensão temporal" chamada Tubelet (fatia de tubo).

• Princípio:

• Patch de imagem comum (Patch): Corta um quadrado 2D (x, y).

• Fatia de vídeo (Tubelet): Corta um paralelepípedo 3D (x, y, t).

• Exemplo: Um token extraído pelo modelo não é mais "o pixel no canto superior esquerdo deste segundo", mas sim "a mudança naquela área do canto superior esquerdo ao longo dos próximos 3 quadros".

• Resultado: Esse token já contém inerentemente informações de fluxo temporal.

---

Resumo: Como o Doubao provavelmente faz?

Considerando os requisitos de baixíssima latência para chamadas em tempo real, o Doubao muito provavelmente adota uma estratégia mista de "amostragem de quadros-chave + pooling temporal local (Local Temporal Pooling)":

1. Não vê todos os quadros: Ele vê pulando (por exemplo, apenas os quadros 1, 5, 10).

2. Tokens são independentes, mas relacionados: Cada quadro gera tokens independentes.

3. LLM preenche o tempo: Ele depende do poderoso LLM (cérebro) para entender o tempo através da ordem sequencial dos tokens (Sequence Order), em vez de forçar o tempo dentro de um único token.

Entendimento popular: Ele não comprime o movimento "você acenando" em um único "token de aceno"; em vez disso, envia uma sequência de tokens para o cérebro: [手在下] ->[手在中] ->[手在上]. O cérebro, ao ler essa sequência, conclui sozinho: "Ah, ele está acenando."