Modelos multimodais: como a IA entende imagem, texto e áudio juntos

Um modelo de linguagem que só lê texto vive num mundo estranho: sabe a palavra “vermelho” apenas pela companhia que ela mantém com outras palavras, nunca por ter visto vermelho. Modelos multimodais existem para furar essa parede. A promessa não é “aceitar imagem além de texto” como quem adiciona um plugue novo. É mais radical: colocar pixels, fonemas e tokens no mesmo espaço geométrico, de modo que a distância entre uma foto de um cachorro e a frase “um cachorro” signifique alguma coisa. Quando isso funciona, o modelo para de traduzir de uma modalidade para outra e passa a raciocinar sobre todas ao mesmo tempo. É aí que mora a diferença real.

O problema de fundo: modalidades não falam a mesma língua

Texto já chega ao modelo como uma sequência discreta de tokens. Imagem é uma grade contínua de intensidades. Áudio é uma onda no tempo. Três formatos, três estatísticas, três noções de vizinhança. Não existe um sentido óbvio em que o pixel na posição (100, 40) seja “análogo” à sílaba número três de uma palavra. O trabalho central de um modelo multimodal é inventar esse sentido: encontrar uma representação onde entidades de modalidades diferentes que se referem à mesma coisa fiquem próximas, e onde as diferentes fiquem longe.

A palavra técnica para o alvo é alinhamento de representações. Você quer um espaço vetorial, com centenas ou milhares de dimensões, em que o vetor extraído de uma imagem de praia e o vetor extraído da legenda “praia ao entardecer” apontem aproximadamente na mesma direção. Não porque alguém programou “praia = tal coordenada”, mas porque o treino empurrou os dois para lá.

Tokenização: transformar tudo em sequência

O truque que destravou a onda atual foi perceber que o Transformer não se importa com o que os tokens representam, desde que sejam vetores numa sequência. Isso abre duas rotas.

A primeira é usar um codificador dedicado por modalidade e depois projetar sua saída para o espaço do modelo de linguagem. Uma imagem passa por um codificador visual — tipicamente um Vision Transformer, que corta a imagem em retalhos, ou patches, e trata cada retalho como um token — e produz um conjunto de vetores. Uma camada de projeção, muitas vezes simples, mapeia esses vetores para a mesma dimensão dos embeddings de texto. A partir dali, para o Transformer, um patch de imagem é só mais um token na fila, ao lado das palavras.

A segunda rota é a tokenização discreta: converter imagem ou áudio em símbolos de um vocabulário finito, como se fossem “palavras visuais” ou “palavras sonoras”, usando um quantizador. Aí a modalidade vira literalmente uma sequência de tokens do mesmo tipo que o texto, e o modelo pode até gerá-la de volta. As duas abordagens coexistem, e a escolha entre projetar embeddings contínuos ou discretizar em tokens define muito da arquitetura e do que o modelo consegue produzir, não só entender.

Como o alinhamento é aprendido

Alinhar não é gratuito. Ele emerge de um objetivo de treino que pune a desordem. A família de técnicas mais influente aqui é o aprendizado contrastivo. A ideia é limpa: pegue um lote com muitos pares imagem-texto que combinam de verdade. Para cada imagem, o par correto é a sua legenda; todos os outros textos do lote são pares errados. O modelo é treinado para aumentar a similaridade — geralmente o produto escalar dos vetores normalizados — entre os pares certos e diminuí-la entre os errados. Repita isso em escala enorme e o espaço se organiza sozinho: coisas que descrevem o mesmo referente convergem, o resto se espalha.

O contrastivo dá alinhamento, mas não dá raciocínio. Ele aproxima vetores; não ensina o modelo a conversar sobre o que vê. Por isso os sistemas generativos multimodais combinam isso com um objetivo de linguagem: dado um pedaço de imagem já projetado na sequência, preveja o próximo token de texto. É a mesma previsão autorregressiva de sempre, só que agora a sequência tem retalhos visuais no começo. O modelo aprende a condicionar cada palavra que gera no conteúdo pictórico que recebeu. A atenção — o mecanismo que deixa cada token “olhar” para os outros — passa a cruzar a fronteira entre modalidades: um token de texto que está sendo gerado pode atender a um patch específico da imagem.

O que muda quando o modelo vê e lê ao mesmo tempo

Aqui está o ponto que costuma passar batido. Quando uma imagem e um texto entram na mesma janela de atenção, eles não ficam em compartimentos separados que o modelo consulta em turnos. Eles se contaminam. A representação de um patch visual, camada após camada, é reescrita levando em conta as palavras presentes; e a representação de uma palavra é reescrita levando em conta o que está na imagem. O resultado é que o significado de cada modalidade fica dependente do contexto da outra.

Isso tem consequências concretas. A mesma foto de um gráfico de barras significa uma coisa se a pergunta é “qual mês vendeu mais” e outra se a pergunta é “há uma tendência de queda”. O modelo não extrai uma descrição fixa da imagem e depois responde; ele lê a imagem já sob a pressão da pergunta. Fenômenos que exigem casar as duas fontes — apontar onde no gráfico está a evidência, ler um texto dentro da própria imagem, resolver a que objeto “isto” se refere numa cena — só ficam possíveis porque a atenção é conjunta desde cedo, não colada no fim.

É também onde nascem as fraquezas específicas do multimodal. Como o texto normalmente domina o treino, o modelo às vezes confia mais no que “sabe” pela linguagem do que no que os pixels mostram, e responde com base em correlação estatística em vez de olhar de verdade. É uma das raízes da alucinação visual: descrever um objeto plausível que não está na imagem. E há a assimetria de granularidade — um parágrafo cabe em poucas dezenas de tokens, uma imagem em alta resolução pode exigir centenas de patches, o que pressiona a janela de contexto e força escolhas sobre quanta resolução visual o modelo pode se dar ao luxo de manter.

Áudio e a dimensão do tempo

Áudio adiciona um eixo que imagem estática não tem: o tempo, com estrutura em várias escalas ao mesmo tempo. O caminho usual é converter a onda numa representação tempo-frequência, como um espectrograma, e daí extrair tokens — de novo, seja projetando embeddings contínuos, seja quantizando em unidades discretas. Fala carrega dois níveis que precisam ser separados e depois recombinados: o conteúdo linguístico (as palavras) e as características paralinguísticas (quem fala, entonação, emoção, ritmo). Um bom modelo de fala multimodal aprende a representar os dois sem colapsar um no outro — senão você consegue transcrever mas perde a intenção, ou reconhece a emoção mas erra as palavras. Alinhar áudio com texto e imagem no mesmo espaço é o que permite pedir, em linguagem natural, que o sistema descreva um som, siga uma instrução falada ou case uma voz com um rosto.

Por que isto não é só “mais uma feature”

Vale insistir na diferença entre um sistema que encaixa componentes e um modelo genuinamente multimodal. Dá para pegar um reconhecedor de fala, jogar o texto num modelo de linguagem e mandar a resposta para um sintetizador de voz. Funciona, e para muita coisa basta. Mas cada etapa perde informação na fronteira: o texto transcrito já jogou fora a hesitação, o sarcasmo, o ruído de fundo que talvez fosse a pista. O modelo do meio nunca vê o sinal original. Um modelo treinado com as modalidades juntas mantém essa informação viva porque nunca a converteu prematuramente em palavras. A representação compartilhada é justamente o que evita o gargalo da tradução intermediária. Essa é a tese que separa as duas gerações: alinhamento no espaço de representação em vez de tradução em cadeia.

Minha posição

Acho que o multimodal é o lugar onde o discurso público mais subestima o que realmente aconteceu. A conversa gira em torno de “agora o modelo aceita imagem”, como se fosse uma caixa de entrada mais generosa. O que importa é outra coisa: quando as modalidades dividem um espaço geométrico, o modelo ganha algo próximo de referência — a chance de ancorar uma palavra em algo que não é outra palavra. É um remédio parcial para o velho problema de sistemas de linguagem que só sabem o mundo por descrições de si mesmas.

Ao mesmo tempo, desconfio do salto fácil de “alinhou modalidades” para “entende como um humano”. Alinhamento é estatístico, aprendido de correlações em dados, e herda todos os vieses e buracos desses dados. Um modelo que casa foto e legenda com precisão notável ainda pode não ter ideia de causalidade física na cena. O ganho é real e é grande, mas é um ganho de representação, não de compreensão no sentido forte. Para quem constrói produtos, a lição prática é dupla: aproveitar que a fronteira entre ver, ouvir e ler está sumindo por dentro do modelo, e continuar cético quanto a tarefas que exigem raciocínio sobre o mundo, não apenas correspondência entre suas descrições. É onde o multimodal brilha e é onde ele ainda tropeça — e saber distinguir os dois casos é, hoje, boa parte da competência de quem usa essas ferramentas a sério.