Leis de escala: o que Chinchilla ensinou sobre dados versus parâmetros

Por quase dois anos, a indústria de IA acreditou numa coisa errada por um motivo sutil. A crença era que, dado mais poder de computação, a jogada certa era construir modelos cada vez maiores e alimentá-los com uma fração relativamente modesta de dados. O motivo sutil era um detalhe de metodologia — um agendamento de taxa de aprendizado mal calibrado — que enviesou toda uma geração de decisões de bilhões de dólares. Em 2022, um artigo da DeepMind chamado Training Compute-Optimal Large Language Models, assinado por Jordan Hoffmann e colegas, desfez o engano. O modelo que ele apresentou se chamava Chinchilla, e a lição que deixou ainda governa como todo laboratório sério aloca orçamento de treino.

O que uma lei de escala realmente afirma

Leis de escala são relações empíricas que descrevem como a perda de um modelo de linguagem cai à medida que você aumenta três grandezas: o número de parâmetros, o volume de tokens de treino e o total de computação gasta. A descoberta central, articulada por Kaplan e colaboradores em 2020, foi que essa queda é surpreendentemente regular. A perda segue uma lei de potência em relação a cada um desses eixos: dobre o recurso, e o erro cai por um fator previsível, ao longo de várias ordens de grandeza. Isso é o que transforma o treino de um modelo grande de aposta em engenharia. Você pode rodar experimentos pequenos, ajustar a curva e extrapolar com confiança razoável para escalas que jamais testou diretamente.

Mas uma lei de potência sozinha não te diz a coisa mais importante. Ela te diz que mais é melhor. Não te diz como dividir um orçamento fixo. E na prática ninguém tem parâmetros infinitos e dados infinitos ao mesmo tempo — você tem uma quantidade fixa de computação, medida grosseiramente pelo produto entre parâmetros e tokens processados. A pergunta que importa é: dado esse envelope, quanto do compute vai para tornar o modelo maior e quanto vai para mostrar mais dados a ele? É aqui que as leis de escala deixam de ser descritivas e viram uma receita de alocação.

O erro de Kaplan e a correção do Chinchilla

O trabalho de Kaplan respondeu a essa pergunta de um jeito específico. Concluiu que, quando o orçamento de compute cresce, a maior parte do ganho deve ir para o tamanho do modelo. Em números, a alocação ótima de parâmetros crescia com o compute a um expoente perto de 0,73 — quer dizer, quase todo o compute extra ia para construir um modelo mais gordo, e relativamente pouco para acumular mais dados. Foi essa conclusão que produziu a era dos gigantes: modelos de centenas de bilhões de parâmetros treinados com o que, em retrospecto, era uma dieta de fome.

O Chinchilla mostrou que a conclusão vinha de um artefato metodológico. Para estimar as curvas, você treina muitos modelos pequenos e observa como a perda evolui. Kaplan usou um mesmo agendamento de taxa de aprendizado, ancorado nas rodadas maiores, para todos os modelos. O problema é que a taxa de aprendizado decai ao longo do treino, e boa parte do ganho de um modelo se materializa justamente quando essa taxa termina de decair, no fim do cronograma. Ao aplicar um cronograma longo a modelos que treinavam por menos passos, Kaplan os avaliava num ponto em que ainda estavam subtreinados. Isso fazia os modelos pequenos parecerem piores do que realmente seriam se otimizados corretamente — e enviesava a análise para cima no expoente dos parâmetros. Traduzindo: a matemática superestimava o valor de ficar maior e subestimava o valor de treinar por mais tempo com mais dados.

Hoffmann e equipe refizeram o experimento ajustando o agendamento de taxa de aprendizado a cada rodada, para que cada modelo fosse avaliado num estado de fato otimizado. Também cruzaram três abordagens independentes de estimativa para não dependerem de um único método. O resultado foi limpo e desconfortável: a alocação ótima não privilegia o tamanho. O expoente do compute para os parâmetros caía para perto de 0,50, e o mesmo valia para os dados. Em português direto — parâmetros e dados devem crescer na mesma proporção. Cada vez que você dobra o tamanho do modelo, deve também dobrar a quantidade de tokens de treino. Nenhum dos dois eixos merece o compute sozinho.

Vinte tokens por parâmetro

Dessa simetria saiu a regra de bolso que virou folclore da área: um modelo compute-ótimo quer por volta de vinte tokens de treino para cada parâmetro. Não é uma constante sagrada — é a razão que cai da curva sob as condições que a DeepMind testou —, mas é boa o bastante para reorganizar o pensamento de qualquer engenheiro. Sob essa lente, os gigantes da geração anterior estavam gritantemente subalimentados. Um modelo de centenas de bilhões de parâmetros treinado com uma fração desses vinte tokens por parâmetro estava desperdiçando capacidade: tinha músculo demais e comida de menos.

A demonstração foi elegante porque não era teórica. A equipe pegou o mesmo orçamento de compute usado no Gopher, um modelo de 280 bilhões de parâmetros, e o reinvestiu segundo a nova receita. O produto foi o Chinchilla: 70 bilhões de parâmetros — um quarto do tamanho — treinado em cerca de 1,4 trilhão de tokens. Com o mesmo compute, o modelo menor e mais bem alimentado superou o maior de forma consistente em uma ampla bateria de avaliações — e não só o Gopher, mas também gigantes como o GPT-3, de 175 bilhões, e o Megatron-Turing NLG, de 530 bilhões. Esse é o ponto que faz a coisa toda morder. Não se trocou desempenho por eficiência. Um modelo quatro vezes menor foi melhor, porque o compute que antes ia para parâmetros ociosos passou a comprar dados.

Por que a virada importa além do treino

O impacto do Chinchilla não parou na conta do treino, e é aqui que muita gente perde o fio. Um modelo menor não é só mais barato de treinar sob a receita ótima — ele é permanentemente mais barato de servir. Cada consulta em produção passa por menos parâmetros, o que significa menos latência, menos memória e menos custo por token gerado, todo dia, pela vida inteira do modelo. Quando você multiplica isso por bilhões de requisições, a economia da inferência supera a do treino em qualquer horizonte realista. O Chinchilla, portanto, não corrigiu apenas uma alocação de treino: deslocou o incentivo econômico inteiro na direção de modelos mais compactos e mais bem treinados.

Foi por isso que a era pós-Chinchilla ficou obcecada por dados. Se a receita ótima pede vinte tokens por parâmetro e você quer um modelo forte, precisa de trilhões de tokens de qualidade — e há um limite físico para quanto texto útil existe no mundo. A restrição deixou de ser quantos parâmetros seu cluster aguenta e passou a ser quantos dados bons você consegue reunir, limpar e desduplicar. Curadoria de dados, filtragem, dados sintéticos e o espectro do esgotamento de texto humano de alta qualidade — toda essa agenda de pesquisa é filha direta da virada que o Chinchilla provocou.

Vale registrar que a história ganhou nuance depois. Trabalhos posteriores tentaram reconciliar Kaplan e Chinchilla e mostraram que parte da divergência vinha de detalhes contábeis — por exemplo, contar apenas os parâmetros de não-embedding em vez do total —, além da escala menor da análise original. As duas leis não estão tão irreconciliáveis quanto pareceu no calor de 2022. E mais: a própria noção de compute-ótimo assume que treino é o que você quer minimizar. Quando o custo dominante é a inferência, o cálculo racional é treinar um modelo até abaixo do ponto Chinchilla — passar dos vinte tokens por parâmetro de propósito — para colher um modelo menor e mais eficiente de servir, mesmo que o treino em si fique subótimo. É exatamente o raciocínio por trás de muitos modelos abertos recentes, treinados com muito mais dados do que a regra de bolso pediria.

Minha leitura

O Chinchilla é um dos poucos resultados da área que eu chamaria de intelectualmente honestos no sentido pleno: ele custou reputação para quem o publicou, porque implicava que a própria comunidade — inclusive a DeepMind — vinha gastando compute de forma errada. A lição durável não é a razão de vinte para um, que já foi relativizada e vai continuar sendo. A lição durável é epistemológica. Uma indústria inteira extrapolou com confiança a partir de curvas que carregavam um viés metodológico invisível, e ninguém percebeu por dois anos porque os números eram bonitos e as leis de potência inspiram uma fé quase religiosa. Leis de escala são ferramentas poderosas justamente porque permitem apostar grande a partir de experimentos pequenos — e é esse mesmo poder que as torna perigosas quando o experimento pequeno esconde um erro sistemático.

Se há algo a levar para além do treino de LLMs, é isto: desconfie das extrapolações mais limpas, porque são as que ninguém audita. O Chinchilla não venceu por ter uma teoria mais bonita. Venceu por ter refeito o experimento com mais cuidado. Na IA de hoje, saturada de gráficos que sobem para a direita, esse continua sendo o hábito mais raro e mais valioso que existe.