Paul Gomes

IA

No PyTorch, duas escolhas afetam a hora de usar um modelo treinado

O modo de avaliação muda o comportamento de certas camadas. O modo de inferência controla o trabalho que o sistema faz para calcular gradientes.

Paul Gomes

1 min de leitura

Placa de vídeo GeForce FX 5200, em fotografia ilustrativa sobre hardware de computação.

Uma equipe termina o treinamento de um modelo e passa a usá-lo para classificar novos registros. No PyTorch, desligar o cálculo de gradientes deixa em aberto outra decisão. Camadas que se comportam de um jeito no treinamento podem continuar nesse estado durante as previsões.

Um exemplo é o dropout. Durante o treinamento, essa camada desativa aleatoriamente parte das ativações. No modo de avaliação, deixa de aplicar esse sorteio. A chamada model.eval() informa aos módulos que passaram à fase de avaliação. A mudança afeta as camadas para as quais o PyTorch define comportamentos distintos.

Já torch.inference_mode() delimita um trecho do programa em que o mecanismo de diferenciação automática pode dispensar parte de seus registros. Isso interessa quando a aplicação só precisa do resultado da previsão. A documentação também aponta uma restrição para os tensores criados ali caso se tente empregá-los depois em uma operação que precise registrar gradientes.

Uma comparação de desempenho ganha precisão quando registra essas duas escolhas. Se uma execução mantém o dropout ativo e outra o desliga, há uma diferença no cálculo do próprio modelo. Para comparar o custo do modo de inferência, convém manter fixos o modo das camadas, o conjunto de entradas e o equipamento.

Foto de capa, ilustrativa. Placa de vídeo GeForce FX 5200, em fotografia ilustrativa sobre hardware de computação. Crédito: Rafał Nowosad (User:Rafah). Ficha da fotografia. CC BY-SA 4.0.

Fontes utilizadas

Quem escreve

Paul Gomes

Fundador da WYS. Escrevo sobre marcas, tecnologia e o futuro dos negócios.

Sobre o autor

Próximo passo

Quer aplicar isso no seu negócio?

Consultoria de inteligência artificial, GEO/AEO e palestras. Atendimento online, para todo o Brasil.

Falar no WhatsApp Ver formas de contato