IA
No PyTorch, duas escolhas afetam a hora de usar um modelo treinado
O modo de avaliação muda o comportamento de certas camadas. O modo de inferência controla o trabalho que o sistema faz para calcular gradientes.
Paul Gomes
1 min de leitura
Uma equipe termina o treinamento de um modelo e passa a usá-lo para classificar novos registros. No PyTorch, desligar o cálculo de gradientes deixa em aberto outra decisão. Camadas que se comportam de um jeito no treinamento podem continuar nesse estado durante as previsões.
Um exemplo é o dropout. Durante o treinamento, essa camada desativa aleatoriamente parte das ativações. No modo de avaliação, deixa de aplicar esse sorteio. A chamada model.eval() informa aos módulos que passaram à fase de avaliação. A mudança afeta as camadas para as quais o PyTorch define comportamentos distintos.
Já torch.inference_mode() delimita um trecho do programa em que o mecanismo de diferenciação automática pode dispensar parte de seus registros. Isso interessa quando a aplicação só precisa do resultado da previsão. A documentação também aponta uma restrição para os tensores criados ali caso se tente empregá-los depois em uma operação que precise registrar gradientes.
Uma comparação de desempenho ganha precisão quando registra essas duas escolhas. Se uma execução mantém o dropout ativo e outra o desliga, há uma diferença no cálculo do próprio modelo. Para comparar o custo do modo de inferência, convém manter fixos o modo das camadas, o conjunto de entradas e o equipamento.
Foto de capa, ilustrativa. Placa de vídeo GeForce FX 5200, em fotografia ilustrativa sobre hardware de computação. Crédito: Rafał Nowosad (User:Rafah). Ficha da fotografia. CC BY-SA 4.0.
Fontes utilizadas
Quem escreve
Paul Gomes
Fundador da WYS. Escrevo sobre marcas, tecnologia e o futuro dos negócios.
Sobre o autorPróximo passo
Quer aplicar isso no seu negócio?
Consultoria de inteligência artificial, GEO/AEO e palestras. Atendimento online, para todo o Brasil.