IA
Como ler um resultado de MLPerf antes de comparar sistemas de IA
A tarefa, o cenário de uso e a composição do equipamento delimitam o que um número de desempenho permite concluir.
Paul Gomes
1 min de leitura
Duas máquinas podem processar volumes diferentes de dados com um modelo de IA e ainda assim responder a perguntas distintas em um teste. A suíte MLPerf Inference: Datacenter, organizada pela MLCommons, mede o desempenho de sistemas que executam modelos já treinados. Para usar os resultados numa decisão de infraestrutura, a primeira leitura deve ser a descrição do ensaio.
Há diferença entre receber um grande conjunto de entradas de uma vez e atender solicitações que chegam ao longo do tempo. No cenário Offline, o interesse se concentra na vazão, isto é, quanto trabalho o sistema consegue concluir. No cenário Server, a capacidade de sustentar um fluxo de solicitações é avaliada sob limites de latência. Comparar os números como se pertencessem à mesma tarefa pode favorecer uma máquina otimizada para um uso diferente do pretendido.
A configuração também faz parte do resultado. Antes de atribuir a vantagem a um acelerador específico, é preciso olhar o sistema submetido, a quantidade de componentes, a tarefa, o modelo e os requisitos de qualidade. Uma implantação voltada a respostas interativas tem motivos para priorizar o cenário que se aproxima do ritmo de chegada dos pedidos.
Quando há medição de energia, a documentação descreve o consumo do sistema inteiro durante o ensaio. Usar esse valor como se fosse o consumo isolado de uma placa leva a uma estimativa de custo enganosa. O benchmark ajuda a escolher o que investigar em seguida. A conta da operação depende também de como o equipamento será ocupado fora das condições do teste.
Foto de capa, ilustrativa. Placa de vídeo com componentes expostos, em foto ilustrativa. Fotografia de Nick Stathas. Ficha no Wikimedia Commons. CC BY-SA 4.0.
Fontes utilizadas
Quem escreve
Paul Gomes
Fundador da WYS. Escrevo sobre marcas, tecnologia e o futuro dos negócios.
Sobre o autorPróximo passo
Quer aplicar isso no seu negócio?
Consultoria de inteligência artificial, GEO/AEO e palestras. Atendimento online, para todo o Brasil.