IA
Como usar o modelo do NIST para avaliar um assistente de IA
Um exemplo de atendimento mostra o que muda quando a equipe define a situação de uso, mede erros concretos e atribui responsabilidade pela resposta.
Paul Gomes
1 min de leitura
Um assistente de atendimento pode redigir uma resposta fluente e indicar um prazo de troca incompatível com a política da empresa. Uma avaliação que examina apenas a qualidade da escrita deixa passar o erro que importa para o cliente. O modelo voluntário de gestão de riscos em inteligência artificial do NIST oferece uma forma de organizar essa análise.
O instituto americano reúne as atividades em quatro funções: governar, mapear, medir e gerenciar. A governança atravessa as demais. Aplicada ao exemplo de atendimento, ela começa por uma decisão de responsabilidade. Alguém precisa responder pela política de trocas usada como referência, e alguém precisa ter autoridade para suspender um tipo de resposta que apresente falhas.
Mapear o contexto exige distinguir uma orientação geral de uma decisão que depende do pedido específico. Na medição, a equipe pode separar casos em que havia resposta inequívoca no regulamento daqueles em que faltavam dados para decidir. Em vez de atribuir uma nota única de satisfação, pode contar respostas incompatíveis com a regra e encaminhamentos adequados para revisão humana. Essas são possibilidades de aplicação, não métricas exigidas pelo NIST.
Gerenciar o risco é decidir o que fazer com a evidência. Um erro concentrado em uma política recém-alterada pede uma investigação diferente de erros espalhados por todos os assuntos. Registrar a versão da política, os exemplos examinados e a data da mudança dá à equipe uma base para verificar depois se a intervenção melhorou o atendimento.
Foto de capa, ilustrativa. Profissional com headset em uma estação de atendimento, em imagem ilustrativa. Fotografia de FiveOne51. Ficha no Wikimedia Commons. CC BY-SA 3.0.
Fontes utilizadas
Quem escreve
Paul Gomes
Fundador da WYS. Escrevo sobre marcas, tecnologia e o futuro dos negócios.
Sobre o autorPróximo passo
Quer aplicar isso no seu negócio?
Consultoria de inteligência artificial, GEO/AEO e palestras. Atendimento online, para todo o Brasil.