A feature de IA que ninguém pediu

Existe um botão em muitos produtos hoje, geralmente com um ícone de estrelinha, que abre uma caixa de chat. Ninguém pediu. Foi construído porque um concorrente tinha um, porque um slide precisava das letras IA, porque um orçamento foi alocado com essas letras no título. Já me pediram para revisar a arquitetura de features assim muitas vezes, e a arquitetura raramente é o problema. O problema é que não havia um usuário com uma tarefa a cumprir no começo, então não há como saber se a feature cumpriu.

Como identificar

Os sinais são consistentes. A feature é descrita pela tecnologia, "um assistente de IA", e não pelo resultado, "corta pela metade o tempo de abrir um sinistro". A métrica de sucesso é o uso da própria feature, não a melhora em uma métrica com a qual o negócio já se importava. O ponto de entrada é um botão flutuante, desconectado de qualquer fluxo existente. E quando você pergunta o que acontece quando o modelo erra, a resposta é um dar de ombros, porque ninguém rastreou a saída até uma consequência. Uma feature com risco real tem orçamento de erro. Uma feature feita para o conselho tem roteiro de demo.

O que custa

O custo não é só a conta do modelo, embora ela seja real e cresça com o uso de uma feature que não produz valor. O custo é a confiança. Usuários testam o botão da estrelinha, recebem uma resposta fluente e ligeiramente errada sobre os próprios dados, e concluem que a IA do produto não é confiável. Essa conclusão gruda, e envenena a próxima feature, a que poderia ter sido boa. Já vi times entregarem a feature útil um ano depois e lutarem morro acima contra a reputação da inútil. A primeira feature de IA que um produto entrega define a expectativa para todas as outras.

Comece por uma tarefa

A alternativa é entediante e funciona. Encontre uma tarefa que o usuário já faz, que é repetitiva, que envolve ler, escrever ou classificar, e que tem um resultado mensurável. Triagem, rascunho, extração, busca nos próprios documentos, preenchimento de formulário a partir de uma fonte. Coloque o modelo dentro desse fluxo, no ponto onde o usuário já está, com a saída no formato que ele já usa. Meça o resultado que o usuário valoriza: tempo, taxa de erro, conclusão. Se o número se move, você tem uma feature. Se não, você aprendeu algo pelo custo de um modelo pequeno e algumas semanas, o que é mais barato do que um botão de estrelinha que ninguém usa e todo mundo lembra.

Invisível está ótimo

Algumas das melhores features com modelo que construí não são visíveis como IA. Um campo pré-preenchido corretamente. Uma fila ordenada pelo que de fato precisa de atenção. Uma busca que encontra a coisa na primeira tentativa. Usuários não agradecem ao modelo. Eles só fazem a tarefa mais rápido e param de reclamar do jeito antigo. O instinto de tornar a IA visível vem do mesmo lugar do botão da estrelinha: é para quem está assistindo, não para quem está usando. Se o usuário não precisa saber que um modelo participou, não conte, e gaste o orçamento de interface em tornar o resultado fácil de verificar e corrigir.

A pergunta a fazer

Antes de construir qualquer feature com modelo, faço uma pergunta e insisto numa resposta específica: qual número existente melhora, em quanto, e como vamos saber até quando. Se a sala não consegue responder, a feature é para a sala. Construa mesmo assim se a política exigir, mas construa pequeno, e coloque o orçamento de verdade na feature que tem resposta. O conselho vai esquecer o botão da estrelinha. Os usuários não vão esquecer a coisa que economizou uma hora por dia.