Artigos sobre ai
27 artigos de Felipe Guedes sobre ai: System Design, arquitetura, engenharia full stack, auditoria e IA em produção.
- Testando sistemas não determinísticosVocê não pode fazer assert em uma string exata de um modelo. Pode fazer assert em propriedades, distribuições e invariantes, e deve.
- A IA escreve o código. O sistema continua sendo seu.O modelo digita mais rápido que você. Mas não responde pelo que acontece às 3 da manhã. Essa parte ainda é sua.
- O ciclo mais lento da ciência não é pensarTodo mundo quer que a IA faça o cientista pensar mais rápido. O tempo não se perde pensando. Se perde esperando, e espera é engenharia.
- A feature de IA que ninguém pediuO botão com a estrelinha foi feito para o conselho, não para o usuário. Como identificar, e o que construir no lugar.
- Um orçamento de latência para features com LLMO modelo é a dependência mais lenta que você já adicionou. Orce como orça um banco de dados, por feature, por etapa.
- Guardrails que não estragam o produtoA maioria dos guardrails é uma recusa pregada no final. Os bons são projetados dentro da tarefa, e o usuário quase nunca esbarra neles.
- O ciclo da hipótese, e onde o software pode encurtá-loCiência é um ciclo, não uma linha. Software deve encurtar as voltas baratas e deixar as caras tão lentas quanto a verdade exige.
- Alucinação é propriedade do sistema, não bug do modeloO modelo gera texto plausível. Se o plausível vira falso na frente do usuário depende do sistema que você construiu em volta dele.
- Programar em par com IA mudou o que eu coloco no quadro brancoQuando o código fica barato, o quadro branco deixa de ser sobre código. Passa a ser sobre falha, posse e invariantes.
- Avaliando features com LLM como engenheiro, não como fãSe o seu sinal de qualidade é uma demo e uma sensação, você não tem uma feature. Tem uma esperança. Assim eu construo evals.
- De artigos a perguntas: o que um instrumento de pesquisa deveria fazerUm resumidor te dá menos para ler. Um instrumento de pesquisa te dá perguntas melhores. A diferença é o produto inteiro.
- O que a IA não consegue auditarModelos são ótimos em achar o que parece errado. As falhas que importam são as que parecem certas, e essas ainda precisam de uma pessoa.
- O humano no loop é uma decisão de designHumano no loop não é checkbox para o slide de compliance. É uma interface, um fluxo e um orçamento que você precisa projetar.
- Observabilidade para aplicações com LLMLogs e latência não bastam. Você precisa do prompt, da saída, do custo e da qualidade por request, e de poder reproduzir tudo.
- Quando não usar um modelo de linguagemUm modelo de linguagem é um componente com custo, latência e taxa de erro. Em metade dos lugares onde vejo um, uma regex teria ganhado.
- Prompt injection é a validação de input que você esqueceuResolvemos SQL injection separando código de dados. Prompt injection é a mesma lição num sistema que não consegue separá-los por completo.
- O prompt não é a especificaçãoO prompt diz ao modelo o que fazer hoje. A spec diz a todo mundo o que significa estar certo. Os times vivem confundindo os dois.
- A IA e o fim do boilerplate, e o que ocupa o espaçoGerar código ficou barato. As habilidades escassas migraram para especificação, verificação e critério, e a carreira foi junto.
- Como eu reviso código que um modelo escreveuO mesmo padrão de qualquer pull request, mas os bugs moram em lugares diferentes. Aqui é onde eu olho.
- Agentes também precisam de fronteirasUm agente é um loop com permissões. Toda regra que aplico a serviços vale para ele, com um raio de dano maior.
- Embeddings não são mágica. São uma compressão dos seus dados.Um embedding é um resumo com perdas escolhido pelos dados de treino de outra pessoa. Trate como formato de compressão, não como oráculo.
- O modelo vai mudar. A interface não deveria.Projete a fronteira em volta do modelo para que trocar provedor, versão ou prompt seja mudança de config, não reescrita.
- O custo de um token em produçãoO preço por token é a menor parte da conta. Contexto, retries e loops são para onde o dinheiro vai de verdade.
- Fine-tuning, retrieval ou prompt: uma decisão que tomo toda semanaTrês ferramentas, três tipos de problema. A maioria dos times escolhe por empolgação. Eu escolho pelo que muda e com que frequência.
- RAG é um pipeline de dados com um modelo de linguagem no finalA maioria das falhas de RAG que audito são bugs de ingestão e retrieval fantasiados de IA. Conserte o pipeline, depois pense no prompt.
- Modelos pequenos, alavanca grandeO frontier model é o default errado. Quase todo trabalho num pipeline real é estreito, repetitivo e barato de acertar com modelo pequeno.
- Structured outputs são contratosUm schema transforma o modelo de gerador de texto em componente integrável. Trate com a seriedade de uma API.