Validação não é uma fase

Todo time de software maduro aprendeu que qualidade não é uma fase. Você não constrói por seis meses e depois testa. Testa cada commit, cada merge, cada deploy, e os testes são parte do produto. Software científico, e cada vez mais a IA para ciência, ainda trata validação como algo que acontece no final, num artigo, uma vez. Acho que esse é o hábito mais perigoso da área, e é corrigível com ideias que já temos.

O que 'no final' custa

Quando validação é uma fase, o custo de uma premissa errada cresce a cada etapa construída em cima dela. Um filtro de coorte que descartou um subgrupo em silêncio é descoberto depois de o modelo ter sido treinado, as figuras desenhadas e o manuscrito escrito. Agora a correção significa refazer tudo, e o incentivo para olhar para o outro lado é enorme. Em software conhecemos bem esse preço: o bug encontrado em produção custa ordens de magnitude mais do que o encontrado no teclado.

Validação como propriedade de cada artefato

A alternativa é que cada artefato do pipeline carregue o próprio status de validação. O dado bruto tem verificações de integridade. O dataset limpo tem asserções sobre contagem de linhas, faixas e distribuições que rodam quando ele é produzido. A tabela de features tem testes que a comparam com uma amostra conhecida. O modelo tem uma avaliação que roda a cada retreino, contra um conjunto separado em que ninguém treinou. A hipótese que o sistema levanta tem trilha de evidência e um status: candidata, conferida contra a literatura, conferida contra dados, validada por um cientista, replicada externamente.

Nada passa para a próxima etapa sem seu status. O status é dado, guardado junto com o artefato, visível na interface. É exatamente como funciona um pipeline de CI, aplicado a conhecimento em vez de código.

O status precisa ser honesto e visível

O modo de falha que mais temo na IA para ciência não é a resposta errada. É a resposta não validada apresentada com a mesma confiança da validada. Interfaces achatam tudo em texto, e texto não tem estado de validação. Então a regra de design é que o status nunca se esconde: uma candidata parece diferente de um resultado validado, em toda tela, toda exportação, todo lugar por onde possa viajar. Se alguém copia um número para fora do sistema, o status viaja junto.

O que validação significa quando o campo é a medicina

Na pesquisa cardiovascular, o consumidor final de um avanço validado é uma decisão clínica. Isso eleva a régua do que 'validado' significa: não só que o código rodou e a estatística deu significativa, mas que a afirmação sobreviveu ao escrutínio de gente que entende a biologia e o contexto clínico, e idealmente que foi reproduzida por alguém sem interesse no resultado. Isso é lento, e deve ser lento. Meu trabalho é tornar tudo antes dessa etapa rápido e tudo nessa etapa inevitável.

O princípio

É por isso que 'todo avanço precisa de validação científica' é um dos princípios a que submeto a ELUCENIA, e por isso o entendo como restrição arquitetural, não como declaração de valores. Validação é um campo em cada objeto, um portão em cada transição, uma marca visível em cada tela. Não é uma fase. Uma fase pode ser pulada quando o prazo aperta. Uma propriedade, não.