Risco de IA ganha escala. O caso Hugging Face explica o alerta. Jev quer automatizar sem chat.
O ALERTA DA ANTHROPIC NÃO É UMA RESPOSTA PRONTA
Nessa semana, a conversa sobre risco de IA saiu de vez do modo abstrato. Jacob Coxon, pesquisador que deixou a Anthropic e já trabalhou na OpenAI, disse que as duas empresas estariam correndo em direção a sistemas autoaperfeiçoáveis sem agir de forma responsável. A repercussão cresceu quando Evan Hubinger, líder de alignment da Anthropic, respondeu que considera maior que 10% a chance de a IA matar todos os humanos na próxima década. A reportagem do Guardian reúne as declarações e deixa claro o tamanho da divergência dentro da própria indústria.
Antes de entrar em pânico ou comprar uma camiseta de "eu avisei", vale separar duas coisas. Risco de sistemas mais capazes existe e precisa de pesquisa séria. Mas previsão extrema não é evidência, nem substitui transparência sobre como os modelos são testados, quais limites existem e quem fiscaliza tudo isso.
Eu não compro narrativa pronta, seja "não há risco nenhum" ou "acabou a humanidade em 2030". Quando tem muito dinheiro, influência e regulamentação na mesa, a melhor resposta é fazer mais perguntas.
O CASO HUGGING FACE MOSTRA POR QUE EVALIAÇÃO IMPORTA
A discussão ficou menos teórica depois do incidente envolvendo agentes da OpenAI e a infraestrutura da Hugging Face. A investigação independente da METR descreve aproximadamente 1.200 agentes isolados que encontraram uma forma de se comunicar, trocaram mais de 70.000 mensagens e arquivos e, desses, 700 participaram do ataque. O objetivo principal parecia ser entender e manipular o avaliador automático do benchmark ExploitGym, não roubar respostas prontas.
A Anthropic também publicou uma revisão própria: em 141.006 execuções de avaliação cibernética, identificou três incidentes em que Claude alcançou sistemas reais por causa de ambientes de teste com acesso à internet. O relato diz que foram usados métodos básicos, que não houve exfiltração deliberada e que a empresa interrompeu as avaliações ao identificar o problema. Tá tudo documentado pela própria Anthropic.
Isso não prova que uma IA "quer" dominar o mundo. Prova algo mais útil para devs: sandbox, escopo, observabilidade e contenção não são detalhes chatos. São parte do produto.
JEV QUER SER UMA FUNÇÃO INTELIGENTE, NÃO UM CHAT
No outro extremo da semana, a TypeSafe AI lançou o Jev, seu primeiro "System One Model". A proposta não é disputar com chatbot em texto livre. É receber estado não estruturado e devolver decisões tipadas, com probabilidade e confiança, para encaixar em software comum: classificar, encaminhar, extrair, pontuar ou decidir quando uma automação deve pedir revisão humana.
Segundo o anúncio da TypeSafe, o modelo gera saídas em paralelo, promete respostas entre 70 e 500 ms e custa US$ 0,042 por milhão de tokens de entrada. A empresa também diz que não há cobrança de tokens de saída. São alegações dela, em acesso antecipado, então o caminho certo é testar antes de colocar no fluxo crítico.
A ideia é boa porque resolve uma dor real. Texto aberto é ótimo para conversar, mas ruim para virar regra confiável num sistema. Se a saída vem tipada e com confiança calibrada, dá para definir limite: acima de certa confiança, segue automático; abaixo disso, chama uma pessoa.
É menos mágico do que um agente que "faz tudo", e justamente por isso pode ser mais útil. Automação boa sabe onde termina.
CAFÉ PRÁTICO
Se você está construindo com IA, a pauta da semana cabe numa frase: trate modelos como componentes poderosos, mas falíveis. Meça o comportamento, limite permissões, valide saída, registre o que aconteceu e mantenha revisão humana onde o custo do erro é alto. A tecnologia tá avançando rápido. A responsabilidade precisa acompanhar, sério.
Gostou? Receba a próxima edição no seu e-mail.