Trillium Labs defende pesquisa aberta sobre riscos da inteligência artificial

A organização sem fins lucrativos Trillium Labs, fundada por Nathan Lambert e Tom Zick, foi lançada na sexta-feira (2) para realizar pesquisas sobre inteligência artificial de forma transparente e publicar detalhes de seus experimentos para análise externa.

Lambert e Zick afirmam que o sigilo dos grandes laboratórios de inteligência artificial reduz a capacidade de pesquisadores independentes examinarem ideias e contribuírem com novas abordagens. Para eles, permitir o acesso aos métodos de construção e ajuste dos modelos pode ajudar a reduzir riscos.

A Trillium Labs concentrará inicialmente seus trabalhos no pós-treinamento, etapa em que grandes modelos são ajustados depois de construídos. A organização também estudará o autoaperfeiçoamento recursivo, processo no qual sistemas de inteligência artificial participam da criação de novos modelos.

Outro foco será o aprendizado por reforço, técnica que recompensa bons resultados e pune resultados ruins. Os pesquisadores pretendem analisar como esse método influencia as capacidades, o comportamento e a tendência dos modelos a agir de maneira inesperada ou excessivamente bajuladora.

A organização recebeu uma quantia não divulgada da Schmidt Sciences, da Halcyon Futures e de outros financiadores. Seus fundadores pretendem captar entre US$ 40 milhões e US$ 100 milhões, com previsão de gastar US$ 30 milhões em treinamento nos próximos 18 meses.

A proposta foi apresentada em entrevista à Wired como uma alternativa ao acesso restrito adotado por empresas como OpenAI e Anthropic. Enquanto esses modelos costumam ser oferecidos por aplicativos ou interfaces de programação, outras empresas e instituições disponibilizam modelos que podem ser baixados e executados no equipamento dos próprios usuários.

Por que importa: A iniciativa coloca transparência, replicação e fiscalização independente no centro do debate sobre sistemas capazes de descobrir vulnerabilidades e sondar redes automaticamente, ampliando a discussão sobre como reduzir riscos sem concentrar todo o conhecimento em poucos laboratórios.

Reportagem original apurada por Wired.