A Anthropic disse ter escolhido a Accenture como sua primeira avaliadora incorporada para ajudar a desacelerar o ritmo do desenvolvimento da IA, conforme proposto na semana passada pelo CEO Dario Amodei.
Amodei publicou uma proposta em três etapas em 12 de setembro para desacelerar o desenvolvimento da IA e permitir a implementação de salvaguardas, em meio a alertas sobre o potencial de danos catastróficos após um desenvolvimento rápido e sem controle.
O CEO da OpenAI, Sam Altman, e o CEO da SpaceX, Elon Musk, reagiram positivamente à proposta de Amodei, embora o CEO da Nvidia, Jensen Huang, não tenha reagido da mesma forma, argumentando que tal regulamentação não era necessária.
Ainda assim, Amodei escreveu em sua proposta que “a IA tem avançado drasticamente mais rápido, impulsionada principalmente pela capacidade crescente da IA de construir a próxima geração de IA. Essa dinâmica é chamada de autoaperfeiçoamento recursivo” e que, “se deixada sem controle, ela poderia superar nossa capacidade de compreender e controlar esses sistemas”.
Relacionado: Chefe da Anthropic pede que o desenvolvimento da IA desacelere para um ritmo mais seguro
O primeiro passo da proposta de Amodei é contar com avaliadores independentes com acesso semelhante ao de funcionários, compromisso ao qual a Anthropic já havia aderido unilateralmente, escreveu Amodei.
A Anthropic anunciou na sexta-feira uma medida para cumprir esse compromisso, ao firmar uma parceria com a Accenture e sua empresa de IA, a Faculty, para “avaliar modelos e realizar red teaming, conduzir avaliações de alinhamento e testar salvaguardas dos modelos”.
Os detalhes de como isso acontecerá ainda estão sendo definidos, pois a avaliação incorporada é algo novo, disse a empresa.
A Anthropic e a Accenture esperam investir pelo menos US$ 1 bilhão cada no projeto nos próximos cinco anos, segundo o anúncio.
Anthropic financiará diretamente o trabalho em meio à urgência
A Anthropic observou que também não existe um sistema para financiar avaliações independentes; portanto, o financiamento de longo prazo deveria vir de fontes conjuntas ou governamentais. No entanto, dada a urgência do trabalho, a Anthropic financiará diretamente o trabalho da Accenture.
A parceria não é exclusiva, e a Anthropic espera anunciar outros avaliadores nas próximas semanas, com os quais também trabalhará.
A Faculty, da Accenture, é especializada em testar e avaliar modelos para alguns dos principais laboratórios de IA do mundo e em construir sistemas complexos de IA que sejam seguros e éticos desde sua concepção, disse a empresa na sexta-feira.
“A avaliação incorporada é uma área emergente, e esperamos trabalhar com a Anthropic para ajudar a acelerar o desenvolvimento de avaliadores incorporados, que consideramos uma parte importante do cenário de segurança daqui para frente”, disse Julie Sweet, presidente do conselho e CEO da Accenture.