A Anthropic disse que escolheu a Accenture como sua primeira avaliadora incorporada para ajudar a desacelerar o ritmo do desenvolvimento da IA, conforme proposto na semana passada pelo CEO Dario Amodei.
Amodei publicou uma proposta em três etapas em 12 de setembro para desacelerar o desenvolvimento da IA e permitir a implementação de salvaguardas, em meio a alertas sobre o potencial de danos catastróficos após um desenvolvimento rápido e sem controle.
O CEO da OpenAI, Sam Altman, e o CEO da SpaceX, Elon Musk, responderam positivamente à proposta de Amodei, embora o CEO da Nvidia, Jensen Huang, não tenha respondido da mesma forma, argumentando que tal regulamentação não era necessária.
Ainda assim, Amodei escreveu em sua proposta que “a IA tem avançado drasticamente mais rápido, impulsionada principalmente pela capacidade crescente da IA de construir a próxima geração de IA. Essa dinâmica é chamada de autoaperfeiçoamento recursivo” e que, “se não for controlada, ela poderá superar nossa capacidade de compreender e controlar esses sistemas”.
O primeiro passo da proposta de Amodei é contar com avaliadores independentes com acesso semelhante ao de funcionários, compromisso ao qual a Anthropic já havia aderido unilateralmente, escreveu Amodei.
A Anthropic anunciou na sexta-feira uma medida para cumprir esse compromisso, ao fazer parceria com a Accenture e sua unidade de IA, a Faculty, para “avaliar e realizar red teaming em modelos, conduzir avaliações de alinhamento e testar salvaguardas dos modelos”.
Os detalhes de como isso acontecerá ainda estão sendo definidos, pois a avaliação incorporada é algo novo, disse a empresa.
A Anthropic e a Accenture esperam investir cada uma pelo menos US$ 1 bilhão no projeto nos próximos cinco anos, de acordo com o anúncio.
Anthropic financiará diretamente o trabalho em meio à urgência
A Anthropic observou que também não existe um sistema para financiar avaliações independentes; portanto, o financiamento de longo prazo deveria vir de fontes conjuntas ou governamentais. No entanto, dada a urgência do trabalho, a Anthropic financiará diretamente o trabalho da Accenture.
A parceria não é exclusiva, e a Anthropic espera anunciar outras avaliadoras nas próximas semanas, com as quais também trabalhará.
A Faculty, da Accenture, é especializada em testar e avaliar modelos para alguns dos principais laboratórios de IA do mundo e em construir sistemas complexos de IA que sejam seguros e éticos desde a concepção, disse a empresa na sexta-feira.
“A avaliação incorporada é uma área emergente, e esperamos fazer parceria com a Anthropic para ajudar a acelerar o desenvolvimento de avaliadores incorporados, que consideramos uma parte importante do cenário de segurança daqui para frente”, disse Julie Sweet, presidente do conselho e CEO da Accenture.