Anthropic сообщила, что выбрала Accenture в качестве своего первого встроенного оценщика, чтобы помочь замедлить темпы развития ИИ, как на прошлой неделе предложил генеральный директор компании Дарио Амодеи.
12 сентября Амодеи представил состоящее из трех этапов предложение замедлить развитие ИИ и внедрить меры защиты на фоне предупреждений о потенциально катастрофическом ущербе вследствие стремительного и неконтролируемого развития.
Генеральный директор OpenAI Сэм Альтман и генеральный директор SpaceX Илон Маск положительно отреагировали на предложение Амодеи, тогда как генеральный директор Nvidia Дженсен Хуанг не поддержал его, заявив, что такое регулирование не требуется.
Тем не менее в своем предложении Амодеи написал, что «ИИ развивается значительно быстрее, прежде всего благодаря растущей способности ИИ создавать следующее поколение ИИ. Эта динамика называется рекурсивным самоулучшением», а также что «если не поставить ее под контроль, она может опередить нашу способность понимать эти системы и управлять ими».
По теме: Глава Anthropic призывает замедлить развитие ИИ до более безопасных темпов
Первым этапом предложения Амодеи является привлечение независимых оценщиков с доступом на уровне сотрудников; как написал Амодеи, Anthropic уже в одностороннем порядке обязалась сделать это.
В пятницу Anthropic объявила о шаге к выполнению этого обязательства, заключив партнерство с Accenture и ее подразделением по работе с ИИ Faculty для «оценки моделей и проведения красных команд, оценки согласованности и тестирования мер защиты моделей».
Компания сообщила, что детали реализации еще прорабатываются, поскольку встроенная оценка является новым направлением.
Согласно объявлению, Anthropic и Accenture рассчитывают инвестировать в проект не менее $1 млрд каждая в течение следующих пяти лет.
Anthropic будет напрямую финансировать работу на фоне срочности
Anthropic отметила, что системы финансирования независимой оценки также пока не существует, поэтому долгосрочное финансирование должно поступать из объединенных или государственных источников. Однако с учетом срочности этой работы Anthropic будет напрямую финансировать работу Accenture.
Партнерство не является эксклюзивным, и Anthropic рассчитывает в ближайшие недели объявить о других оценщиках, с которыми также будет сотрудничать.
Faculty, подразделение Accenture, специализируется на тестировании и оценке моделей для некоторых ведущих лабораторий ИИ в мире, а также на создании сложных систем ИИ, безопасных и этичных по замыслу, сообщила компания в пятницу.
«Встроенная оценка — это формирующееся направление, и мы рассчитываем на партнерство с Anthropic, которое поможет ускорить развитие встроенных оценщиков. Мы считаем их важной частью будущей системы безопасности», — заявила Джули Свит, председатель совета директоров и генеральный директор Accenture.