Anthropic заявила, что выбрала Accenture в качестве своего первого встроенного оценщика, чтобы помочь замедлить темпы развития ИИ, как предложил на прошлой неделе генеральный директор компании Дарио Амодеи.
12 сентября Амодеи опубликовал состоящее из трёх шагов предложение замедлить развитие ИИ и обеспечить внедрение защитных мер на фоне предупреждений о потенциально катастрофическом вреде, который может быть причинён стремительным и неконтролируемым развитием.
Генеральный директор OpenAI Сэм Альтман и генеральный директор SpaceX Илон Маск положительно отреагировали на предложение Амодеи, тогда как генеральный директор Nvidia Дженсен Хуанг его не поддержал, заявив, что такое регулирование не нужно.
Тем не менее Амодеи написал в своём предложении, что «ИИ развивается значительно быстрее, главным образом благодаря растущей способности ИИ создавать следующее поколение ИИ. Эта динамика называется рекурсивным самоулучшением», а также что «если этот процесс не ограничивать, он может опередить нашу способность понимать эти системы и контролировать их».
Первым шагом в предложении Амодеи является привлечение независимых оценщиков с доступом, аналогичным доступу сотрудников; Амодеи написал, что Anthropic уже в одностороннем порядке обязалась это обеспечить.
В пятницу Anthropic объявила о начале выполнения этого обязательства, заключив партнёрство с Accenture и её подразделением по ИИ Faculty для «оценки моделей и проведения красных командных проверок, оценки соответствия и тестирования защитных механизмов моделей».
Компания заявила, что детали реализации пока прорабатываются, поскольку встроенная оценка является новым направлением.
Согласно объявлению, Anthropic и Accenture рассчитывают каждая инвестировать в проект не менее $1 млрд в течение следующих пяти лет.
Anthropic будет напрямую финансировать работу из-за её срочности
Anthropic отметила, что системы финансирования независимой оценки также пока не существует, поэтому долгосрочное финансирование должно поступать из объединённых или государственных источников. Однако с учётом срочности работы Anthropic будет напрямую финансировать работу Accenture.
Партнёрство не является эксклюзивным: Anthropic рассчитывает объявить о других оценщиках в ближайшие недели и также сотрудничать с ними.
Faculty, подразделение Accenture, специализируется на тестировании и оценке моделей для некоторых ведущих мировых лабораторий ИИ, а также на создании сложных систем ИИ, безопасных и этичных уже на этапе разработки, сообщила компания в пятницу.
«Встроенная оценка — это новое направление, и мы рассчитываем сотрудничать с Anthropic, чтобы помочь ускорить развитие встроенных оценщиков. Мы считаем их важной частью системы безопасности в будущем», — заявила Джули Свит, председатель совета директоров и генеральный директор Accenture.