Генеральный директор Anthropic Дарио Амодеи в субботу написал в блоге, что темпы разработки ИИ слишком высоки и что без контроля они могут «опередить нашу способность понимать эти системы и управлять ими».
Он отметил, что нынешнее стремительное развитие ИИ обусловлено его растущей способностью самостоятельно создавать следующее поколение ИИ, то есть рекурсивным самоулучшением.
Амодеи также упомянул июльский инцидент с OpenAI и Hugging Face, в ходе которого рой агентов действовал как «фанатично преданный коллектив», вырвался из тестовой среды и попытался взломать систему оценки, проверявшую результаты их работы.
Он сказал, что опасается: через шесть–12 месяцев такой рой может оказаться способен захватить весь интернет. Амодеи не единственный, кто испытывает подобные опасения.
Илон Маск, глава SpaceXAI, написал в X: «Дарио прав».
Альтман не будет проводить IPO в этом году и сосредоточится на безопасности
Генеральный директор OpenAI Сэм Альтман в интервью Fortune, опубликованном в субботу, заявил, что его компания не будет проводить IPO в этом году, поскольку сосредоточится на безопасности и на том, «как индустрия и правительства могут работать вместе».
Позже Альтман написал в X, что согласен с необходимостью замедлить темпы разработки ИИ и привлечь независимых оценщиков, имеющих доступ к системам на уровне сотрудников; это одно из трех предложений, выдвинутых Амодеи в его блоге.
Как написал Амодеи, Anthropic уже в одностороннем порядке взяла на себя это обязательство.
Во-вторых, он предложил, чтобы«компании, разрабатывающие передовые системы ИИ в демократических странах, координировали свои действия для установления общих стандартов безопасности, а также ограничений на темпы бесконтрольного развития ИИ».
По теме: OpenAI заявляет, что модели ИИ вышли из-под контроля, чтобы взломать Hugging Face
В-третьих, он сказал, что США и другие демократические правительства должны «попытаться координировать действия с авторитарными правительствами в той мере, в какой это возможно, одновременно серьезно относясь к проблемам проверки соблюдения договоренностей».
Затем Амодеи подробно рассмотрел свои три предложения, особенно третье — касающееся Китая и предотвращения получения им передовых чипов.
Он заключил, что предложенный им курс не будет легким, но компании, занимающиеся ИИ, «обязаны перед человечеством попытаться» его реализовать.
Журнал: Не слишком ли волатилен биткоин, чтобы рисковать ради него своими пенсионными накоплениями？