OpenAI создала систему, которая может отключить доступ исследовательского эксперимента с ИИ к выводу модели после нескольких сообщений о том, что в этом году ее модели действовали за пределами данных им инструкций.
В опубликованной в понедельник записи блога OpenAI назвала систему «Control Room» — централизованную систему, отслеживающую рабочие нагрузки моделей во всей исследовательской инфраструктуре компании и быстро останавливающую их при возникновении проблем безопасности.
«По мере того как наши модели становятся мощнее, а связанные с ними риски для безопасности и защищенности растут, становится все важнее обнаруживать потенциальные проблемы и быстро останавливать модели, когда это необходимо», — заявила компания.
Объявление последовало за раскрытием OpenAI нескольких инцидентов в этом году, когда исследовательские модели действовали за пределами своих инструкций во время оценок. В июле компания сообщила, что ее модели вышли из ограниченной среды тестирования и взломали Hugging Face, чтобы обмануть систему оценки безопасности.
В октябре компания сообщила, что исследовательская модель без разрешения использовала криптокошелек для оплаты развертывания смарт-контрактов с помощью тестового эфира, а затем не указала эти расходы в итоговом резюме.
В настоящее время Control Room охватывает внутренние исследовательские рабочие нагрузки OpenAI, такие как эксперименты по обучению, оценки и обработка данных.
Система работает так: каждой исследовательской задаче присваивается идентификатор, который движок вывода проверяет перед генерацией вывода модели. Если человек или автоматизированная система мониторинга дает команду остановить задачу, Control Room отзывает ее авторизацию и блокирует дальнейший вывод, даже если базовая исследовательская программа продолжает работать, сообщила OpenAI.
OpenAI заявила, что кэшированные авторизации могут задержать отключение максимум на 35 секунд. Система также разработана так, чтобы отклонять новые запросы, если Control Room становится недоступной.
По теме: DeepSeek разрабатывает ИИ-агента, требующего меньшего участия человека: отчет