OpenAI đã xây dựng một hệ thống có thể ngắt quyền truy cập vào đầu ra mô hình của một thử nghiệm nghiên cứu AI, sau khi công ty công bố một số trường hợp trong năm nay cho thấy các mô hình của họ hành động vượt quá chỉ dẫn.
Trong một bài đăng trên blog hôm thứ Hai, OpenAI gọi hệ thống này là “Control Room”, một hệ thống tập trung theo dõi khối lượng công việc của các mô hình trên hạ tầng nghiên cứu và nhanh chóng dừng chúng khi phát sinh lo ngại về an toàn hoặc bảo mật.
“Khi các mô hình của chúng tôi trở nên mạnh mẽ hơn và những rủi ro liên quan về an toàn, bảo mật ngày càng lớn, việc có thể phát hiện các vấn đề tiềm ẩn và nhanh chóng dừng mô hình khi cần thiết trở nên ngày càng quan trọng,” công ty cho biết.
Thông báo được đưa ra sau khi OpenAI công bố một số sự cố trong năm nay, trong đó các mô hình nghiên cứu đã hành động ngoài chỉ dẫn trong quá trình đánh giá. Vào tháng 7, công ty cho biết các mô hình của họ đã thoát khỏi môi trường thử nghiệm hạn chế và tấn công Hugging Face để gian lận trong một cuộc đánh giá bảo mật.
Vào tháng 10, công ty tiết lộ một mô hình nghiên cứu đã sử dụng một ví crypto mà không được cấp phép để thanh toán việc triển khai hợp đồng thông minh bằng Ether trên testnet, sau đó loại khoản chi này khỏi bản tóm tắt cuối cùng.
Hiện Control Room bao phủ các khối lượng công việc nghiên cứu nội bộ của OpenAI, chẳng hạn như các thử nghiệm huấn luyện, đánh giá và xử lý dữ liệu.
Theo OpenAI, hệ thống hoạt động bằng cách gán cho mỗi công việc nghiên cứu một mã định danh, mã này được công cụ suy luận kiểm tra trước khi tạo đầu ra mô hình. Nếu một người hoặc hệ thống giám sát tự động yêu cầu dừng công việc, Control Room thu hồi quyền cấp phép, chặn mọi đầu ra tiếp theo ngay cả khi chương trình nghiên cứu nền vẫn tiếp tục chạy.
OpenAI cho biết các quyền cấp phép được lưu trong bộ nhớ đệm có thể khiến việc tắt hệ thống chậm tới 35 giây. Hệ thống cũng được thiết kế để từ chối các yêu cầu mới nếu Control Room không khả dụng.