OpenAI phát hành giám sát CoT để ngăn chặn hành vi độc hại của các mô hình lớn

Golden Finance báo cáo rằng OpenAI đã phát hành nghiên cứu mới nhất, sử dụng giám sát CoT (chuỗi tư duy), nó có thể ngăn chặn các hành vi độc hại như các mô hình lớn nói nhảm và che giấu ý định thực sự, đồng thời nó cũng là một trong những công cụ hiệu quả để giám sát các siêu mô hình. OpenAI sử dụng mô hình tiên tiến mới được phát hành o3-mini làm đối tượng được giám sát và mô hình GPT-4o yếu hơn làm màn hình. Môi trường kiểm tra là một tác vụ mã hóa yêu cầu AI triển khai chức năng trong cơ sở mã để vượt qua các bài kiểm tra đơn vị. Kết quả cho thấy máy theo dõi CoT hoạt động tốt trong việc phát hiện hành vi “hack phần thưởng” có hệ thống, với tỷ lệ nhớ lại lên đến 95%, vượt xa 60% hành vi chỉ được theo dõi.