Управление ИИ является красным флагом: Виталик Бутерин предлагает альтернативу - Coinspeaker

Ключевые заметки

• Виталик Бутерин предупредил, что наивное управление ИИ слишком легко эксплуатируется.
• Недавняя демонстрация показала, как злоумышленники могут заставить ChatGPT раскрыть личные данные.
• Модель "информационных финансов" Бутерина способствует разнообразию, контролю и устойчивости.

Сооснователь Ethereum Виталик Бутерин предостерег своих подписчиков в X о рисках, связанных с зависимостью от искусственного интеллекта (AI) для управления, утверждая, что текущие подходы слишком легко эксплуатировать.

Беспокойства Бутерина последовали за еще одним предупреждением соучредителя EdisonWatch Эито Миямуры, который показал, как злонамеренные лица могут захватить новый Протокол Контекста Модели OpenAI (MCP) для доступа к личным данным пользователей.

Риски наивного управления ИИ

Тест Миямуры показал, как простое приглашение в календаре с скрытыми командами может обмануть ChatGPT, заставив его раскрыть конфиденциальные электронные письма после того, как ассистент получил доступ к скомпрометированной записи.

Эксперты по безопасности отметили, что большие языковые модели не могут отличить подлинные инструкции от злонамеренных, что делает их крайне уязвимыми для манипуляций.

Бутерин сказал, что этот недостаток является серьезным сигналом тревоги для систем управления, которые слишком доверяют ИИ.

Он утверждал, что если такие модели будут использоваться для управления финансированием или принятием решений, злоумышленники смогут легко обойти меры предосторожности с помощью подсказок в стиле jailbreak, оставляя процессы управления открытыми для злоупотреблений.

Инфо Финанс: рыночная альтернатива

Чтобы устранить эти слабости, Бутерин предложил систему, которую он называет «информационными финансами». Вместо того чтобы концентрировать власть в одном ИИ, эта структура позволяет нескольким моделям управления конкурировать на открытом рынке.

Любой может внести модель, и их решения могут быть оспорены через случайные проверки, при этом окончательное слово остается за человеческими жюри.

Этот подход предназначен для обеспечения устойчивости путем сочетания разнообразия моделей с человеческим контролем. Кроме того, предусмотрены стимулы как для разработчиков, так и для внешних наблюдателей для выявления недостатков.

Проектирование учреждений для надежности

Бу́терин описывает это как метод «дизайна института», при котором большие языковые модели от различных участников могут быть подключены, а не полагаться на единую централизованную систему.

Он добавил, что это создает разнообразие в реальном времени, снижая риск манипуляций и обеспечивая адаптивность по мере появления новых вызовов.

В начале августа Бутерин раскритиковал стремление к созданию высокоавтономных ИИ-агентов, заявив, что повышенный контроль со стороны человека в целом улучшает как качество, так и безопасность.

Он поддерживает модели, которые позволяют итеративное редактирование и человеческую обратную связь, а не те, которые предназначены для работы независимо в течение длительных периодов.

Следующий дисклеймер: Coinspeaker стремится предоставлять беспристрастные и прозрачные отчеты. Эта статья нацелена на то, чтобы предоставить точную и своевременную информацию, но не должна восприниматься как финансовый или инвестиционный совет. Поскольку рыночные условия могут быстро меняться, мы рекомендуем вам самостоятельно проверять информацию и консультироваться с профессионалом перед принятием каких-либо решений на основе этого контента.