«Можем потерять контроль»: гигант Anthropic призывает замедлить развитие ИИ
Компания Anthropic, разработчик ИИ-модели Claude, предупреждает о скором наступлении момента, когда искусственный интеллект выйдет из-под контроля человека, и призывает к замедлению развития этой технологии.
Этапы эволюции
В своем заявлении Anthropic выделяет три стадии развития больших языковых моделей, пройденные с 2023 года:
- простые диалоговые системы;
- помощники программистов, способные писать и отлаживать код;
- полностью автономные агенты, выполняющие сложные задачи без участия человека.
Код, пишущий сам себя
Следующий рубеж – так называемая замкнутая петля разработки. Это системы, которые сами создают и обучают новые поколения моделей, практически без вмешательства людей:
- уже сейчас 80% программного кода Claude сгенерировано ею же;
- по прогнозу компании, до стопроцентного показателя остался год или два.
В обращении Anthropic указывается на то, что в случае, если ИИ-системы обретут способность производить себе подобных, вопросы их безопасности, мониторинга и контроля выйдут на совершенно иной уровень.
При этом полное рекурсивное самосовершенствование также может увеличить риск потери контроля над системами ИИ со стороны человека
Тормозов нет
«Если бы существовала возможность эффективно замедлить развитие этой технологии, чтобы дать себе больше времени на решение ее огромных проблем, мы считаем, что это было бы, вероятно, хорошо», – говорится в заявлении Anthropic.
В то же время в компании признают, что призывы к добровольным ограничениям вряд ли сработают, так как скрыть процесс обучения новой модели от конкурентов не составит большого труда.
При этом любой участник конкурентной гонки, который откажется соблюдать паузу, мгновенно получит гигантское преимущество.
Триллионный контекст
Примечательно, что Anthropic сама готовится к рекордному IPO, а оценка компании приближается к $1 трлн.
При этом она последовательно выстраивает имидж самого ответственного игрока на рынке ИИ, предупреждая о разрушительном влиянии физических ИИ-агентов на рынок труда и об опасностях автономных военных систем.
Весной между Anthropic и Пентагоном разгорелся скандал из-за отказа компании разрешить военным использовать свои модели (включая Claude) для создания полностью автономного оружия и систем массовой слежки.
Этот громкий конфликт вызвал масштабные обсуждения этики искусственного интеллекта, корпоративного контроля и государственных военных заказов.