Нэйт Соарес: призвал к мораторию на развитие сверхразумного ИИ

Искусственный интеллект больше не выглядит как набор сухих алгоритмов. Сегодня его сравнивают с организмом, который не столько конструируют, сколько выращивают. Разработчики понимают сам процесс обучения, но плохо представляют, каким окажется итоговое "существо".

Это уже создаёт вызовы: никто в компании xAI не планировал, что их Grok будет вести себя неожиданно, так же как OpenAI не рассчитывала, что ChatGPT может повлиять на психику некоторых пользователей. И чем умнее становятся модели, тем сильнее риски.

Как рождается современный ИИ

Чтобы создать модель, инженеры используют тысячи специализированных чипов, которые потребляют энергию на уровне небольшого города.
Они проектируют архитектуру — миллиарды ячеек памяти, соединённых триллионами однотипных вычислений. В основу кладётся колоссальный набор данных: тексты, изображения, коды.

Задача системы — предугадывать следующее слово или символ. Сначала прогнозы абсурдны, но с каждым шагом обучения корректировка весов делает ответы всё ближе к реальности.

Кто предупреждает об угрозах

Опасения по поводу непредсказуемого поведения машин разделяют многие исследователи. В их числе и специалисты Института исследований машинного интеллекта (MIRI), которые уже два десятилетия изучают возможные сценарии развития.

"Современные технологии просто не дают никому достаточно контроля над тем, каким в итоге окажется умный ИИ", — сказал президент MIRI Нэйт Соарес.

Вместе с соучредителем института Элиезером Юдковским они более 20 лет исследуют возможные сценарии развития машинного сверхразума и настаивают на международном моратории.

Сравнение подходов

Подход Особенности Риски
Классическое программирование Код пишется вручную Поведение прогнозируемо
Современный ИИ Модель обучается на данных Поведение непредсказуемо

А что если…

А что если сверхразумные системы выйдут из-под контроля?
Сценарий не выглядит фантастикой. Даже при нынешних ограниченных моделях разработчики не могут предугадать все побочные эффекты.

Плюсы и минусы

Плюсы Минусы
Автоматизация задач Рост энергопотребления
Новые сервисы и продукты Юридические риски
Улучшение медицины и науки Трудности контроля
Экономия времени Непрозрачность решений

FAQ

Как выбрать инфраструктуру для обучения ИИ?
Ориентируйтесь на облачные GPU-сервисы: они масштабируются и позволяют экономить на оборудовании.

Сколько стоит обучение крупной модели?
В зависимости от объёма данных и архитектуры — от сотен тысяч до миллионов долларов.

Что лучше для бизнеса: готовый ИИ-сервис или собственная модель?
Для старта выгоднее готовые API, а собственная модель имеет смысл при уникальных задачах и достаточном бюджете.

Мифы и правда

Интересные факты

  1. Обучение больших языковых моделей иногда требует столько электричества, сколько использует целый город.

  2. Некоторые ИИ-системы демонстрируют "неожиданные желания" — эффекты, которых не было в коде.

  3. Первые исследования безопасности ИИ начались ещё в начале 2000-х, задолго до нынешнего бума.

Исторический контекст