ИИ разрушил мир в Иране: способен ли он разрушить всё человечество?

Красные линии «чокнутых леваков»

В конце января в Штатах разразился скандал. 65 специалистов компании-разработчика искусственного интеллекта Anthropic написали открытое письмо, в котором заявили об угрозах использования ИИ  для автономного управления системами вооружения без участия человека и слежки за людьми. Это вызвало гнев министра войны. Пит Хегсет вызвал главу компании Дарио Амодеи «на ковер» и поставил ему ультиматум: либо Anthropic отказывается от своих «красных линий» до — внимание! - 17:01  27 февраля, либо  Пентагон разрывает контракт на $200 млн и присваивает Anthropic статус "угрозы цепочке поставок" (это черная метка, которую ранее США выдавали исключительно иностранным фирмам — одной из них была китайская Huawei). Амодеи на угрозы и уговоры Пентагона не поддался и не снял своих претензий по поводу этических вопросов использования ИИ для целей «обороны и национальной безопасности США». Дональд Трамп назвал руководство компании «чокнутыми леваками».

28 февраля США и Израиль начали агрессию против Ирана. В течение следующих нескольких дней к письму айтишников Anthropic “We will not be divided” («Мы не будем разделены» - англ.) присоединились более 200 сотрудников Google и OpenAI. 

"Центральное командование использует различные инструменты искусственного интеллекта, и это именно то, чем они являются: инструментами, призванными помогать экспертам в процессе, соответствующем политике США, военной доктрине и законодательству", - заявил агентству Bloomberg представитель Центрального командования ВС США капитан Тимоти Хокинс.

По данным Bloomberg, ключевым инструментом для планирования и проведения операции в Иране для США стала цифровая платформа управления полетами Maven Smart System (разработка Google), усиленную и ускоренную нейросетью Claude AI — главной разработкой компании Anthropic. Сам Пит Хегсет также подтвердил применение именно этих инструментов. По данным близким к Пентагону источников, которых цитируют американские СМИ, «алгоритмы ИИ взяли на себя первичную обработку огромных массивов разведданных, что позволило аналитикам сосредоточиться на стратегически важных задачах. Отмечается, что использование технологий ИИ для первоначальной проверки поступающих данных дало возможность специалистам сконцентрироваться на более глубоком анализе”. 

“Наши полномочия, его полномочия, полномочия центрального командования, полученные от президента и от меня, задействованы по максимуму», - заявил Хегсет, продолжая тираду об отказе Пентагона от «глупых политкорректных методах ведения войны».

Использовался ли ИИ для слежки за Али Хаменеи, который был убит в своей резиденции вместе с семьей и 14-месячной внучкой? Использовался ли ИИ  для нанесения удара по зданию совета экспертов Исламской республики в тот самый момент, когда проходили выборы нового духовного лидера страны? Мы об этом можем только гадать. Но на днях два американских чиновника сообщили Reuters, что военные следователи США пришли к выводу об ответственности американских ВС за удар по иранской начальной школе для девочек в Минабе, в результате которого погибли 165 детей. Те же чиновники со ссылкой на военное следствие сообщили агентству, что объект для атаки военным подсказал искусственный интеллект.

«Он очень опасен, если немножечко не просчитать последствия»

В России риски, связанные с неправильным применением ИИ-технологий понимают очень хорошо. Причем это понимание есть не только у военных, но и людей сугубо гражданских. «Мы будем еще более широко использовать искусственный интеллект — очень умно и осторожно, потому что он очень опасен, если немножечко не просчитать последствия». Это слова главы ЦИК РФ Эллы Памфиловой, и сказаны они были применительно к перспективам использования ИИ на предстоящих осенью этого года выборах в Госдуму. То есть мы осознаем риски и считаем их неприемлемыми — даже если риск сводится к неправильному подсчету голосов. Для Трампа и Хегсета риски в виде 165 детских могил в Иране вполне приемлемы и укладываются в категорию косвенного ущерба. Ну промахнулись, бывает. Если в «промахе» виноват ИИ, так тем более – он же еще маленький, учится. Понять и простить.

Какими могут быть последствия просчета и во что выливается применение машинного разума - мы выяснили у руководителя лаборатории по разработке ИИ Адама-Сергея Авакяна.

- В начале этого года нейросети оказались в центре нескольких скандалов. Конечно, теперь они кажутся мелкими. Во-первых, наш Верховный суд запретил использовать ИИ для предвыборной агитации. Во-вторых, чиновники одного из регионов попались на генерации открыток ко Дню студента. Меня не покидает ощущение, что человечество играется с ИИ и не соображает, чем всё может закончиться. Я ошибаюсь?

— В целом, сегодня существует огромный кредит доверия к искусственному интеллекту. До этого мы боролись за выработку критического восприятия интернета как такового. Как только общество само научилось уже более-менее не верить всему, что пишут, так резко наступила эпоха искусственного интеллекта. На сегодняшний день в социальных сетях размещаются такие ролики, что уже практически невозможно отличить их от настоящих видео. В чарты врываются нейромузыканты. Если не ошибаюсь, 25% новой музыки в Яндексе относятся к искусственному интеллекту. В Европе в топах первые места уже занимают искусственно сгенерированные авторы и музыканты.

— Я очень часто нарываюсь на эту искусственную музыку и, надо признать, поначалу это дает такой «вау-эффект». Очень красиво и профессионально сделано. Но в какой-то момент, когда заслушиваешься, появляется ощущение: нет, здесь что-то не то. Как будто это слишком хорошо, чтобы быть правдой. Слишком рафинировано. Ощущается подвох, и это пугает.

Недавно я поймал себя на мысли, что меня полностью провели. Не буду называть сейчас музыкальную группу, по жанру это этно-российский фолк — такой специфический жанр. Начинается песня, и на припеве я говорю себе: «Вот это шикарно они отыграли!» Думаю, нужно почитать про автора. Пытаюсь найти группу и обнаруживаю, что это автор- нейрокреатор. Прослушивания плейлистов у него зашкаливают за миллион. Сейчас появляются совершенно новые отрасли. Такие авторы уже задумываются: а как они будут давать концерты? На них же выходят продюсеры, говорят: «Послушайте, у вас огромная аудитория, а вы сами не умеете петь. Вы на компьютере нажимаете кнопки, и появляется сам голос и мелодия». Сейчас они начинают искать варианты с цифровыми голограммами, чтобы несуществующий артист вышел, спел.

— Это похлеще, чем десяток составов «Ласкового мая» или «Миража». Меня как журналиста волнуют проблемы пресловутого фактчекинга. Одно дело, если под вопросом песня или клип. А если это видео, на котором президент одной страны объявляет войну другой стране? Как отличить реальность от ИИ-генерации? 

— Мы, например, как лаборатория выступаем категорически против  того, чтобы люди сидели и разбирались, становились массово экспертами по нейросетям и отличали этот контент. Право, а точнее обязательство проверки  материала должно ложиться на платформы. Уже есть огромное количество  технологий, которые позволяют это делать. Есть, например, водяные знаки, когда в видео, которое сгенерировано искусственным интеллектом, внутри автоматически вшивается водяной знак, невидимый человеческому глазу. Платформа автоматически считывает его и даёт  пометку о том, что сгенерировано искусственным интеллектом.  На самом деле такая маркировка будет спасать, потому что  как минимум это очень серьёзное уважение авторов контента к своим подписчикам. Мы сразу убираем элемент введения в заблуждение и очень серьёзный пласт работы также сокращаем в сфере мошенничества. На сегодняшний день всё, что связано с киднеппингом,  операции, связанные с банковскими переводами,  совершаются в 99% случаев с использованием сетей и инструментами  социальной инженерией, клонированием голоса близких людей, созданием цифровых аватаров.  Из последних случаев: недавно моему брату пришло сообщение: «Проголосуйте за знакомого доктора, его отец будет выступать на конференции». Для голосования необходимо было зайти на сайт – профессионально сделанный, с фотографиями, тестом, - и пройти верификацию через Telegram. Брат звонит своему другу, чей отец якобы выступает на конференции, а тот  рассказывает, что буквально за шесть минут до этого его аккаунт был взломан. То есть за шесть минут мошенники взломали аккаунт, создали сайт, опубликовали фотографии и  разместили сгенерированные искусственным интеллектом тексты. Социальная инженерия при помощи ИИ уже сокращается до каких-то фантастических сроков.

ИИ знает всё, что вы когда-либо делали

— Те же американцы — отдадим им должное, они действительно впереди планеты всей по разработке ИИ — уверяют, что успешно используют нейросети в предиктивной аналитике  преступности. Мне всё это напомнило фильм «Особое мнение» с Томом Крузом. Только там вместо ИИ была троица бедолаг со сверхспособностями, которая предвидела еще не совершенные преступления. Вы еще ничего не сделали, только подумали, а к вам уже десантируются «маски-шоу» и захлопывают у вас за спиной наручники. Так это было показано в фильме. А как это работает в реальности?

- Сегодня есть профессиональные сложные системы для спецслужб, например, «Палантир» — одна из них. Это в основном американская разработка. Абсолютно всё, что вы когда-либо делали, она моментально собирает для оперативных подразделений и представляет все эти материалы в виде досье. Если до этого оперативнику нужно было месяц-два-три собирать информацию, то сейчас практически любой момент, когда вы задерживались на просмотре какого-нибудь YouTube-ролика, будет  учтён в рамках вашего психологического портрета.

Когда мы говорим про предиктивную аналитику, то да - она уже применяется, и лидерами являются сегодня Германия, Австралия, Великобритания и США. Больше всего хотелось бы остановиться на США.

В рамках предиктивной аналитики есть самая большая загвоздка. Она заключается в Big Data — тех материалах, на базе которых мы обучаем искусственный интеллект, как правильно искать эти преступления. Они зачастую носят очень субъективный характер. Искусственный интеллект собирает в себя фантастические объёмы данных. Он может проанализировать 100–200 тысяч уголовных дел в рамках определённого направления, например, педофилии. Он анализирует эти дела, анализирует все заключения психологов, которые проводились с заключёнными в период их нахождения в американской тюрьме, и начинает выявлять новые паттерны, которые мы, люди, не могли бы увидеть из-за такого огромного объёма данных. Мы не можем изучить 10 тысяч дел и держать все случаи в голове при принятии решения. А искусственный интеллект говорит, например: «Каждый раз, когда у человека есть набор таких характеристик  поведения, с вероятностью 89% он совершит рецидив после выхода из тюрьмы в радиусе полутора километров от места регистрации». Всё это учитывается автоматически, и система отправляет полицейским сообщения: «Постам усилить  патрулирование возле такой-то школы». То есть человек ещё ничего не сделал, но система анализирует, что, скорее всего, он выйдет на рецидив, потому что весь комплекс факторов исторически приводит к этому.

— Неужели эта система работает без сбоев?

— Криминалистика очень сильно продвинулась в этом плане, но есть минусы. Если мы с вами возьмём и загрузим в систему материалы, например, о правах в США до отмены рабства и спросим у ИИ, каким должен быть идеальный руководитель — он просто проанализирует и скажет, что руководитель обязательно должен быть белым. Просто потому что в те времена темнокожих руководителей не было. Ключ здесь в том, что вручную обрабатывать все эти фантастические объёмы данных невозможно. Пришлось бы всякий раз вручную вносить какое-то правки. В итоге США столкнулись с проблемой.  Например, вот что  происходит с предиктивной аналитикой в рамках распространения наркотических средств. Искусственный интеллект автоматически производит усиление патрулирования в густонаселённых районах, где преобладают мигранты, темнокожие — это оправдано с точки зрения статистики, но с социальной точки зрения это приводит к ещё большему отягощению ситуации. Они начинают говорить о том, что к ним предвзято относятся. 

— То самое «это всё потому, что я черный»?

— Да, и это уже вшивается в систему. Вот чем опасна интеграция государственной машины с искусственным интеллектом. Человечество исторически развивалось не совсем справедливо. Эта несправедливость вшивается дальше в цепочку принятия решений и, как следствие, рождает за собой очередную несправедливость, социальные восстания, недовольство. Конечным итогом зачастую было приостановление деятельности этих систем для их обработки или же создание специальных комиссий, когда представители тех социальных групп, которые были нарушены, включались в состав комиссии для выработки новых стратегий и корректировки поведения и моделей.

— Всё, о чем вы уже упомянули, - дипфейки, цифровые аватары, способность искусственного интеллекта навесить на человека ярлык преступника еще до того, как он совершил преступление, - наводит на мысль, что не ИИ является полезным инструментом для человечества, а наоборот. Мы создали «хвост», который теперь нами виляет?

- История знает такие случаи, когда в Африке одного из лидеров давно уже свергли, но ему об этом просто не сказали. К нему приходили, давали какие-то бумаги на подпись. То есть он жил в своём маленьком мире, будучи уверенным, что всё ещё правитель. К чему я привожу этот пример: на сегодняшний день с помощью искусственного интеллекта возможно создавать  информационные коконы, помещать туда полностью человека. Например, мы сегодня можем генерировать любые новости. Наша команда может  сгенерировать этот наш с вами диалог вообще в другом русле -   с использованием вашего голоса, моего голоса, вашего лица, моего лица. И люди будут думать о совершенно другом. При масштабировании и более профессиональном подходе это уже куда более страшные технологии. Здесь опасность не в самом искусственном интеллекте, а в механизмах психологического воздействия на социум. Произошло такое развитие ИИ, что наше сознание, наш мозг просто не успевает адаптироваться. Всё произошло очень быстро, и точкой старта можно считать массовый психоз в ноябре 2022 года, когда был впервые выпущен чат GPT. 

«Неизвестно, кто первым начал эту войну — люди или машины»

- ИИ начинался как инструмент для создания веселых картинок. Потом появился страх, что он отнимет у людей работу и заменит собой целые профессии. Теперь он уже используется военными. Я очень боюсь той точки, в которой ИИ будет допущен до управления ядерным оружием. У человечества хватит естественного интеллекта, чтобы этого не допустить?

— Мне понравилось, как в прошлом году Европейский совет собрался и сказал: «Для начала, чтобы понять, что с этим вообще делать, давайте классифицируем его». После этого появилась история, что есть  четыре уровня. Четвёртый уровень — это простая генерация, когда мы создаем тексты и картинки. Первый уровень - искусственный интеллект в сфере ядерного вооружения, в сфере принятия военных решений, в сфере биологического оружия. Хорошо, что люди пришли к этой классификации. Но на самом деле еще до этого было снято огромное количество материалов о том, куда эти технологии могут привести. Они отвечают на эти вопросы.

— Вы о кино? «Терминатор» сразу вспоминается. Он как раз прилетал к Саре Коннор из 2026-го.

— Есть японское аниме, где показывают историю, как искусственный интеллект был интегрирован а-ля в наши российские госуслуги. Люди заходили и играли в онлайн-игры только через этот аналог «госуслуг” -  нельзя было по-другому зайти, верифицироваться. В какой-то момент искусственный интеллект захватывает эту игру, получает доступ ко всем госуслугам и начинает выключать, включать светофоры. А потом просто «обижается» и  направляет космический спутник  на Землю для столкновения с атомной электростанцией. Это  реальный кейс, который в теории может произойти. Или посмотрите «Матрицу».  Я очень люблю один отрывок из этого фильма, когда Морфеус сидит с Нео и  говорит: «Неизвестно, кто начал первым эту войну, люди или машины, но человечество ликовало. Мы, люди, в XXI веке, создали искусственный интеллект, и ликованию не было предела. И кто-то напал первым, но достоверно известно, что человечество затмило солнце, потому что искусственный интеллект питался от солнечных батарей. И солнца мы больше не видим».