[ezup]

Stealthy XQ-58A Valkyrie

Симуляция Гамильтона


24 мая на оборонной конференции Королевского аэрокосмического общества Future Combat Air & Space Capabilities Summit в Лондоне полковник ВВС США Такер Гамильтон поведал историю о бездушии искусственного интеллекта.

В ходе моделирования боя система управления воздушным ударным дроном пошла против своего оператора и уничтожила его. Естественно, виртуально. Как утверждал сам Гамильтон, машина получала бонусы за уничтоженные объекты, но оператор не всегда подтверждал работу по целям. За это и поплатился. Для решения проблемы беспилотник отправил в пункт управления ракету. По всей вероятности, это был экспериментальный беспилотник Stealthy XQ-58A Valkyrie, и работал он по наземным ЗРК.

Особенностью машины является возможность автономной работы без связи с оператором. Чем, собственно, искусственный интеллект и воспользовался, виртуально устранив своего удаленного погонщика. В ответ на это системные администраторы запретили машине подобные штуки, но и здесь ИИ не растерялся – уничтожил ретрансляторную вышку и снова вышел в автономное плавание.

Полковник Гамильтон еще молод для того, чтобы заговариваться на международных форумах. Источник: thedrive.com

История Гамильтона мгновенно разлетелась по всему свету. Мнения разделились полярно – кто посчитал, что это очередной треп некомпетентного вояки, кто-то усмотрел здесь зарождение пресловутого Skynet. Еще чуть-чуть и киборги завоюют мир, а людей будут отстреливать за бонусные баллы. Дыма от высказываний полковника оказалось много, но истина, как обычно, где-то посередине.

Неопределенности добавила пресс-секретарь штаб-квартиры ВВС в Пентагоне Энн Стрефанек, превратившая слова Гамильтона в анекдот. Для издания The War Zone она высказалась:

«Это был гипотетический мысленный эксперимент, а не симуляция».

Да и вообще, слова полковника были вырваны из контекста, не так поняты и больше похожи на курьез. Никто другой реакции от Пентагона и не ожидал – шум вокруг события поднялся немалый, что грозило серьезными последствиями для всей программы. Надо же, искусственный интеллект, оказывается, лишен морали. Хотя и действует по человеческой логике.

В начале июня уже сам Такер Гамильтон попытался дезавуировать свои слова на конференции в Лондоне:

«Мы никогда не проводили этот эксперимент… Несмотря на то, что это гипотетический пример, он иллюстрирует реальные проблемы, связанные с возможностями ИИ, и именно поэтому ВВС привержены к этическому развитию ИИ».

Казалось бы, вопрос закрыт, и зрителям можно расходиться. Но пока рано.

Пища для размышления


Для начала разберемся с самим термином «искусственный интеллект», о котором все знают, но немногие могут дать даже примерное определение. Будем пользоваться формулировкой Международного терминологического словаря образца 2008 года, в котором ИИ:

«Область знаний, рассматривающая разработку таких технологий, чтобы действия вычислительных систем напоминали разумное поведение, в том числе поведение человека».
⁣
То есть это общепринятое на Западе определение.

Походило ли поведение машины, когда она решила «успокоить» своего оператора, а потом сокрушить вышку ретранслятора? Безусловно, походило – правильным образом мотивированный убийца способен и не на такое. Если углубиться в классификацию, то можно найти конкретный тип ИИ – так называемый адаптивный (Adaptive AI), «подразумевающий способность системы адаптироваться к новым условиям, приобретая знания, не закладываемые при создании».

Теоретически ничего удивительно в поступке «мозгов» Stealthy XQ-58A Valkyrie в ходе эксперимента нет. Как справедливо отметил Гамильтон в своем докладе, в программу изначально даже не вводили ограничения на уничтожение своего оператора – машина всему обучилась сама. А когда напрямую запретили бить своих, искусственный разум адаптировался в очередной раз и срубил вышку связи.

К программистам вообще много вопросов. Например, почему ему не вшили алгоритм потери бонусов за удары по своим? Частично на этот вопрос ответил отставной генерал ВВС США Пол Сельва еще в 2016 году:

«Наборы данных, с которыми мы имеем дело, стали настолько большими и сложными, что, если у нас не будет чего-то, что поможет их сортировать, мы просто погрязнем в этих данных».

Ну вот программисты из истории полковника Гамильтона, видимо, и погрязли.

Hellfire под крылом дрона MQ-1B Predator. Источник: businessinsider.com

Теперь о том, почему оправданиям Пентагона и Гамильтона стоит верить с очень большой натяжкой.

Во-первых, полковник не просто рассказал историю как бы между строк, в отвлечении от основного доклада – он этой теме посвятил целую презентацию. Уровень лондонской конференции Future Combat Air & Space Capabilities Summit никак не располагает к шуточкам. По данным организаторов, участвовали не менее 70 именитых лекторов и более 200 делегатов со всего мира. От ВПК работали представители BAE Systems, Lockheed Martin Skunk Works и еще нескольких крупных компаний.

Кстати, тема Украины сквозила чуть ли не в каждом докладе – Запад чутко отслеживает события и рефлексирует по итогам.

Выпалить на столь представительном форуме откровенную лажу, взбудоражить полмира, а потом извиниться, что оговорился? Если так и есть на самом деле, то репутацию Гамильтона уже не отстирать. Только вот уровень компетенций полковника просто зашкаливает, и это вторая причина, почему к его первым словам стоит прислушаться.

Такер Гамильтон заведует отделом испытаний и операций с искусственным интеллектом на базе ВВС Энглин во Флориде. Под направление на базе создана 96-я оперативная группа в 96-м испытательном крыле. Гамильтон не первый год работает с ИИ в авиации – несколько лет конструирует частично автономные F-16 Viper, для которых разрабатывается инфраструктура VENOM. Работы идут вполне успешно – в 2020 году виртуальные бои истребителей с ИИ и с реальными пилотами закончились со счетом 5:0.

В то же время не обходится и без сложностей, о которых Гамильтон еще в прошлом году предупреждал:

«ИИ очень хрупок, т. е. его легко обмануть и манипулировать им. Нам нужно разработать способы сделать ИИ более надежным и лучше понимать, почему программный код принимает определенные решения».

В 2018 году Гамильтон со своей автоматической системой Auto GCAS выиграл конкурс Collier Trophy. Алгоритмы ИИ научились определять момент потери контроля над самолетом со стороны пилота, автоматически принимали управление и уводили машину от столкновения. Говорят, Auto GCAS уже кого-то спас.

В итоге, вероятность того, что Гамильтона попросили сверху отречься от своих слов гораздо выше вероятности, что профи такого уровня сморозил ерунду. Причем очень коряво сослались на некие «мысленные эксперименты» в голове полковника.

Среди скептиков относительно исхода и издание The War Zone, журналисты которого сомневаются, что пресс-секретарь Пентагона Стефанек действительно в курсе того, что происходит в 96-м испытательном крыле во Флориде. The War Zone подал запрос на базу Гамильтона, но пока без ответа.

Бояться военным действительно есть чего. На программы ИИ в интересах обороны тратятся огромные средства, дабы не дать Китаю и России хотя бы приблизиться по уровню к Америке. Гражданское же сообщество немало обеспокоено перспективами появления «Терминаторов» со «Скайнетами» в придачу. Так, январе 2018 года видные мировые учёные подписали открытое письмо, призывающее специалистов задуматься о стремлении создавать всё более сильный искусственный интеллект:

«Мы рекомендуем проведение расширенных исследований, направленных на обеспечение надёжности и доброжелательности систем ИИ с растущей мощностью. Системы ИИ должны делать то, что мы хотим, чтобы они делали».

Со слов Гамильтона, ИИ делает далеко не все, что хочет человек.

Автор:

Евгений Федоров