На одном из будущих полей сражений военные роботы могут совершать непоправимые ошибки. Проектирование автономных машин для войны означает принятие некоторой степени ошибки в будущем, и, что еще более досадно, мы не можем спрогнозировать, что это будет за ошибка.
Опубликованный сегодня доклад “Известные неизвестные: проблемы данных и военные автономные системы” представляет собой доклад Института Организации Объединенных Наций по исследованию проблем разоружения. Его цель — помочь политикам лучше понять риски, присущие автономным машинам. Эти риски включают в себя все: от того, как обработка данных может потерпеть неудачу, до того, как сбор данных может быть активно использован враждебными силами. Основным компонентом этого риска является то, что данные, собранные и используемые в бою, более запутаны, чем данные в лаборатории, что существенно изменит поведение военных роботов.
Реальные сценарии вызывают беспокойство. Может быть, камера робота, натренированная на пустынный блеск ракетного полигона, неверно истолкует отражение фары в туманное утро. Возможно, алгоритм, нацеленный на пулемет робота, неправильно откалибрует расстояние, переместив прицел с передней части танка на детскую площадку. Возможно, автономный разведчик, считывающий данные о местоположении с ближайшей вышки сотовой связи, намеренно получает неверную информацию от противника и отмечает неправильную улицу для безопасного передвижения солдат.
Автономные машины могут быть автономными только потому, что они собирают данные о своей среде, перемещаясь по ней, и затем действуют на основе этих данных. В обучающих средах данные, собираемые автономными системами, являются релевантными, полными, точными и высококачественными. Но, как отмечается в докладе, “конфликтные среды суровы, динамичны и враждебны, и в реальных данных поля боя всегда будет больше вариативности, чем в ограниченной выборке данных, на основе которых строятся и проверяются автономные системы.”
Один из примеров такого рода ошибок исходит от датчика камеры. Во время презентации в октябре 2020 года руководитель военной сенсорной компании продемонстрировал алгоритм целеуказания, хвастаясь тем, что этот алгоритм может различать военные и гражданские транспортные средства. В той же демонстрации видео обозначило человека, идущего по парковке, и дерево — как идентичные цели.
Когда военные планировщики строят автономные системы, они сначала обучают эти системы с данными в контролируемой обстановке. С помощью обучающих данных можно получить целевую программу распознавания, чтобы определить разницу между деревом и человеком. Но даже если алгоритм верен на тренировках, использование его в бою может означать автоматическую целеуказание на деревья, а не на людей, что было бы неэффективно с военной точки зрения. Что еще хуже, он может замкнуться на людях, а не на деревьях, что может привести к непреднамеренным жертвам.
Вражеские солдаты или иррегулярные войска, стремясь перехитрить атаку с помощью автономного оружия, также могут попытаться обмануть робота, охотящегося за ними, ложными или вводящими в заблуждение данными. Это иногда называется подменой, и примеры существуют в мирных контекстах. Например, используя ленту на знаке ограничения скорости 35 миль в час, чтобы цифра «3»читалась как цифра «8», команда исследователей убедила автомобиль Tesla в режиме самостоятельного вождения разогнаться до 85 миль в час.
В другом эксперименте исследователи смогли обмануть алгоритм распознавания объектов, заставив его предположить, что яблоко — это iPod, приклеив на яблоко бумажную этикетку с надписью “iPod”. На войне автономный робот, предназначенный для очистки улицы от взрывчатки, может не заметить очевидную мину-ловушку, если на ней будет написано “футбольный мяч».
Ошибка в любом месте процесса, от сбора до интерпретации и передачи этой информации людям, может привести к “каскадным эффектам”, которые приведут к непреднамеренному ущербу, говорит Артур Холланд Мишель, младший научный сотрудник Программы безопасности и технологий Института исследований разоружения ООН и автор настоящего доклада.
“Представьте себе разведывательный беспилотник, который в результате подделки или неверных данных неправильно классифицирует целевую зону как имеющую очень низкую вероятность гражданского присутствия”, — говорит Холланд Мишель. Те солдаты, которые будут действовать на основе оценки этой системы, не обязательно будут знать, что она неисправна, и в очень быстро меняющейся ситуации у них может не хватить времени проверить оценку системы и найти проблему.”
Если тестирование покажет, что камера наведения может ошибочно принять деревья за гражданских, солдаты будут знать, как искать эту ошибку в бою. Но если конкретная ошибка никогда не появлялась при тестировании, например, как инфракрасный датчик, видящий тепло нескольких сгруппированных радиаторов и интерпретирующий это как людей, у солдат даже не будет оснований полагать, что автономная система дала сбой, пока стрельба не закончится.
Говорить о том, как машины могут производить ошибки, особенно неожиданные, важно, потому что в противном случае люди, полагающиеся на роботизированную систему, скорее всего, будут считать ее точной. Усугубляя эту проблему, в полевых условиях трудно понять, каким образом автономная машина приняла решение.
“Тип ИИ, называемый глубоким обучением, известен своей непрозрачностью и поэтому часто называется “черным ящиком”. Он делает что-то с определенной вероятностью, и часто это работает, но мы не знаем, почему”, — рассказывает Маайке Вербрюгген, докторант Брюссельского университета Врие. Но как солдат может оценить, правильна ли дала рекомендации машина, если он понятия не имеет, почему робот пришел к такому выводу?”
Учитывая неопределенность в пылу сражения, разумно ожидать, что солдаты будут следовать рекомендациям машин, и предполагать, что они безошибочны. Однако ошибка — неизбежная часть использования автономных машин в конфликтах. Вера в то, что машина действовала правильно, не освобождает солдат от обязательств по международному праву избегать непреднамеренного вреда.
В то время как сегодня используется оружие с автономными функциями, ни одна страна не заявила прямо, что она готова доверить машине целиться и стрелять по людям без участия человека в этом процессе. Однако ошибки в данных могут вызвать новые проблемы, в результате чего люди несут ответственность за поведение машины неожиданным и непредвиденным образом. И по мере того, как машины становятся более автономными, эта опасность все больше возрастает.
“Когда дело доходит до автономного оружия, дьявол кроется в технических деталях”, — говорит Холланд Мишель. “Очень легко говорить, что люди всегда должны нести ответственность за действия автономного оружия, но если эти системы из-за их сложной алгоритмической архитектуры имеют неизвестные точки отказа, которые никто не мог предвидеть с помощью существующих методов тестирования, как вы закрепите эту ответственность?”
Одно из возможных применений полностью автономного оружия — это нацеливание только на другие машины, такие как беспилотные дроны, а не на людей или транспортные средства, содержащие людей.
