Ms
  • Главная
  • Новости
  • В мире
  • В России
  • Общество
  • Политика
  • Происшествия
  • Наука и технологии
  • Статьи
No Result
View All Result
  • Главная
  • Новости
  • В мире
  • В России
  • Общество
  • Политика
  • Происшествия
  • Наука и технологии
  • Статьи
No Result
View All Result
Ms
No Result
View All Result

Автономные боевые роботы могут совершать дорогостоящие ошибки на будущих полях сражений

24.05.2021
A A
Автономные боевые роботы могут совершать дорогостоящие ошибки на будущих полях сражений

На одном из будущих полей сражений военные роботы могут совершать непоправимые ошибки. Проектирование автономных машин для войны означает принятие некоторой степени ошибки в будущем, и, что еще более досадно, мы не можем спрогнозировать, что это будет за ошибка.

Опубликованный сегодня доклад “Известные неизвестные: проблемы данных и военные автономные системы” представляет собой доклад Института Организации Объединенных Наций по исследованию проблем разоружения. Его цель — помочь политикам лучше понять риски, присущие автономным машинам. Эти риски включают в себя все: от того, как обработка данных может потерпеть неудачу, до того, как сбор данных может быть активно использован враждебными силами. Основным компонентом этого риска является то, что данные, собранные и используемые в бою, более запутаны, чем данные в лаборатории, что существенно изменит поведение военных роботов.

Реальные сценарии вызывают беспокойство. Может быть, камера робота, натренированная на пустынный блеск ракетного полигона, неверно истолкует отражение фары в туманное утро. Возможно, алгоритм, нацеленный на пулемет робота, неправильно откалибрует расстояние, переместив прицел с передней части танка на детскую площадку. Возможно, автономный разведчик, считывающий данные о местоположении с ближайшей вышки сотовой связи, намеренно получает неверную информацию от противника и отмечает неправильную улицу для безопасного передвижения солдат.

Автономные машины могут быть автономными только потому, что они собирают данные о своей среде, перемещаясь по ней, и затем действуют на основе этих данных. В обучающих средах данные, собираемые автономными системами, являются релевантными, полными, точными и высококачественными. Но, как отмечается в докладе, “конфликтные среды суровы, динамичны и враждебны, и в реальных данных поля боя всегда будет больше вариативности, чем в ограниченной выборке данных, на основе которых строятся и проверяются автономные системы.”

Один из примеров такого рода ошибок исходит от датчика камеры. Во время презентации в октябре 2020 года руководитель военной сенсорной компании продемонстрировал алгоритм целеуказания, хвастаясь тем, что этот алгоритм может различать военные и гражданские транспортные средства. В той же демонстрации видео обозначило человека, идущего по парковке, и дерево — как идентичные цели.

Когда военные планировщики строят автономные системы, они сначала обучают эти системы с данными в контролируемой обстановке. С помощью обучающих данных можно получить целевую программу распознавания, чтобы определить разницу между деревом и человеком. Но даже если алгоритм верен на тренировках, использование его в бою может означать автоматическую целеуказание на деревья, а не на людей, что было бы неэффективно с военной точки зрения. Что еще хуже, он может замкнуться на людях, а не на деревьях, что может привести к непреднамеренным жертвам.

Вражеские солдаты или иррегулярные войска, стремясь перехитрить атаку с помощью автономного оружия, также могут попытаться обмануть робота, охотящегося за ними, ложными или вводящими в заблуждение данными. Это иногда называется подменой, и примеры существуют в мирных контекстах. Например, используя ленту на знаке ограничения скорости 35 миль в час, чтобы цифра «3»читалась как цифра «8», команда исследователей убедила автомобиль Tesla в режиме самостоятельного вождения разогнаться до 85 миль в час.

В другом эксперименте исследователи смогли обмануть алгоритм распознавания объектов, заставив его предположить, что яблоко — это iPod, приклеив на яблоко бумажную этикетку с надписью “iPod”. На войне автономный робот, предназначенный для очистки улицы от взрывчатки, может не заметить очевидную мину-ловушку, если на ней будет написано “футбольный мяч».

Ошибка в любом месте процесса, от сбора до интерпретации и передачи этой информации людям, может привести к “каскадным эффектам”, которые приведут к непреднамеренному ущербу, говорит Артур Холланд Мишель, младший научный сотрудник Программы безопасности и технологий Института исследований разоружения ООН и автор настоящего доклада.

“Представьте себе разведывательный беспилотник, который в результате подделки или неверных данных неправильно классифицирует целевую зону как имеющую очень низкую вероятность гражданского присутствия”, — говорит Холланд Мишель. Те солдаты, которые будут действовать на основе оценки этой системы, не обязательно будут знать, что она неисправна, и в очень быстро меняющейся ситуации у них может не хватить времени проверить оценку системы и найти проблему.”

Если тестирование покажет, что камера наведения может ошибочно принять деревья за гражданских, солдаты будут знать, как искать эту ошибку в бою. Но если конкретная ошибка никогда не появлялась при тестировании, например, как инфракрасный датчик, видящий тепло нескольких сгруппированных радиаторов и интерпретирующий это как людей, у солдат даже не будет оснований полагать, что автономная система дала сбой, пока стрельба не закончится.

Говорить о том, как машины могут производить ошибки, особенно неожиданные, важно, потому что в противном случае люди, полагающиеся на роботизированную систему, скорее всего, будут считать ее точной. Усугубляя эту проблему, в полевых условиях трудно понять, каким образом автономная машина приняла решение.

“Тип ИИ, называемый глубоким обучением, известен своей непрозрачностью и поэтому часто называется “черным ящиком”. Он делает что-то с определенной вероятностью, и часто это работает, но мы не знаем, почему”, — рассказывает Маайке Вербрюгген, докторант Брюссельского университета Врие. Но как солдат может оценить, правильна ли дала рекомендации машина, если он понятия не имеет, почему робот пришел к такому выводу?”

Учитывая неопределенность в пылу сражения, разумно ожидать, что солдаты будут следовать рекомендациям машин, и предполагать, что они безошибочны. Однако ошибка — неизбежная часть использования автономных машин в конфликтах. Вера в то, что машина действовала правильно, не освобождает солдат от обязательств по международному праву избегать непреднамеренного вреда.

В то время как сегодня используется оружие с автономными функциями, ни одна страна не заявила прямо, что она готова доверить машине целиться и стрелять по людям без участия человека в этом процессе. Однако ошибки в данных могут вызвать новые проблемы, в результате чего люди несут ответственность за поведение машины неожиданным и непредвиденным образом. И по мере того, как машины становятся более автономными, эта опасность все больше возрастает.

“Когда дело доходит до автономного оружия, дьявол кроется в технических деталях”, — говорит Холланд Мишель. “Очень легко говорить, что люди всегда должны нести ответственность за действия автономного оружия, но если эти системы из-за их сложной алгоритмической архитектуры имеют неизвестные точки отказа, которые никто не мог предвидеть с помощью существующих методов тестирования, как вы закрепите эту ответственность?”

Одно из возможных применений полностью автономного оружия — это нацеливание только на другие машины, такие как беспилотные дроны, а не на людей или транспортные средства, содержащие людей.

ShareShareSendShareScan


Американцы попались на повышенном интересе к пикантному видео Захаровой
В мире

Американцы попались на повышенном интересе к пикантному видео Захаровой

06.07.2022
Гиперзвуковой провал: США без особого успеха пытаются догнать Россию
В мире

Гиперзвуковой провал: США без особого успеха пытаются догнать Россию

06.07.2022
Хозяева поспешили: как Пентагон лишил Украину желанной «перемоги»
В мире

Хозяева поспешили: как Пентагон лишил Украину желанной «перемоги»

06.07.2022
Ищенко: Европа уже готова на все
В мире

Ищенко: Европа уже готова на все

06.07.2022
  • Британский посол потеряла дар речи после слов дипломата Денисова об Украине

    Британский посол потеряла дар речи после слов дипломата Денисова об Украине

    111 shares
    Share 44 Tweet 28
  • Доигрались! Медленный распад: глупая антироссийская выходка лишила Норвегию права на Шпицберген

    277 shares
    Share 110 Tweet 69
  • Хозяева поспешили: как Пентагон лишил Украину желанной «перемоги»

    44 shares
    Share 18 Tweet 11
  • Гиперзвуковой провал: США без особого успеха пытаются догнать Россию

    26 shares
    Share 10 Tweet 7
  • Истерика в ООН не удалась: Зеленскому заткнули рот одной фразой

    38 shares
    Share 15 Tweet 10
  • Контакты

© 2021 Использование материалов: Некоторые материалы данной страницы могут содержать информацию, не предназначенную для детей младше 18 лет. Все материалы могут быть воспроизведены в любых средствах массовой информации, в блогах и иных носителях в интернете, на радио и телевидении без существенных ограничений по объему и срокам публикации. Единственным условием перепечатки и ретрансляции является ссылка на первоисточник – в интернете это гиперссылка на оригинальный материал с сайта «Ms-News.Ru», на других носителях письменное или устное (радио и телевидение) напоминание о материале, что он взят с нашего сайта.

No Result
View All Result
  • Главная
  • Новости
    • В России
    • В мире
    • Общество
    • Наука и технологии
  • Политика
  • Происшествия
  • Статьи
  • Контакты

© 2021 Использование материалов: Некоторые материалы данной страницы могут содержать информацию, не предназначенную для детей младше 18 лет. Все материалы могут быть воспроизведены в любых средствах массовой информации, в блогах и иных носителях в интернете, на радио и телевидении без существенных ограничений по объему и срокам публикации. Единственным условием перепечатки и ретрансляции является ссылка на первоисточник – в интернете это гиперссылка на оригинальный материал с сайта «Ms-News.Ru», на других носителях письменное или устное (радио и телевидение) напоминание о материале, что он взят с нашего сайта.