В марте 2018 года один из тестовых беспилотных автомобилей Uber ехал по маршруту в городе Тэмпл, штат Аризона. На пустынной плохо освещенной дороге машина столкнулась с переходящей проезжую часть в неположенном месте Элани Херцберг (Elaine Herzberg). 49-летняя женщина шла с велосипедом, на ее одежде не было светоотражающих элементов. По какой-то причине автопилот не применил экстренное торможение вовремя и врезался в нее на скорости 43,5 мили в час (70 км/ч) отбросив жертву на 23 метра. Сидящий за рулем оператор Рафаэла Васкез (Rafaela Vasquez) была занята наблюдением за показаниями сервисной программы и также не успела среагировать.
Исходя из анализа отладочных записей программного обеспечения беспилотного автомобиля, автопилот увидел Херцберг за 5,6 секунды до столкновения. В этот момент она вместе с велосипедом была классифицирована, как «автомобиль» (vehicle), затем искусственный интеллект «передумал» и на основе более подробных данных присвоил ей статус «другое» (other). В общей сложности классификация жертвы менялась еще пять раз: обратно на «автомобиль», затем снова «другое», потом как «велосипед», опять «другое» и наконец опять «велосипед». Ни разу программа не предположила, что на проезжей части находится человек на своих двоих. ИИ просто не знал, что люди не всегда переходят дорогу по правилам.
Из-за этого автопилот каждый раз начинал процедуру опознания объекта заново. Главная проблема для него заключалась в непредсказуемости поведения пешехода — а не зная, куда и с какой скоростью «препятствие» может сместиться, ИИ не представляет, как от него уклониться. Финальное решение о том, что же находится перед машиной было принято всего за 1,2 секунды до столкновения. Еще секунда до экстренного торможения была потрачена на так называемое «подавление действия». В это время, если объехать препятствие уже невозможно, автопилот берет краткую паузу для проверки всех данных еще раз. По сути, оператор должен был страховать автоматику и в этот момент уже заметить Элани с велосипедом.
Но Рафаэла выполняла свою работу и занималась изучением какой-то информации на экране в салоне, ее взгляд не был направлен на дорогу. За 0,2 секунды до столкновения автопилот включил сигнализацию о неминуемом препятствии, а также применил экстренное торможение. Васкез повернула голову вперед именно в этот момент, а нажала на педаль тормоза еще через секунду. На видео с внутренних и внешних камер видно, что оператор шокирована произошедшим. Все детали расследования и выводы из него будут оглашены 19 ноября на отдельном мероприятии в городе Вашингтон, округ Колумбия.
Как пишет Wired, всего в распоряжении журналистов оказалось более сорока документов общим объемом несколько сотен страниц. Среди критичных факторов, повлиявших на исход аварии NTSB отмечает сразу несколько. Во‑первых, программное обеспечение автопилота содержало в себе существенные недостатки. Во‑вторых, сам протокол испытаний был небезопасен. Сейчас Uber сажает в машину двух операторов и обо всех возможных инцидентах, связанных с безопасностью сотрудники могут сообщить анонимно. В-третьих из-за особенностей оборудования автопилота, штатная система предупреждения столкновений Volvo была отключена, хотя она должна была сработать. И, наконец, дорожная обстановка в месте инцидента также способствовала ДТП: ближайший переход находится более чем в ста метрах, при том, что в месте аварии к проезжей части примыкает несколько пешеходных дорожек.
