В Нижнем Новгороде Harman делает автомобильную систему, считывающую эмоции и состояние человека
Сначала она поможет избежать ДТП. Дальше — больше.
Практически любое событие, происходящее в мире, может сильно повлиять на вашу реакцию. Купленные вами акции сильно упали? Вы думаете о потерянных деньгах. Любимый человек впервые сказал, что любит вас? Вы думаете именно об этом, упиваясь собственным счастьем.
Таких событий может быть множество. Они могут быть как хорошими, так и плохими. Даже банальный недосып влияет на реакцию. Это небольшая проблема, если вы пешеход, но огромная — если вы водитель.
Предположим, вы едете по городу со скоростью 60 км/ч. Ваши мысли не с вами, а посвящены какому-то из выше обозначенных факторов. В обычном состоянии вы бы заметили нового лежачего полицейского на три секунды раньше, чем сейчас. Но сейчас вы проехали 50 метров и только тогда нажали на тормоз.
Три секунды при скорости 60 км/ч — это 50 дополнительных метров. И это мог бы быть не лежачий полицейский вовсе, а неуместно повернувший водитель, выбежавший на дорогу кот или бабушка, которая из-за больных ног не может спуститься под землю.
Решения
Автопилот — первое решение проблемы. Однако нам до него далеко. И по-хорошему бы внедрять в России программу Vision Zero. Она отлично справляется в Швеции: за первое полугодие 2020 года в этой стране с населением 10 млн человек погибло 96 человек. В России же, по официальной статистике, столько человек гибнет за два дня майских праздников. Если бы Швеция была размером с Россию, то на её дорогах гибло бы 2800 человек. У нас же — 16 100 в 2020 году.
Также проблема ДТП решается и компаниями. Кто-то ведёт разработку тех самых автопилотов, а кто-то думает о системах, помогающих водителю. Одной из таких компаний стала Harman. Да, та самая, что с 2017 года является частью Samsung. Да, та самая, что выпускает наушники и акустику под брендами JBL, AKG, Harman Kardon. Но сейчас компания интересна нам, конечно же, не портативными колонками или TWS-наушниками.
Подразделение Harman X занимается перспективными разработками. Определение расплывчатое, но все шесть подразделений, раскинутых по разным уголкам мира, действительно работают над решением разных проблем. Например, одно занимается разработкой акустической системы с иммерсивным звучанием, то есть реалистичным объёмным звуком, окружающим вас, но с небольшим количеством звуковых источников. Другой проект называется Neurosense. Вы о нём могли слышать в 2019 году, когда Harman представила проект на CES 2019.
И вот спустя два с половиной года я сижу на заднем сиденье BMW X3. За рулём мой коллега из другого издания. На него направлена куча камер, отслеживающих состояние водителя. На календаре апрель 2021 года. Нет, меня не вывезли в США ради демонстрации Neurosense. Я нахожусь в Нижнем Новгороде — именно тут на все 100 % ведётся разработка этого проекта.
Что за Neurosense?
Neurosense — это система мониторинга состояния водителя. С оглядкой на собираемые ею данные, автомобиль может подстраиваться под состояние водителя.
Например, ваша реакция сегодня замедленная. В этом случае тормозные колодки приближаются к тормозному диску, чтобы сократить время реакции тормозной системы. Да, это может быстрее привести тормоза в негодность из-за пыли, но дополнительные четыре метра, которые вы проскочите, пока колодки дойдут до диска, могут стоить чьей-то жизни.
Естественно, Neurosense должна работать в партнёрстве с другими системами автомобиля. Поэтому камеры и лидары будут оценивать дорожную ситуацию, анализировать полученные данные и уже с оглядкой на это делать необходимые вещи по снижению возможного урона при ДТП. Или вообще исключать это самое ДТП.
Как работает?
На моменте создания технологии необходимы данные. Первая стадия — лабораторные условия. Всё начинается со специального испытательного стенда. Он выглядит как игровая зона для любителей погонять в рейсингах. На голове у человека специальный шлем, считывающий показания мозга, пока его владелец ездит по цифровому Сан-Франциско.
Однако эти данные с трудом применимы в городских условиях. Поэтому испытательный стенд перемещается в реальный автомобиль, который ездит по дорогам Нижнего Новгорода.
Это BMW X3. В багажнике автомобиля куча проводов. Так не очень аккуратно расположены «мозги» автомобиля, отвечающие за работу Neurosense. Конечно, это пока лишь прототип — система ещё не готова полностью.
К «мозгам» подключено сразу несколько камер. Они работают как в обычном видимом спектре, так и в инфракрасном. Все камеры направлены на водителя и работают на разные системы.
В один момент наш водитель, будучи жителем Москвы, заблудился на дорогах НиНо. Системы Neurosense тут же зафиксировали задумчивость водителя.
Другая система анализирует уровень стресса водителя. Пока мы ехали, мой коллега, управлявший автомобилем довольно агрессивно, попал в относительно сложную ситуацию во время поворота. В этот момент Neurosense зафиксировала повышение уровня стресса.
Стресс считывается с оглядкой на пульс. Уже сейчас у Harman X есть технология, подсчитывающая частоту сердцебиения при помощи обычной камеры. В нашем BMW X3 за это отвечает вебка Logitech. У меня точно такая же на рабочем компьютере — я её использую для созвонов. Очень неожиданно было узнать, что она по небольшим изменениям цвета кожи может просчитывать показания сердцебиения. Камера отлично справляется в солнечный денёк, но как только набегают облака или же на лице появляется рябь тени деревьев, система даёт сбой. Поэтому пока данные с камеры подкрепляются данными с пульсометра часов. В итоговой версии, судя по всему, от часов хотят отказаться вообще — всё-таки не все их носят.
Также есть система, считывающая состояние предзасыпания водителя. При этом она реагирует не на зевки, а на движения глаз. Дело в том, что наши глаза на самом деле имеют очень узкое поле зрения. Для того чтобы мозг получил ту картинку, которую мы в итоге видим, глаза «рыщут», фиксируя определённые участки действительности. Эти микродвижения не заметны ни нам, ни кому-либо ещё. Однако они передают мозгу отрывистую информацию о действительности и тот составляет из всех этих маленьких кусочков полноценную картину. Чем медленнее происходит это рысканье, тем более усталым является человек.
Всё это помогает в определении возможной дистанции торможения. Она рассчитывается с оглядкой на текущую скорость автомобиля, его массу, сцепление с дорогой и время реакции водителя.
Каждый из факторов, будь то стресс, задумчивость или усталость, влияли на эту возможную дистанцию торможения. Пока данные никак не используются BMW X3 — он лишь стенд для записи, но в будущем автомобили будут использовать эти данные для подстройки собственных систем.
Будущее
Neurosense отлично подходит для первого и второго уровня автономности. Однако к 2030 году многие автопроизводители заявили о создании полностью автономных автомобилей пятого уровня. Как быть разработчикам из Harman X тут?
Дискуссиям о безопасности автопилотов нужно положить конец
Теоретически Neurosense можно использовать и в других задачах. Например, строить маршрут, исходя из состояния организма человека. И так как все люди в таких «автономомобилях» станут пассажирами, то акцент будет сделан именно на них.
Например, у кого-то болит голова, а обычный маршрут проходит через огромную громкую стройку, рядом с которой из-за сужения проезжей части постоянная пробка. Автомобиль построит маршрут так, чтобы не проезжать это место.
Сценариев можно придумать множество и дойти даже до самых странных — создание музыкального плейлиста под конкретного пассажира. В Neurosense о таком не говорили, но с оглядкой на показатели организма вполне можно сделать вывод о том, что нравится пассажиру, а что — нет.
А что-то реальнее и ближе?
Описанные выше сценарии — удел довольно далёкого будущего. Но скоро Neurosense будет вполне доступной системой при заказе автомобилей. По крайней мере, по словам руководителя по развитию новых направлений Harman X Future intelligence Lab Андрея Филимонова, система готова процентов на 90.
Уже сейчас есть договорённость минимум с одним крупным автопроизводителем, которого вы все знаете. Судя по всему, он надеется внедрить Neurosense в свой автомобиль в 2023–2024 гг. Также технологиями Neurosense интересуются не такие большие компании. Но пока их названия, которыми я оказался впечатлён, просили не раскрывать.