Умный дом Цукерберга: и тосты пожарит, и ребенка подотрет

Насчет ребенка — шутка. Марк Цукерберг долгое время вынашивал идею умного дома, управляемого голосом. Взяв за идею возможности голосового ассистента Джарвис из кинофильма Железный Человек, Марк сделал своего Джарвиса, даже название не стал менять.

Что умеет Джарвис?

Голосовой ассистент, на создание которого у Марка ушло более 100 часов собственного времени, умеет управлять светом, температурой, дверьми и камерами в доме.

[fbvideo link=»https://www.facebook.com/zuck/videos/10103351034741311/» width=»700″ height=»400″ onlyvideo=»1″]

В чем проблема?

По словам Цукерберга, самой трудной задачей оказалось обьединить все устройства в одну систему управления.

Все устройства в моём доме используют разные интерфейсы и протоколы передачи данных. Хуже того, некоторые из них вообще не подключаются к интернету. Некоторым из устройств можно передать простую команду — например, включить или отключить питание. Но этого недостаточно. Например, я выяснил, что практически ни один современный тостер не позволяет опустить хлеб внутрь заранее, пока питание не включено, чтобы как только питание появится, он сразу начал работать. Пришлось использовать тостер 1995 года выпуска в паре с «умным» выключателем.

В чем удобство?

Джарвисом можно управлять при помощи приложения для iPhone, бота для Facebook Messenger или камерой наблюдения. Система умеет распознавать голоса и лица. Для Android приложение выйдет позже.

«Твоя моя не понимать»

Управление голосом создавалось поэтапно. Вначале ассистент учился распознавать ключевые фразы «спальня», «свет», «включить».

Понимание контекста — очень важная особенность для искусственного интеллекта. Например, когда я прошу включить свет в моём кабинете, это значит совсем не то же самое, что и та же фраза из уст Присциллы (жена). Или когда я прошу систему включить музыку, не называя комнату, — ей нужно самостоятельно определить, где я нахожусь, и включить музыку в этой комнате.

Дальше ассистент научился распознавать контекст и тут началось самое интересное.

Обычно я прошу Джарвиса «включить музыку», он изучает, что я слушал в последнее время и предлагает плейлист. Если он не угадал с настроением, я говорю: «Нет, это не легкая композиция. Включи что-нибудь лёгкое», — и тогда он переключает песню и одновременно обучается. Кроме того, он различает, кто с ним говорит — я или Присцилла.

Ты узнаешь ее из тысячи…

Из-за схожести человеческих лиц ассистенту труднее распознавать людей, предметы даются проще. Цукерберг использовал алгоритмы Facebook, которые умеют распознавать людей по фотографиям.

У входной двери своего дома Марк установил несколько камер, чтобы Джарвис смог распознавать гостей при разных углах обзора.

Я создал простой сервер, который постоянно проверяет изображения на камерах. Он запускает алгоритмы поиска лиц, чтобы понять, не стоит ли кто-то у двери. Если система обнаруживает гостя, она запускает алгоритм распознавания лиц, чтобы понять, кто именно пришёл.

Алгоритмы распознавания лица помогают системе не только с гостями, но и с распознаванием местоположения хозяев в доме, для того, чтобы точнее определяешь, кто именно произносит голосовую команду.

Трудности перевода

Голосовые команды все еще с трудом даются системе. Иногда приходится повторять одну и ту же команду несколько раз. Для распознавания речи Цукерберг написал программу для iOS, которая работает постоянно и слушает, что происходит вокруг.

Я не занимался разработкой iOS-приложений с 2012 года, и могу заметить, что инструментарий, который в Facebook представили с тех пор для создания приложений и распознавания голоса, впечатляет.

При этом Марк пытается научить систему не просто распознавать запросы из разных сфер, но и воспроизводить юмор, который кардинально отличается у разных людей.

Итак, когда скачать на торренте Джарвиса?

В начале 2017 года Марк планирует поделиться с общественностью своими планами развития умного ассистента, работа продолжается.

Я не прекращаю программировать, но всё чаще создаю какие-то личные проекты — вроде Джарвиса. И создание домашнего помощника не только помогло мне понять, в каком состоянии сейчас находится искусственный интеллект, но и позволило почувствовать, каково быть инженером в Facebook. И это впечатляет.

Вот так друзья, все это интересно и страшно одновременно. Система может впускать людей в ваш дом просто по алгоритму определения лица. Вот преступник сходит к визажисту, накидает краски на глаза и проберется в ваш дом.