После 50 лет пришло время попрощаться с клавиатурой?

Обзор человеко-компьютерных интерфейсов. Что происходит после сенсорного экрана и распознавания голоса?

Apple Watch, который даже не считается очень мощным компьютером, способен обрабатывать гигабайты данных каждую секунду. Наш мозг имеет десятки миллиардов нейронов и более четырех миллиардов соединений, и человеческий мозг каждую секунду обрабатывает огромное количество данных, которые мы даже не можем оценить. Тем не менее, скромная клавиатура и мышь до сих пор являются самым быстрым мостом между мощным человеческим мозгом и сверхбыстрым миром 0 и 1.

Apple Watch в 250 раз мощнее, чем компьютер, на котором приземлился Аполлон на Луне. Хотя компьютеры превратились из целого здания в нанометры, клавиатуры по-прежнему остаются наиболее надежным и наиболее широко используемым интерфейсом между человеком и компьютером.

Изобретение компьютерной клавиатуры насчитывает более 50 лет. Всеобщее достояние.Мужчина влюбляется в своего голосового помощника в фильме «Её».

Выходя за пределы клавиатуры и мыши?

Компьютеры встраиваются в разные объекты, и поскольку мы не можем подключить клавиатуру и мышь к каждому объекту вокруг нас, нам нужно найти другие интерфейсы. Текущее решение для взаимодействия со смарт-объектами, также называемое IoT, заключается в распознавании голоса, которое, очевидно, имеет ограничения, такие как публичное использование. Давайте посмотрим на методы, над которыми работают исследователи и компании.

сенсорный

Достижения в технологии multi-touch и жестах multi-touch (например, прижимание) сделали сенсорный экран любимым интерфейсом. Исследователи и стартапы работают над улучшением сенсорного восприятия, исходя из понимания того, насколько твёрдо твоё прикосновение, какая часть твоего пальца соприкасается, а чей палец соприкасается.

3D Touch iPhone обнаруживает силу. Источник Giphy.

голос

DARPA финансировал исследования в этой области в 70-х годах! но голос до недавнего времени был бесполезен. Благодаря глубокому обучению, теперь мы довольно хорошо распознали голос. Самая большая проблема с голосом в этот момент - не транскрибирование, а восприятие значения в зависимости от контекста.

глаз

При отслеживании глаз мы либо измеряем взгляд (куда человек смотрит), либо движение глаза относительно головы. С уменьшением стоимости камер и датчиков, а также с ростом популярности очков виртуальной реальности отслеживание зрения в качестве интерфейса становится полезным.

Tobii, которая вышла на IPO в 2015 году, работает с производителями бытовой электроники, чтобы внедрить технологию отслеживания глаз. Источник изображения: Flickr.

Жест

Контроль жестов - это интерфейс между человеком и компьютером, самый близкий моему сердцу. Я лично провел научные исследования по различным методам управления жестами. Некоторые из технологий, используемых для обнаружения жестов:

Блок измерения инерции (IMU)

Данные от акселерометра, гироскопа и компаса (все или некоторые из них) используются для обнаружения жестов. Необходимость в повторной калибровке и более низкая точность - некоторые из проблем этого метода.

ИК + камера (датчик глубины)

Большинство систем обнаружения жестов, которые мы видели, используют комбинацию высококачественной камеры, инфракрасного осветителя и инфракрасной камеры. В основном, как это работает, это то, что он проецирует тысячи маленьких точек на сцене, и в зависимости от того, как далеко находится объект, искажение отличается (есть разные методы, такие как ToF, в которые я не буду вдаваться). Kinect, Intel RealSense, Leap Motion, Google Tango, все используют некоторые варианты этой технологии.

Leap Motion - это потребительское устройство для управления жестами.Apple сделала этот шаг вперед, внедрив все это в переднюю камеру iPhone X для FaceID.

Электромагнитное поле

В этом способе палец или тело пользователя действует как проводящий объект, который искажает электромагнитное поле, которое создается путем помещения антенн передатчика и приемника в объект.

Радары

Радары давно используются для отслеживания объектов, от самолетов до кораблей и автомобилей. Группа передовых технологий и проектов Google (ATAP) проделала замечательную работу, укоротив радар в микрочип размером 8 на 10 мм. Этот общий набор микросхем управления жестами может быть встроен в умные часы, телевизоры и другие объекты для отслеживания жестов.

Проект Google ATAP Soli. Источник: сайт Соли.Интерфейс мышечной машины от Thalmic Labs. Источник: Видео Талмика.

биосигналы

Если вы еще не были WOW, давайте продолжим. Все методы, которые были упомянуты выше, измеряют и обнаруживают побочный продукт наших жестов рук.

Обрабатывая сигналы, поступающие непосредственно от нервов в наших мышцах, мы можем приблизиться на шаг ближе к цели.

Поверхностная ЭМГ (sEMG), которая получается путем наложения датчиков на кожу поверх бицепса / трицепса или предплечья, получает сигнал от различных мышечных двигательных единиц. Хотя sEMG является очень шумным сигналом, можно обнаружить несколько жестов.

Myo от Thalmic Labs была одной из первых компаний, которая разработала потребительское устройство на основе sEMG. Источник Имгур.

В идеале вы хотели бы носить датчики на запястье. Мышцы на запястье, однако, глубокие, и, следовательно, трудно получить сигнал, который можно было бы точно использовать для обнаружения жестов.

Новая компания под названием CTRL Labs осуществляет управление жестами с помощью сигналов SEMG на запястье. Устройство CTRL Labs измеряет сигнал sEMG и обнаруживает нейронный драйв, который исходит от мозга за этим движением. Это на один шаг ближе к мозгу. С их технологией вы сможете сунуть руки в карманы и набрать телефон.

Интерфейс мозг-компьютер

В прошлом году многое произошло. DARPA тратит 65 миллионов долларов на финансирование Neural Interfaces. Элон Маск собрал 27 миллионов долларов для Neuralink, Kernel получил 100 миллионов долларов от своего основателя Брайана Джонсона, а Facebook работает над компьютерным интерфейсом для мозга. Существует два совершенно разных типа ИМК:

Неинвазивный BCI

ЭлектроэнцефалоГрафия (ЭЭГ) получает сигнал от кожи на коже головы.

Это как поставить микрофон над футбольным стадионом. Вы не будете знать, о чем говорит каждый человек, но вы сможете понять, был ли забит гол (по громким возгласам и хлопкам!).

Основанные на ЭЭГ интерфейсы на самом деле не читают ваши мысли. Например, наиболее используемой парадигмой BCI является P300 Speller. Вы хотите набрать букву «R»; компьютер случайным образом показывает разные символы; как только вы видите «R» на экране, ваш мозг удивляется и издает специальный сигнал. Это умно, но я бы не назвал это «чтением мыслей», потому что мы не можем обнаружить мысли о «R», а скорее нашли магический трюк, который работает.

Такие компании, как Emotiv, NeuroSky, Neurable и несколько других, разработали EEG-гарнитуры потребительского уровня. Facebook 8 Building объявил о проекте по типизации мозга, который использует другую технику восприятия мозга, называемую функциональной ближней инфракрасной спектроскопией (fNIRS), которая направлена ​​на достижение скорости 100 слов в минуту.

Neurable. Источник: Neurable Website

Инвазивный BCI

Это основной интерфейс между человеком и компьютером, и он работает, помещая электроды в мозг, однако есть серьезные проблемы, которые необходимо преодолеть.

Миноритарный отчет. Flickr.

проблемы

Возможно, вам пришло в голову, что, учитывая все интересные технологии, упомянутые выше, почему мы все еще ограничены использованием клавиатуры и мыши. В контрольном списке есть определенные функции, которые нужно отметить для технологии взаимодействия человека с компьютером, чтобы попасть на массовый рынок.

точность

Вы бы использовали сенсорный экран в качестве основного интерфейса, если бы он работал только 7 из 10 раз? Чтобы интерфейс использовался в качестве основного, он должен иметь очень высокую точность.

Задержка

Представьте на мгновение, что буквы, которые вы вводите на клавиатуре, появляются через одну секунду после нажатия клавиши. Только эта секунда убила бы опыт. Интерфейс «человек-компьютер» с задержкой более пары сотен миллисекунд просто бесполезен.

Повышение квалификации

Интерфейс человек-компьютер не должен требовать от пользователя тратить много времени на изучение новых жестов (то есть на изучение жеста для каждой буквы алфавита!)

Обратная связь

Звук щелчка клавиатуры, вибрация телефона, тихий звуковой сигнал голосового помощника - все это намеревается замкнуть петлю обратной связи. Цикл обратной связи является одним из наиболее важных аспектов любого дизайна интерфейса, который часто остается незамеченным для пользователей. Наш мозг продолжает искать подтверждение того, что его действие дало результат.

Одной из причин, по которой очень трудно заменить клавиатуру с помощью любого устройства управления жестами, является отсутствие сильных петель обратной связи.

Будущее человеко-компьютерных интерфейсов

Из-за проблем, упомянутых выше, кажется, что мы все еще не в состоянии заменить клавиатуры, по крайней мере, пока. Вот что я думаю о будущем интерфейсов:

  • Мультимодальный: мы будем использовать разные интерфейсы в разных случаях. Мы по-прежнему можем использовать клавиатуру для набора текста, сенсорные экраны для рисования и проектирования, голос для взаимодействия с нашими цифровыми личными помощниками, радарное управление жестами в автомобиле, мышечное управление жестами для игр и виртуальной реальности, а также интерфейсы мозг-компьютер для выбора лучшая музыка для вашего настроения.
  • С учетом контекста: вы читаете на своем ноутбуке статью о лесных пожарах в северной Калифорнии, а затем спрашиваете у своего голосового помощника на своих умных наушниках «Как там дует ветер?». Следует понимать, что вы имеете в виду, где пожары.
  • Автоматизированный: с помощью ИИ компьютер станет лучше предсказывать, что вы собираетесь делать, поэтому вам даже не нужно им командовать. Он будет знать, что вам нужно играть определенную музыку, когда вы просыпаетесь, поэтому вам даже не нужен интерфейс для поиска и воспроизведения песни по утрам.

Я предприниматель в Силиконовой долине, и моя страсть - взаимодействие человека с компьютером. Я провел исследование интерфейсов мозг-компьютер, интерфейсов мышц и устройств управления жестами. Я пишу о предпринимательстве, венчурном капитале и новых технологиях. Пожалуйста, подпишитесь на меня в LinkedIn, Twitter и Medium.