След 50 години, време ли е да се сбогуваме с клавиатурата?

Преглед на интерфейсите между човека и компютъра. Какво идва след сензорен екран и разпознаване на глас?

Apple Watch, който дори не се счита за много мощен компютър, е в състояние да обработва гигабайти данни всяка секунда. В мозъците ни има десетки милиарди неврони и над квадрилиона връзки, а човешкият мозък обработва огромно количество данни всяка секунда, които дори не можем да преценим. И все пак скромната клавиатура и мишка и до днес са най-бързият мост между мощния човешки мозък и свръхбързият свят от 0 и 1.

Apple Watch е 250 пъти по-мощен от компютъра, който кацна Аполон на Луната. Докато компютрите са се развили от заемане на цяла сграда до само нанометри, клавиатурите все още остават най-надеждният и най-използваният интерфейс човек-компютър.

Изобретението на компютърна клавиатура стига повече от 50 години. Публичен домейн.Мъж се влюбва в гласовия си асистент във филма „Тя“.

Преминаване отвъд клавиатурата и мишката?

Компютрите се вграждат в различни обекти и тъй като не можем да свържем клавиатура и мишка към всеки обект около нас, трябва да намерим други интерфейси. Настоящото решение за взаимодействие с интелигентни обекти, известен още като IoT, е чрез разпознаване на глас, което очевидно има ограничения като публично използване. Нека да разгледаме методите, по които в момента работят изследователи и компании.

Touch

Напредъкът в мултитач технологията и мултитач жестовете (като щипкане) направиха сензорния екран любимия интерфейс. Изследователите и стартиращите компании работят върху по-добро докосване, от разбирането колко здраво е вашето докосване, коя част от пръста ви докосва и чия пръст докосва.

3D Touch на iPhone открива сила. Източник Giphy

глас

DARPA финансира изследвания в тази област през 70-те години! но гласът доскоро не беше полезен. Благодарение на задълбоченото обучение, сега имаме доста добри възможности за разпознаване на глас. Най-голямото предизвикателство с гласа в този момент не е преписването, а по-скоро възприемането на смисъл въз основа на контекста.

око

При проследяване на очите ние или измерваме погледа (там, където човек гледа), или движението на окото спрямо главата. С намаляването на цената на камерите и сензорите, както и с увеличаващата се популярност на очилата за виртуална реалност, проследяването на очите като интерфейс става полезно.

Tobii, която имаше IPO през 2015 г., работи с производителите на потребителска електроника, за да вгради технологията им за проследяване на очите. Източник на изображението: Flickr.

Жест

Контролът с жестове е най-близкият до сърцето ми интерфейс човек-компютър. Лично съм правил научни изследвания на различни методи за контрол на жестове. Някои от технологиите, използвани за откриване на жестове, са:

Инерционен измервателен блок (IMU)

Данните от акселерометър, жироскоп и компас (всички или някои от тях) се използват за откриване на жестове. Необходимостта от повторно калибриране и по-ниска точност са някои от проблемите с този метод.

Инфрачервена + камера (сензор за дълбочина)

Повечето от страхотните системи за откриване на жестове, които видяхме, използват комбинация от висококачествена камера плюс инфрачервен осветител и инфрачервена камера. По принцип как работи е, че проектира хиляди малки точки в сцената и въз основа на това колко далеч е даден обект, изкривяването е различно (има различни методи като ToF, в които няма да навлизам). Kinect, RealSense на Intel, Leap Motion, Google Tango, всички използват някои вариации на тази технология.

Leap Motion е потребителско устройство за контрол на жестове.Apple направи тази стъпка напред, като вгради всичко това в предната камера на iPhone X за FaceID.

Електромагнитно поле

При този метод пръстът или тялото на потребителя действат като проводим обект, който изкривява електромагнитното поле, което се произвежда, като поставя предавателни и приемни антени в обект.

Радарите

Радарите отдавна се използват за проследяване на обекти, от самолети до кораби и автомобили. Групата за напреднали технологии и проекти на Google (ATAP) свърши забележителна работа, свивайки радара в микрочип от 8 мм до 10 мм. Този общ чипсет за управление на жестове може да бъде вграден в смарт часовници, телевизори и други обекти за проследяване на жестове.

Проектът Soli на Google ATAP. Източник: Уебсайтът на Соли.Интерфейс за мускулна машина от лаборатории на Thalmic. Източник: Видео на Thalmic.

Biosignals

Ако все още не сте били WOWED, нека го вземем още повече. Всички споменати по-горе методи измерват и откриват страничен продукт от нашите жестове с ръка.

Преработвайки сигналите, директно идващи от нервите в нашите мускули, можем да се приближим до една стъпка до намерението.

Повърхностният EMG (sEMG), който се придобива чрез поставяне на сензори върху кожата върху бицепса / трицепса или предмишницата, получава сигнал от различни мускулни двигателни единици. Докато sEMG е много шумен сигнал, е възможно да се открият редица жестове.

Myo by Thalmic Labs беше една от първите компании, разработили потребителско устройство, базирано на sEMG. Източник Imgur.

В идеалния случай бихте искали да носите сензорите на китката. Мускулите в китката обаче са дълбоки и следователно е трудно да се получи сигнал, който би могъл точно да се използва за откриване на жестове.

Нова компания, наречена CTRL Labs, контролира жеста от sEMG сигналите на китката. Устройството CTRL Labs измерва sEMG сигнала и открива невронния диск, който идва от мозъка зад това движение. Това е една крачка по-близо до мозъка. С тяхната технология бихте могли да пъхнете ръцете си в джобовете и да въведете телефона си.

Мозъчно-компютърен интерфейс

През последната година се случи много. DARPA харчи 65 млн. Долара за финансиране на Невронни интерфейси. Елон Мъск събра 27 млн. Долара за Neuralink, Kernel получи финансиране в размер на 100 милиона долара от своя основател Брайън Джонсън, а Facebook работи върху Brain Computer Interface. Има два много различни типа BCI:

Неинвазивен BCI

ElectroEncephaloGraphy (EEG) получава сигнал от кожата на скалпа.

Все едно да поставите микрофон над футболен стадион. Няма да знаете за какво говори всеки човек, но сте в състояние да разберете дали е вкаран гол (от силните наздравици и ръкопляскания!).

EEG базирани интерфейси всъщност не четат ума ви. Например, най-използваната парадигма BCI е P300 Speller. Искате да напишете буквата „R“; компютърът произволно показва различни знаци; след като видите „R“ на екрана, мозъкът ви се изненадва и излъчва специален сигнал. Умно е, но не бих нарекъл това „четене на ума“, защото не можем да открием да мислим за „R“, а по-скоро намерихме магически трик, който работи.

Компании като Emotiv, NeuroSky, Neurable и няколко други са разработили EEG слушалки за потребителски клас. Сградата на Фейсбук 8 обяви проект за Brain Typing, който използва друга техника за изследване на мозъка, наречена функционална близка инфрачервена спектроскопия (fNIRS), която има за цел да достигне скорост от 100 думи в минута.

Neurable. Източник: Неустойчив уебсайт

Инвазивен BCI

Това е най-добрият интерфейс между човека и компютера и работи, като поставя електроди в мозъка, но има сериозни предизвикателства за преодоляване.

Филм за доклад за малцинствата. Flickr.

предизвикателства

Може да ви е хрумнало, че предвид всички споменати по-горе интересни технологии, защо все още се ограничаваме до използването на клавиатура и мишка. В контролния списък има определени функции, които трябва да бъдат маркирани за технология за взаимодействие човек-компютър, за да се извърви път към масовия пазар.

точност

Бихте ли използвали сензорен екран като основен интерфейс, ако той работи само 7 от 10 пъти? За да се използва интерфейс като основен интерфейс, той трябва да има много висока точност.

латентност

Представете си за момент, че буквите, които въвеждате на клавиатурата, се появяват една секунда, след като сте натиснали клавиша. Само тази секунда би убила преживяването. Човешко-компютърен интерфейс, който има повече от двеста милисекунди закъснение, е просто безполезен.

обучение

Интерфейсът човек-компютър не трябва да изисква от потребителя да прекарва много време, изучавайки нови жестове (т.е. да научи жест за всяка буква от азбука!)

Обратна връзка

Звукът от щракване на клавиатурата, вибрацията на телефона, малкият звуков сигнал на гласов асистент, всички имат намерение да затворят контура за обратна връзка. Обратната връзка е един от най-важните аспекти на всеки дизайн на интерфейса, който често остава незабелязан от потребителите. Нашият мозък продължава да търси потвърждение, че действието му е дало резултат.

Една от причините, поради които е много трудно да се замени клавиатурата с помощта на което и да е устройство за контрол на жестове, е липсата на силни контури за обратна връзка.

Бъдещето на човешко-компютърните интерфейси

Поради споменатите по-горе предизвикателства, изглежда, все още не сме в състояние да заменим клавиатурите, поне все още не. Това е, което мисля, че бъдещето на интерфейсите ще бъде:

  • Мултимодален: Ще използваме различни интерфейси при различни поводи. Все още може да използваме клавиатурата за писане, сензорни екрани за рисуване и проектиране, глас за взаимодействие с нашите цифрови лични асистенти, контрол на жестове, базиран на радар в колата, управление на жестове на базата на мускули за игри и VR и Brain-Computer интерфейси за избор най-добрата музика, която да свирите за вашето настроение.
  • Контекстуално осведомен: Вие четете статия на вашия лаптоп за пожари в северна Калифорния и след това питате гласовия си асистент на смарт смарт слушалките си „Колко е ветровито там?“. Трябва да разбере, че имате предвид къде са пожарите.
  • Автоматизиран: С помощта на AI компютърът ще стане по-добър в прогнозирането на това, което възнамерявате да направите, така че дори не е необходимо да го командвате. Той ще знае, че имате нужда от определена музика, която да се пуска, когато се събудите, така че дори не ви трябва интерфейс, за да намерите и пуснете песен сутрин.

Аз съм предприемач в силициевата долина и страстта ми е взаимодействието между човек и компютър. Направих изследвания на интерфейси мозък-компютър, интерфейси на мускулна машина и устройства за контрол на жестове. Публикувам за предприемачеството, рисков капитал и новите технологии. Моля, следвайте ме в LinkedIn, Twitter и Medium.