Demain n’existe pas!
В последней статье из серии «Взгляд изнутри» речь зашла о повседневных вещах, но, не смотря на обилие материала, полученного в этом направлении в течение прошедшего месяца, всё-таки давайте вернёмся к тематике, связанной с IT.
Специально ко Дню Защитника Отечества на препарационный стол легли LCD и E-Ink дисплеи, которые, так или иначе, достались мне в несколько побитом жизнью виде.
Как Антон кидал телефон об стену, а также о результатах скрупулёзного разбора дисплеев читайте под катом.
Предисловие
Так начинается известная песня группы Уматурман. Так же начинается и история с исследованием дисплеев. После первой публикации на Хабре пришёл ко мне мой друг-аспирант ФНМ МГУ и говорит: «Я тут свой мобильник разбил, не хочешь ли ты его распилить?» Я удивился, потому что этот человек всегда носил с собой китаефон, который я считал практически не убиваемым. Придя однажды домой, Антон по привычке кинул телефон в шкаф, но, видимо, что-то не рассчитав попал аккурат дисплеем в ребро полки.
Осознавая свои смехотворные потери от утраты мобильного и ввиду общего плохого настроения в тот день, он поступил, как истинный джентльмен, швыряя вновь и вновь бездыханное тело телефона о бетонную стену. Когда же останки дошли до меня, то половина китаефона просто отсутствовала, дисплей был покрыт мелкой паутинкой трещин.
Пришлось отложить его до лучших времён (как я тогда полагал, пока кто-нибудь таким же образом не поступит с iPhone или другим сенсорным смартфоном) и начать заниматься HDD и CD, потом лампочками, флешками и т.д.
Через некоторое время уже мой сосед приносит мне треснувший E-Ink дисплей. Его друг разбил тонкое стекло в небезызвестной читалке с порядковым номером 601 во время игры в страйкбол, кажется, и отдал читалку практически даром для ремонта и восстановления.
Вот это уже было интереснее, две технологии можно сравнить между собой, попытаться разглядеть RGB-субпиксели и микрокапсулы, в которых плавают заряженные частицы. Но я надеялся на получение смартфона с ёмкостным сенсором, чтобы сравнить заодно его и резистивный сенсор китаефона.
И вот Василий (научный коллега по одной из лабораторий факультета), приехав к нам на ХимФак из Черноголовки и увидев, чем я собственно занимаюсь с электронным микроскопом, сказал, что готов пожертвовать телефон известного корейского производителя с несколько побитым дисплеем для разборки и распила с пометкой «ради науки ничего не жалко».
Часть теоретическая
Всё это стало возможным, благодаря открытиям вековой давности (жидкие кристаллы открыты в 1888 году) и развитию технологий в последние 30-40 лет (1968 год – устройство для отображения информации, использовавшее ЖК, 1970-е – общедоступность жидких кристаллов). Многое о жидких кристаллах и ЖК-мониторах можно подчерпнуть на Wiki.
Итак, практически любой ЖК-монитор состоит из следующих основных частей: активной матрицы, представляющей собой набор транзисторов, с помощью которых и формируется изображение, слоя жидких кристаллов со светофильтрами, которые либо пропускают свет, либо нет, и системы подсветки, которую на сегодняшний день стараются полностью перевести на светодиоды. Хотя на моём «стареньком» Asus G2S дисплей великолепного качества подсвечивается именно люминесцентными лампами.
Как это всё работает? Свет, поступая от источника (LED или лампы) через специальную прозрачную пластину-волновод, рассеивается таким образом, чтобы вся матрица имела равную освещённость по всей свой площади. Далее фотоны проходят поляризационный фильтр, который пропускает только волны с заданной поляризацией. Затем проникнув через стеклянную подложку, на которой находится активная матрица из тонкоплёночных транзисторов, свет попадает на молекулу жидкого кристалла.
Эта молекула получает «команду» от нижележащего транзистора, на какой угол повернуть поляризацию световой волны, чтобы она, пройдя сквозь ещё один поляризационный фильтр, задала интенсивность свечения отдельного субпиксела. А за окраску субпиксела отвечает слой светофильтров (красных, зелёных или синих). Смешиваясь, волны от трёх невидимых глазу человека субпикселей формируют пиксел изображения заданного цвета и интенсивности.
а) Схематическое устройство LCD дисплея, б) устройство жидкокристаллической плёнки в деталях.
Очень наглядно, как мне кажется, это продемонстрировано в ролике компании Sharp:
Помимо хорошо зарекомендовавшей себя технологии LCD + TFT (thin-film transistors – тонкоплёночные транзисторы) существует активно продвигаемая технология органических светодиодов OLED + TFT, то есть AMOLED – active matrix OLED. Основное отличие последней заключается в том, что роль поляризатора, слоя ЖК и светофильтров играют органические светодиоды трёх цветов.
По сути, это молекулы, способные при протекании электрического тока испускать свет, а в зависимости от количества протекшего тока менять интенсивность окраски, подобно тому, как это происходит в обычных LED. Убрав поляризаторы и ЖК из панели, мы потенциально можем сделать её более тонкой, а самое главное – гибкой!
Какие сенсорные панели бывают?
Так как сенсоры на данный момент больше применяют с LCD и OLED дисплеями, то думаю, будет разумно сразу про них и рассказать.
Очень подробное описание танчскринов или сенсорных панелей дано тут (источник когда-то жил здесь, но почему-то исчез), поэтому я не буду описывать все типы сенсорных панелей, остановлюсь лишь на двух основных: резистивном и ёмкостном.
Начнём с резистивного сенсора. Состоит он из 4 основных компонент: стеклянной панели (1), как носителя всей сенсорной панели, двух прозрачных полимерных мембран с резистивным покрытием (2, 4), слоя микроизоляторов (3), разделяющих эти мембраны, и 4, 5 или 8 проводков, которые и отвечают за «считывание» касания.
Схема устройства резистивного сенсора
Когда мы нажимаем на такой сенсор с определённой силой, то происходит соприкосновение мембран, электрическая цепь замыкается, как показано на рисунке ниже, измеряется сопротивление, которое впоследствии пересчитывается в координаты:
Принцип расчёта координат для 4-х проводного резистивного дисплея (Источник)
Всё предельно просто.
Важно помнить две вещи: а) резистивные сенсоры на многих китайских телефонах не отличаются высоким качеством, это может быть связано как раз с неравномерностью расстояния между мембранами или некачественными микроизоляторами, то есть «мозг» телефона не может адекватно пересчитать измеренные сопротивления в координаты; б) такой сенсор требует именно нажатия, продавливания одной мембраны до другой.
Ёмкостные сенсоры несколько отличаются от резистивных. Стоит сразу оговориться, что речь будет идти лишь о проекционно-ёмкостных сенсорах, которые сейчас применяется в iPhone и прочих портативных устройствах.
Принцип работы такого тачскрина довольно прост. На внутренней стороне экрана наносится сетка электродов, а внешняя покрывается, например, ITO – сложным оксидом индия-олова. Когда мы касаемся стекла, наш палец образует с таким электродом маленький конденсатор, а обрабатывающая электроника измеряет ёмкость этого конденсатора (подаёт импульс тока и измеряет напряжение).
Соответственно, ёмкостной сенсор реагирует только на плотное прикосновение и только проводящими предметами, то есть от касания гвоздём такой экран работать будет через раз, равно как и от руки, вымоченной в ацетоне или обезвоженной. Пожалуй, основным преимуществом данного тачскрина перед резистивным является возможность сделать достаточно прочную основу – особо прочное стекло, как, например, Gorilla Glass.
Схема работы поверхностно-ёмкостного сенсора(Источник)
Как устроен E-Ink дисплей?
Пожалуй, E-Ink по сравнению с LCD устроен гораздо проще. Вновь мы имеем дело с активной матрицей, ответственной за формирование изображения, однако ЖК-кристаллов и ламп подсветки здесь нет и в помине, вместо них – колбочки с двумя типами частиц: отрицательно заряженными чёрными и положительно заряженными белыми. Изображение формируется подачей определённой разности потенциалов и перераспределения частиц внутри таких микроколбочек, на рисунке ниже это наглядно продемонстрировано:
Сверху схема работы E-Ink дисплея, снизу реальные микрофотографии такого работающего дисплея (Источник)
Помимо технологии E-Ink существует технологи SiPix, в которой есть только один вид частиц, а сама «заливка» чёрная:
Схема работы SiPix дисплея (Источник)
Тем же, кто серьёзно хочет ознакомиться с «магнитной» электронной бумагой, прошу сюда, в Персте когда-то была отличная статья.
Часть практическая
После «аккуратной» отвёрточной разборки оставшейся от китаефона платы и дисплея, я с превеликим удивлением обнаружил упоминание одного известного корейского производителя на материнской плате телефона:
Самсунг и китаефон едины!
Экран разбирал бережно и аккуратно – так, что все поляризаторы остались целыми, поэтому просто не мог не поиграться с ними и с работающим большим братом препарируемого объекта и вспомнить практикум по оптике:
Так работают 2 поляризационных фильтра: в одном положении световой поток практически не проходит через них, при повороте на 90 градусов – полностью проходит
Обратите внимание, что вся подсветка зиждется всего-навсего на четырёх крохотных светодиодах (я думаю, их суммарная мощность не более 1 Вт).
Затем долго искал сенсор, искренне полагая, что это будет довольно толстая панелька. Оказалось совершенно наоборот. Как в китайском, так и в корейском телефоне сенсор представляет из себя несколько листов пластика, которые очень качественно и плотно приклеены к стеклу внешней панели:
Слева сенсор китаефона, справа – корейского телефона
Резистивный сенсор китайского телефона выполнен по схеме «чем проще, тем лучше», в отличие от своего более дорогого собрата из Южной Кореи. Если я не прав, то поправьте меня в комментариях, но слева на картинке – типичный 4-х контактный, а справа – 8-ми контактный сенсор.
LCD-дисплей китаефона
Так как дисплей китайского телефона всё равно был разбит, а корейского – всего лишь незначительно повреждён, то на примере первого я и постараюсь рассказать о LCD. Но пока не будем его ломать окончательно, а посмотрим под оптическим микроскопом:
Оптическая микрофотография горизонтальных линий LCD-дисплея китайского телефона. Левой верхней фотографии присущ некоторый обман нашего зрения из-за «неправильных» цветов: белая тонкая полоска и есть контакт.
Один провод питает сразу две линии пикселов, а развязка между ними устроена с помощью совершенно необычного «электрического жука» (правая нижняя фотография). За всей это электрической схемой находятся дорожки-светофильтры, выкрашенные в соответствующие цвета: красный ( R), зелёный (G) и синий (B).
С противоположного конца матрицы по отношению к месту крепления шлейфа можно найти аналогичную цветовую разбивку, номера дорожек и всё те же переключатели (если бы кто-нибудь просветил в комментариях, как это работает, то было бы очень здорово!):
Так вживую выглядит работающий LCD дисплей под микроскопом:
Теперь можно посмотреть на отдельные дорожки светофильтров. О тёмных «пятнах» на них я расскажу чуть позже:
А теперь небольшой методический аспект, касающийся электронной микроскопии. Те же самые цветные полосы, но уже под пучком электронного микроскопа: цвет исчез! Как я и говорил ранее (например, в самой первой статье) электронному пучку совершенно «чёрно-бело» взаимодействует ли он с цветным веществом или нет.
Заглянем и на обратную сторону. На ней расположены транзисторы:
И электронный микроскоп – черно-белое изображение!
В оптический микроскоп это видно чуть хуже, но СЭМ позволяет разглядеть окантовку каждого субпикселя – это довольно важно для нижеследующего вывода.
Итак, что это за странные тёмные области?! Долго думал, ломал себе голову, прочитал много источников (пожалуй, самым доступным оказалась Wiki) и, кстати, по этой причине задержал выпуск статьи в четверг 23 февраля. И вот к какому выводу я пришёл (возможно, я не прав – поправьте!).
В VA- или MVA-технологии – одна из самых простых, и не думаю, что китайцы придумали что-то новое: каждый субпиксел должен быть чёрный. То есть через него не проходит свет (здесь приведён пример работающего и неработающего дисплея), принимая во внимание то, что в «обычном» состоянии (без приложения внешнего воздействия) жидкий кристалл разориентирован и не даёт «нужной» поляризации, то логично предположить, что каждый отдельный субпиксел имеет свою плёнку с ЖК.
Таким образом, вся панель собрана из единичных микро-ЖК-дисплеев. Сюда органично вписывается и замечание об окантовке каждого отдельного субпиксела. Для меня это стало, своего рода, неожиданным открытием прямо по ходу подготовки статьи!
Дисплей корейского телефона ломать я пожалел: надо ведь что-то показывать детям и тем, кто приходит к нам на факультет на экскурсию. Не думаю, что можно было бы увидеть ещё что-то интересное.
Далее, баловства ради приведу пример «организации» пикселов у двух ведущих производителей коммуникаторов: HTC и Apple. iPhone 3 был пожертвован на безболезненную операцию одним добрым человеком, а HTC Desire HD собственно мой:
Микрофотографии дисплея HTC Desire HD
Небольшое замечание по поводу дисплея HTC: специально не искал, но не может ли быть вот эта полоса посреди верхних двух микрофотографий тем частью того самого ёмкостного сенсора?!
Если мне не изменяет память, то у HTC дисплей – superLCD, а у iPhone 3 – обычный LCD. Так называемый Retina Display, то есть LCD, у которого оба контакта для переключения жидкого кристалла лежат в одной плоскости, In-Plane Switching – IPS, устанавливается уже в iPhone 4.
Надеюсь, что скоро на тему сравнения различных технологий дисплеев выйдет статья при поддержке 3DNews. А пока хочу просто отметить тот факт, что дисплей HTC действительно необычен: контакты на отдельные субпикселы заведены нестандартным образом – как-то сверху, в отличие от iPhone 3.
И напоследок в этом разделе добавлю, что размеры одного субпиксела у китаефона – 50 на 200 микрометров, HTC – 25 на 100 микрометров, а iPhone – 15-20 на 70 микрометров.
E-Ink известного украинского производителя
Начнём, пожалуй, с банальных вещей – «пикселов», а точнее ячеек, которые ответственны за формирование изображения:
Оптическая микрофотография активной матрицы E-Ink дисплея
Размер такой ячейки около 125 микрометров. Так как смотрим мы на матрицу через стекло, на которое она нанесена, то прошу обратить внимание на жёлтый слой на «заднем» плане – это золотое напыление, от которого нам впоследствии предстоит избавиться.
Далее токоподводящие контакты. Это фото меня особенно впечатлило:
Сравнение горизонтальных (слева) и вертикальных (справа) «вводов»
Кроме всего прочего, на стеклянной подложке обнаружилось много интересных вещей. Например, позиционных меток и контактов, которые, по всей видимости, предназначены для тестирования дисплея на производстве:
Оптические микрофотографии меток и тестовых контактных площадок
Конечно, такое происходит не часто и обычно является несчастным случаем, но дисплеи иногда ломаются. Например, эта едва заметная трещина толщиной меньше человеческого волоса способна навсегда лишить радости читать любимую книгу о туманном Альбионе в душном московском метро:
Кстати, вот оно, то золото, о котором я упоминал – гладкая площадка «снизу» ячейки для качественного контакта с чернилами (о них чуть ниже). Золото удаляем механически и вот результат:
You’ve got a lot of guts. Let’s see what they look like! (с)
Под тонкой золотой плёнкой скрываются управляющие компоненты активной матрицы, если можно её так именовать.
Но самое интересно, конечно же, это сами «чернила»:
СЭМ-микрофотография чернил на поверхности активной матрицы.
Конечно, трудно найти хотя бы один разрушенную микрокапсулу, чтобы заглянуть внутрь и увидеть «белые» и «чёрные» пигментные частицы:
СЭМ-микрофотография поверхности электронных «чернил»
Оптическая микрофотография «чернил»
Или всё-таки внутри что-то есть?!
То ли разрушенная сфера, то ли выдранная из несущего полимера
Размер отдельных шариков, то есть некоторого аналога субпиксела в E-Ink, может составлять всего 20-30 мкм, что значительно ниже геометрических размеров субпикселов в LCD-дисплеях. При условии, что такая капсула может работать в половину своего размера, то и изображение получается на хороших, качественных E-Ink дисплеях гораздо более приятным, чем на LCD.
И на десерт – видео о том, как работают E-Ink дисплеи под микроскопом:
Заключение
В конце моего повествования, я хотел бы поблагодарить тех, кто помогал мне при написании этой статьи: Антона (разбитый китаефон его рук дела), Алексея (пострадавший E-Ink, вовремя вырванный из цепких лап сервиса), Василия (за корейский телефон, камера которого станет героем одной из следующих публикаций), Машу (не побоялась-таки дать мне свой iPhone), Катерину (за оправдание своей фамилии).
P.S. В конечно счёте удалось урвать небольшой кусочек ридера и изучить технологию гибкой электроники, продвигаемую РосНано.
Во-первых, полный список опубликованных статей на Хабре:
Вскрытие чипа Nvidia 8600M GT, более обстоятельная статья дана тут: Современные чипы – взгляд изнутри
Взгляд изнутри: CD и HDD
Взгляд изнутри: светодиодные лампочки
Взгляд изнутри: Светодиодная промышленность в России
Взгляд изнутри: Flash-память и RAM
Взгляд изнутри: мир вокруг нас
Взгляд изнутри: LCD и E-Ink дисплеи
Взгляд изнутри: матрицы цифровых камер
Взгляд изнутри: Plastic Logic
Взгляд изнутри: RFID и другие метки
Взгляд изнутри: аспирантура в EPFL. Часть 1
Взгляд изнутри: аспирантура в EPFL. Часть 2
Взгляд изнутри: мир вокруг нас — 2
Взгляд изнутри: мир вокруг нас — 3
Взгляд изнутри: мир вокруг нас — 4
Взгляд изнутри: 13 LED-ламп и бутылка рома. Часть 1
Взгляд изнутри: 13 LED-ламп и бутылка рома. Часть 2
Взгляд изнутри: 13 LED-ламп и бутылка рома. Часть 3
Взгляд изнутри: IKEA LED наносит ответный удар
Взгляд изнутри: а так ли хороши Filament-лампы?
и 3DNews:
Микровзгляд: сравнение дисплеев современных смартфонов
Во-вторых, помимо блога на HabraHabr, статьи и видеоматериалы можно читать и смотреть на Nanometer.ru, YouTube, а также Dirty.
В-третьих, если тебе, дорогой читатель, понравилась статья или ты хочешь простимулировать написание новых, то действуй согласно следующей максиме: «pay what you want»
Yandex.Money 41001234893231
WebMoney (R296920395341 или Z333281944680)
Иногда кратко, а иногда не очень о новостях науки и технологий можно почитать на моём Телеграм-канале — милости просим;)
Время на прочтение
МЕГА Accelerator был запущен в начале года, и в прошлом посте мы познакомили вас с десятью стартапами, ставшими резидентами нашего акселератора и уже начавшими работу в коворкинге PO2RT. Теперь можно рассказать подробнее о каждом из проектов. Почему бы не начать с Surfancy?
Эта статья об истории развития тачскрина от 50-х годов XX века до наших современников, стартаперов Surfancy, которые придумали, как отделить тачскрин от экрана. Почему это не случайное решение, а правильное и закономерное развитие всей истории тачскрина? Здесь нужно разобраться в истории.
Пока запомните эти две белые планки, мы вернемся к ним в конце статьи:
Но история реального тачскрина берет начало в 1950-х. Только сначала вместо пальца приходилось использовать нечто более электропроводящее.
Первое поколение
В 1954 году Роберт Еверетт из американской Lincoln Lab предложил использовать световую пушку для выбора и управления иконками самолетов на авиарадаре. Если у вас были световой пистолет и приставка Денди, то теперь вы знаете, откуда у неё ноги растут.
Знаменитый центр управления из фильма Dr.Strangelove — это как раз центр управления SAGE.
Скажем спасибо холодной войне — операторам требовалось как можно скорее реагировать на советские самолеты и ракеты в воздухе, поэтому правительство потратило $12 миллионов на разработку системы SAGE, которая оказала очень большое влияние на развитие информационных технологий — впервые всё воздушное пространство управлялось 27 300-тонными компьютерами, соединенными аналоговыми модемами, алгоритмы автоматически реагировали на угрозы и предлагали меры для контратак. Для создания системы были привлечены 20% программистов всего мира, которые написали 250 000 строк самого сложного кода в истории.
В системе SAGE оператор действовал мгновенно — вместо ввода координат с клавиатуры он просто указывал световым пером на точку, оптико-электрическое перо передавало сигнал компьютеру, и тот уже сам вычислял координаты. Это позволило вести управление в реальном времени и исключить ошибки.
К 1957 году световая пушка была улучшена до светового стилуса. Теперь можно было не только выделять самолеты, но и рисовать на экране, словно ручкой. Тогда ученые решили, что идеал достигнут.
Один из программистов IBM тайно зашил в систему такое изображение для процесса диагностики синхронизации удаленных компьютеров. Наверное, эту заставку можно считать первым скринсейвером.
Второе поколение
В 1963 году корпорация RAND по заказу DARPA создаёт универсальный графический планшет со стилусом. Который принципиально ничем не отличается от современных Wacom’ов.
Наиболее интересная часть планшета RAND скрывалась под залитой эпоксидной смолой поверхностью. На тончайший слой полиэфирной плёнки с двух сторон был нанесён тонкий слой меди, на котором и была вытравлена координатная сетка планшета. Верхняя поверхность содержала 1024 дорожки координат Х, а нижняя — 1024 дорожки координат Y. Таким образом, планшет RAND содержал миллион X-Y координат и обеспечивал беспрецедентное для того времени разрешение — 100 дорожек на дюйм.
Планшет использовал сетку проводников под сенсорной поверхностью, на которые подавались закодированные троичным кодом Грея электрические импульсы. Ёмкостно связанное перо принимало этот сигнал, который затем мог быть декодирован обратно в координаты. Особое внимание уделялось работам с картами и целеуказанию на них. И всё это всего за какие-то $18 000. Недостатки? К планшету нужен полноценный компьютер со своим экраном и вот такой блок питания:
К сожалению, все данные о применении системы засекречены, всего два экземпляра 6ыли переданы гражданским университетам.
Третье поколение
В 1965 году технология тачскрина становится действительно тачскрином. Эдвард Джонсон из Royal Radar Establishment создаёт тот тип тачскрина, который на долгие годы станет основным — ёмкостный тачскрин. Теперь диспетчеры в аэропорту могли просто дотрагиваться до экрана пальцем без всякого стилуса.
Технология проста, как всё гениальное — экран кинескопа покрывается проводящей прозрачной пленкой, прикосновение пальца к экрану меняет сопротивление и система получает сигнал — есть замыкание. Простота и надёжность позволили этой системе управлять всеми авиаперелётами в Англии до самого конца 1990-х!
Правда, простота системы не позволила ей стать коммерческим решением — на такой пленке нельзя замерить силу нажатия и что важнее — никакого мультитача. Только один палец за раз.
Четвёртое поколение
В отличие от ёмкостных, резистивные тачскрины были открыты вообще случайно. Его автор Самуэль Херст так описывает этот случай:
Для изучения атомной физики исследовательская группа использовала перегруженный работой ускоритель Ван де Графа, который был доступен студентам только в ночное время. Утомительный анализ данных с бумажных лент сильно замедлял исследования. Сэм придумал способ, чтобы решить эту проблему. Он, Парки, и Турман Стюарт, ещё один докторант, использовали электропроводящую бумагу, чтобы прочитать пару х- и у- координат. Эта идея привела к первому сенсорному экрану для компьютера. С помощью этого прототипа его ученики могли бы сделать нужные вычисления в течение нескольких часов, хотя раньше для достижения этой же цели требовалось несколько дней.
Забросив свои исследования, в 1970 году Херст с девятью коллегами укрылись в его гараже и довели случайное изобретение до совершенства. В результате родилась технология «электрического сенсора плоских координат»:
Два электропроводящих слоя задавали X и Y координаты соответственно. Давление на экран позволяло току течь между X и Y слоями, что легко измерялось на выходе и сразу конвертировалось в числовые координаты. Поэтому такой тип экрана и называется резистивным — он реагирует на давление (resist — сопротивление) а не электропроводимость.
Такая технология оказалась удивительно дешевой и именно ей мы сейчас все и пользуемся.
В 1971 году все это было запатентовано и продано калифорнийским предпринимателем под названием Elographics.
Пятое поколение
Реально же мультитач родился там, где и должен был — в CERN. Мало кто понимает, что основная проблема CERN — управление коллайдерами. В чем эта проблема? Большой Адронный Коллайдер (LHC); ежесекундно будет происходить около миллиарда столкновений, в каждом из которых будут рождаться десятки частиц разных типов. Годовой объём экспериментальных данных оценивается в 10 петабайт (1 Пб = 10 15 байт) — LHC будет давать 1% информации, производимой человечеством. Для обработки и хранения такого потока данных в 1994 году в CERN придумают Интернет. Но в 1973 году перед инженерами встает совсем неожиданная задача.
Запуск протонного суперсинхротрона упёрся в невозможность оперативного управления. Будучи в 10 раз больше, мощнее и сложнее предыдущего ускорителя, он требовал практически бесконечное количество кнопок и переключателей на приборной панели, а управлять всем этим должны всего несколько человек — иначе не получится осуществлять централизованное управление. Как быть?
Как вы понимаете, CERN выбрал второй вариант и создал емкостные экраны с поддержкой мультитача — именно их решением мы пользуемся сегодня, когда держим в руках свой айфон.
А начиналось все вот с этих сенсорных матриц. Слева о6разец 1977 года, справа — 1972:
В записке, датированной 11 марта 1972 года, Берн Стампе представил своё решение — емкостной сенсорный экран с фиксированным числом программируемых кнопок, находящихся на дисплее. Экран должен был состоять из множества конденсаторов, вплавленных в плёнку или в стекло медных проволочек, каждый конденсатор должен быть построен так, что поблизости находящийся проводник, такой как палец, приведет к увеличению мощности на значительную величину. Конденсаторы должны были быть проволочками меди на стекле — тонкими (80 μm) и достаточно далеко друг от друга (80 μm), чтобы быть невидимыми. В конечном устройстве экран был просто покрыт лаком, который предотвращал касание пальцами конденсаторов.
Пленка была практически прозрачной и совершенно незаметной:
В результате протонный синхротрон управлялся вот с этого пульта всего тремя операторами:
Система настолько опережала своё время, что в ней не было ни одного коммерческого компонента — все элементы производились самим CERN и воспринимались не как узкоспециализированые решения, а скорее даже как «костыли» — вместо гордости инженеры считали, что их решение это «чит» и развлечение, а не серьёзная работа. После коллайдера технология была использована в «Дринкомате» кафетерия — аппарат позволял пальцами на экране смешивать себе коктейль и получать его из аппарата.
Поразительно, что, по сути открыв мультитач, в CERN его так ни разу и не использовали — никаких жестов или знакомых нам функций — мультитач тогда воспринимался просто как возможность нажимать на экране несколько кнопок одновременно. В сторону замечу, что ничего не мешало церновскому тачскрину определять ещё и силу нажатия на экран.
Шестое поколение
Под впечатлением успеха европейских ученых американцы выбивают у правительства грант на конверсию военных тачскринов в образовательных целях. Programmed Logic for Automated Teaching Operations (PLATO) — первая система электронного обучения, к концу 70-х годов состоявшая из нескольких тысяч терминалов по всему миру и более десятка мейнфреймов, соединённых общей компьютерной сетью. Система PLATO была разработана в Университете Иллинойса и использовалась в течение 40 лет. Она была первоначально создана для выполнения простых курсовых работ студентами университета Иллинойса, местными школьниками и студентами ряда других университетов.
Но нас интересует, как именно функционировали терминалы этой системы. Дисплей PLATO IV также имел сетку инфракрасной сенсорной панели размером 16х16, что позволяло студентам отвечать на вопросы касанием пальца в любом месте экрана.
С появлением микропроцессоров были разработаны новые, более дешёвые и обладающие большими возможностями терминалы. Микропроцессоры Intel 8080, встроенные в терминалы, позволяли системе выполнять программы локально, как в наше время выполняются Java-апплеты или элементы управления ActiveX, а также загружать небольшие модули программного обеспечения в терминал, чтобы разнообразить учебные курсы за счёт сложной анимации и других возможностей, недоступных в обычных терминалах. Отдельно отметим оранжевый газо-плазменный экран, дававший впечатляющую картинку.
Любопытно, что в 1972 году в университете штата Иллинойс исследователям компании Xerox PARC была продемонстрирована система PLATO. Были показаны отдельные модули системы — такие, как программа генератора изображений для PLATO и программа для «отрисовки» новых символов. Многие из этих инноваций стали дальнейшим фундаментом для разработки других компьютерных систем. Некоторые из этих технологий в усовершенствованном виде появились в системе Xerox Alto, которая, в свою очередь, стала прототипом для разработок компании Apple.
К 1975 году система PLATO, выполнявшаяся на суперкомпьютере CDC Cyber 73, обслуживала почти 150 мест, включая не только пользователей системы PLATO III, но и гимназии, лицеи, колледжи, университеты и военные объекты. В PLATO IV в составе учебных курсов предлагались текст, графикa и анимация. Кроме того, имелся механизм разделяемой памяти («общие» переменные), что позволяло с помощью языка программирования TUTOR передавать данные между различными пользователями в реальном времени. Так стали впервые создаваться программы для чата, а также первый многопользовательский авиасимулятор. Все это за 30 лет до интернета!
Недостатки? Разрешение сенсора всего 32 квадрата, все еще нет мультитача и стоимость в $12 000.
Седьмое поколение
К 1980-м всем стало очевидно, что без мультитача тачскрин не сможет выйти на рынок. Как известно еще из античности, человек — мера всех вещей. А у человека на руках десять пальцев.
В 1983 году было много обсуждений мультитач-экранов, которые привели к разработке экрана, использующего для управления больше чем одну руку. Bell Labs сфокусировались на разработке софта для мультитач и добились значительных успехов на этом поле, представив в 1984 году сенсорный экран, на котором можно было пролистывать изображения двумя руками.
Следующим шагом в развитии оптических сенсоров стало появление «сенсорных рамок», разработанных в 1985 году в Университете Карнеги-Меллона. Принцип действия подобных дисплеев состоял в том, что рамка дисплея подсвечивалась ИК-лучами, а касание определялось по изменению рассеяния света на границе «стекло-воздух». Подобные дисплеи могли распознавать одновременные касания тремя пальцами.
Находят оптические сенсорные дисплеи свое применение и в наши дни. Их главный плюс – отсутствие дополнительного слоя прозрачного материала. В частности ИК-тач используется в «читалке» Sony PRS-350 и различных промышленных устройствах. Главный минус — избыточная точность и сложность таких систем — и дорого, и обидно тратить ресурсы, которые никогда не будут использованы.
В 1985 году в Университете Торонто группа ученых разработала небольшие емкостные сенсоры на смену громоздким камерам на основе оптических сенсорных систем.
Изобретатели пытаются решить проблему через всякие костыли — кто-то использует тень от рук для определения координат, цветные проекторы или даже микрофоны для эхолокации. Эти системы не получили никакого распространения, но именно на них были созданы все современные известные нам жесты управления. Единственное, чего не могли сделать эти системы — регистрировать нажатия на экран, что их и погубило.
Первая попытка выхода сенсорных технологий на массовый рынок произошла в 1983 году, когда HP решает захватить рынок персоналок, выпустив легендарный HP-150. Крепкая добротная персоналка за $3000 на Intel 8088 с частотой в 8Мгц была в два раза быстрее стандартных персоналок тех дней с частотой в 4,77Мгц, кроме того на борту было от 256 до 640 килобайт оперативки и система MS-DOS 3.20, но главное — экран. Поверх экрана расположились инфракрасные излучатели, образующие сенсорную рамку, 40 горизонтальных на 24 вертикальных сенсоров.
Это странно и неожиданно — подержать на весу руку десять минут не проблема (но тоже не сахар), а вот тыкать на весу пальцем в стену — невозможно. Рука отекает и очень устает, исследователи назвали этот эффект «Gorrilla Arm», то есть «лапа гориллы».
Восьмое поколение
Борьба с синдромом «Горильей лапы» проливает свет на историю Apple и Стива Джобса, во всяком случае делает ее понятной. Стив Джобс был убежден, что победить этот недостаток можно только одним способом — перенести тачскрин прямо на руку. Положить экран в ладонь или еще каким способом ликвидировать расстояние между пальцами и экраном, заставляющее держать руки на весу. Помните, как Стив специально объяснял, почему на макбуках никогда не будет тачскринов?
Стив настаивает, что нужно не просто ликвидировать этот промежуток, но идти дальше — дать пользователям чистый, интуитивно понятный мультитач без всяких посредников. Мультитач и ничего кроме него!
Но Стива не слушают — его идеи принимают, но его самого «уходят» из Apple. В результате Apple делает свой первый айфон в 1987 году — Newton MessagePad получается лишь пародией на мечту Джобса — да, его можно держать в руке, но никакого мультитача и управление через стилус. В результате пользоваться им неудобно, распознавать рукописный ввод он не может и все тормозит. Критики в восторге, пользователи проклинают сырой продукт. Но Apple идет напролом и выпускает свой планшет еще шесть лет, что ставит корпорацию на грань банкротства.
Этим пользуется Palm, выпуская свой наладонник — единственное его отличие в том, что он делает то, что обещает — например, худо-бедно распознает рукописный текст. Но так же никакого мультитача и работа только через стилус. Все это работает на резистивных экранах.
Девятое поколение
Несмотря на то, что первая поверхность с поддержкой мультитач появилась в 1984 году, когда в Bell Labs разработали подобный экран, на котором можно было манипулировать изображениями при помощи более чем одной руки, эта разработка не получила продвижения.
Начиная с 2000 года стартует гонка за мультитачем. Сони запускает проект SmartSkin, Microsoft делает совместно с IKEA стол Surface, система FTIR становится хитом на YouTube.
Вернувшись на пост CEO, Джобс направил все ресурсы Apple на одну простую задачу — сделать продукт, который целиком и полностью будет построен вокруг технологии мультитач. Он борется за каждый грамм веса и миллиметр размера будущего айфона, чтобы победить «лапу гориллы». Он принципиально ненавидит стилусы, и подчиняет весь софт и дизайн одной задаче, даже не задаче, а лишь одному жесту, который он покажет на презентации и взорвет индустрию. Вот этот жест:
На знаменитой презентации 2007 года он разблокирует айфон простым свайпом и пролистывает списки таким же простым движением пальца. Это естественно и очевидно — мы даже не понимаем, насколько круто это было всего десять лет назад!
Именно простота и естественность стали залогом успеха айфона — под это подстроен и весь дизайн интерфейса, имитирующий естественные поверхности — т.н. скевоморфизм. И к тому же, теперь вы знаете, откуда такая ненависть к стилусам.
Итак, нам потребовалось 50 лет, чтобы проделать путь от светового ружья до айфона. Что дальше? Ответ на этот вопрос пытается нащупать московский стартап Surfancy.
Десятое поколение
А что, если представить решение, которое сможет очень дешево и просто делать сенсорным любую ровную поверхность вне зависимости от внешних условий, да и от наличия самой поверхности? Так и родилась идея Surfancy.
Главными особенностями устройства являются легкость монтажа, масштабируемость сенсорной области и высокая помехоустойчивость, система не накладывает рамки (в прямом и переносном смысле) на то, что хочется сделать сенсорным. «Нашу систему можно закрепить на любой поверхности и получить интерактивный рекламный плакат, большой сенсорный экран или умную доску. Но формат при этом задаем не мы, а человек, который пользуется Surfancy. После реализации первого прототипа не могу избавиться от желания «нажать» на нарисованную кнопку на бумажных плакатах в лифтах или вагонах метро», — смеется Дмитрий. Кроме того, система надежна. Среди существующих оптических систем только Surfancy не накладывает какие-либо требования к внешней освещенности и кривизне.
Идея создания нового типа сенсорной панели зародилась у одного из членов команды во время его работы в одной крупной российской фирме, производящей игровые аппараты. Высокая точность, обеспечиваемая используемыми в них сенсорными панелями ультразвукового принципа действия, являлась весьма избыточной, что и дало толчок к разработке более простого и дешевого устройства.
И такое устройство было разработано. В первоначальном варианте оно представляло собой печатную плату, охватывающую край монитора с установленными на ней фототранзисторами, которые поочередно подсвечивались двумя разнесенными вдоль поверхности монитора инфракрасными диодами. Касание поверхности экрана вызывало пересечение оптических потоков инфракрасных диодов и появление при этом соответствующих теней на поверхностях фототранзисторов. Фактически все это напоминает устройство давно известных инфракрасных рамок, т.е. устройств, формирующих сетку лучей, оптически связанных с набором фотоприемников. Однако существенное отличие новой схемы – только 2 излучателя. Новизна данного технического решения была подтверждена патентом РФ на изобретение № 2278423.
На рисунке 1 приведена функциональная схема, защищенная данным патентом.
В силу известных причин производство игровых аппаратов было прекращено, и данный проект сенсорной панели был надолго похоронен. Интерес к данному устройству вновь возник, когда на Западе появилось успешное коммерческое решение, позволившее определять положение пальцев руки человека – оператора в пространстве. Речь идет о Kinect фирмы Microsoft. Сразу надо отметить главное достоинство Kinect – ее масштабируемость. Т.е. систему можно встроить в любое приложение, управление которым возможно осуществлять пространственным манипулированием руками человека-оператора. И еще – систему легко установить в любом месте – стоит лишь правильно выбрать зону обзора окружающего пространства, в котором разворачивается сценарий интерактивного взаимодействия пользователя с программным обеспечением.
У новой команды разработчиков появилась идея – занять свою нишу в области пространственного манипулирования и управления, и так же, как ранее в случае с ультразвуковой сенсорной панелью, исключить избыточность, присущую конкурирующей системе.
Под избыточностью в данном контексте надо понимать, что для построения 3D-интерфейса пользователя с программным обеспечением траектория пользовательского жеста может быть однозначно распознана и двумерной измерительной системой. Главное требование при этом – плоская сенсорная область должна быть оптимально локализована в 3D-пространстве. Большой недостаток Kinect, вытекающий из избыточной функциональности, связан с ее принципом функционирования. Как любая активная оптико-локационная система, к которой и относится Kinect, измерение положения объекта требует зондирующей подсветки с последующим приемом отраженного от объекта излучения. Это делает ее чувствительной к паразитным засветкам, отражений от бликующих поверхностей и пр. Таким образом, не удастся поместить Kinect на улице и заставить работать в условиях яркой солнечной засветки.
Надо отметить, что работоспособность данной технической реализации системы сохраняется даже при прямой солнечной засветке линеек, при расстоянии между ними до 6 м.
В заключение следует отметить, что различные типоразмеры данной системы (от 1 до 2-х метров длины боковых линеек) формируются на основе базового фотоприемного модуля, содержащего процессор, набор фотоприемников и от 2-до 4-х излучателей. В функционал устройства заложена возможность распознавания не менее 4-х одновременных касаний. На следующем этапе будет решена задача определения скорости вхождения объекта в сенсорную область.
Команда Surfancy видит будущее сенсорных систем в следующем:
- Появление технологии, позволяющей придать свойство сенсорности поверхностям любой формы.
- Сенсорная ткань, в том числе одежда и обувь.
- Телевизионный проектор с функцией виртуального Touchscreen-а. Т.е. сенсорное поле создается одновременно с формируемым изображением.
Над всеми этими технологиями сейчас работает команда. Надеемся, что коллектив Surfancy в скором времени продемонстрирует решения этих задач.
Начиная с этих выходных мы запускаем первый тестовый прототип прямо в торговом центре МЕГА Химки, и уже через месяц сможем сделать выводы по эффективности системы — поедете за покупками, обязательно потрогайте наш экран. Пока это просто проектор с сенсором, но он работает!
Таким образом, Surfancy должна стать логичным продолжением многодесятилетнего развития сенсорных технологий и, наконец, подарить им свободу от экранов. Сенсорным может стать буквально все, и это открывает бесконечные возможности как для частного использования, так и для рекламы, и особенно розничной торговли.
У нашей команды нет сомнения в успехе проекта — а поддержка от такого гиганта как МЕГА придает нам известную долю уверенности, что в скором будущем с помощью подобных систем посетители торговых центров всегда смогут получить любую справочную, контекстно связанную с интересующим товаром, информацию.
Какие сенсорные технологии используются на больших экранах?
Критерии
В первую очередь стоит сказать о критериях сравнения – иначе как мы сможем понять, какая технология лучше и в каких условиях? В этой статье я не буду говорить о методиках измерения этих параметров, так как это обширная и отдельная тема. Просто перечислю:
Разрешение
Разрешение сенсора в идеале не должно быть ниже графического разрешения дисплея. Для некоторых технологий (например, использующих триангуляцию) этот параметр рассчитать довольно сложно, да и зачастую бесполезно. На практике, сенсорное разрешение не так сильно влияет на удобство использования, как точность.
Точность
Точность сенсора определяется разницей между действительной точкой касания и точкой отображения касания на дисплее. На больших дисплеях такая ошибка может достигать нескольких сантиметров, в зависимости от технологии. Особенно важно то, что для некоторых технологий эта ошибка может очень сильно различаться в различных областях экрана. Очень редко имеет смысл добиваться от сенсора ошибки распознавания менее 2-3 мм, так как эту ошибку уже чаще всего поглощает следующий параметр – оптический параллакс.
Оптический параллакс
Дистанция срабатывания
Дистанцией срабатывания называется расстояние до поверхности дисплея, на котором происходит срабатывание сенсора. В случае оптических сенсоров этот параметр может варьироваться в пределах 2-10 мм, причем, чем больше диагональ экрана, тем больше дистанция срабатывания. Для приложений, связанных с рисованием, этот параметр является крайне важным. Когда вы быстро пишете или рисуете, вы, как правило, часто отрываете маркер от стекла на очень небольшое расстояние. Если это расстояние меньше, чем дистанция срабатывания, то на экране появляются нежелательные линии. Также проблемы могут возникать с двойным кликом. Ниже на рисунке видно, как влияет дистанция срабатывания на появление лишних линий при быстром письме. На почерк не смотрите, сенсор тут ни при чем — он у меня просто корявый.
Задержка
Задержкой называется временной интервал между собственно прикосновением объекта к дисплею и моментом, когда информация о нем будет доступна операционной системе. Один из наиболее трудных параметров для измерения. Для современных сенсоров задержка составляет от 10 до 30 мс, однако следует помнить, что реальная задержка отклика приложения на действия пользователя будет значительно больше из-за задержки в ОС, приложении и при отрисовке. О том, как задержка влияет на удобство использования, можно посмотреть прекрасное видео от Microsoft Research, которое уже было на хабре.
Частота обновления
Частоту обновления сенсора характеризует количество сообщений о координатах распознанных объектов в единицу времени. Следует помнить, что для некоторых технологий этот параметр может значительно деградировать в зависимости от количества одновременно распознаваемых объектов.
Чувствительность к освещению
Все сенсорные дисплеи, основанные на оптических технологиях, в той или иной степени боятся паразитной засветки в ИК диапазоне. На практике это означает, что для дисплеев уличного исполнения оптические сенсоры непригодны. Однако, многие современные оптические сенсоры более чем хорошо работают в помещениях (хотя и не все).
Количество одновременно распознаваемых касаний
Думаю, комментировать этот параметр не нужно. Скажу лишь, что, в общем случае, чем больше касаний распознает сенсорный дисплей, тем хуже прочие его характеристики.
