Как превратить графики в звук, и зачем это нужно

Диаграммы и инфографика — эти форматы представления данных часто недоступны незрячим и слабовидящим людям. Разработчики из американской компании SAS Institute постарались решить эту проблему, создав бесплатный браузерный плагин Graphics Accelerator.

Его задача — перевести графическую информацию в звуковую. Сегодня мы рассказываем о разработке SAS Institute и других кейсах, где звук помогает «видеть».

Фото takomabibelot / PD

Как работает Graphics Accelerator

Компания SAS Institute занимается разработкой программного обеспечения для статистического анализа данных. В большинстве случаев результаты этого анализа отображаются в виде графиков, поэтому слабовидящим людям было сложно работать с решениями SAS.

Исправить ситуацию взялся один из разработчиков компании — Эд Саммерс (Ed Summers), который сам потерял зрение в десять лет из-за дегенеративного заболевания глаза (у него развился пигментный ретинит).

Эд и коллеги создали решение, которое помогло бы слабовидящим людям использовать инфографику и диаграммы, построенные приложениями SAS, в учебных или рабочих целях. Так появился Graphics Accelerator. Это бесплатный плагин для Google Chrome, который использует методы сонификации. Он представляет графическую информацию — в том числе тепловые карты и круговые диаграммы — в звуковом формате.

С графиками функций инструмент работает следующим образом: пользователь двигает указатель по горизонтальной оси при помощи стрелок на клавиатуре, а Graphics Accelerator воспроизводит для каждой точки на графике ноту пианино. Чем больше значение по оси Y, тем выше звук. Как это звучит можно послушать в видеоруководстве SAS Institute.

Для удобства навигации значения из левой половины графика воспроизводятся через левый динамик наушника (или колонку АС), а из правой — через правый. График также сопровождается текстовыми описаниями, которые можно прослушать при помощи программы чтения с экрана.

Где еще используется сонификация

Человек способен «фильтровать» лишние звуки, игнорировать фоновый шум и фокусироваться лишь на нужной информации. Именно поэтому мы можем легко узнавать голоса людей в оживленной обстановке. Это свойство известно, как «эффект коктейльной вечеринки».

Используя методы сонификации, нам проще концентрироваться и подмечать какие-то определенные особенности в данных, находить закономерности. Например, в НАСА разработали свой инструмент для сонификации xSonify. Эту программу использует астроном Ванда Диаз-Мерсед (Wanda Diaz Merced), в своих исследованиях.

Во время выступления на TED, она рассказала, что с помощью программы сонификации она анализировала графики, показывающие интенсивность света звезды с течением времени, «слушая» гамма-всплески небесных тел.

Фото Antonio Roberts / CC

Сонификация широко используется исследователями и из других областей. Исследователи из университета Айдахо и Восточного университета штата Вашингтон изучали с её помощью особенности миграции чавычи — рыб из семейства лососевых. Когда рыба перемещается от водоема к водоему, у неё меняется химический состав отолитов, небольших твердых образований во внутреннем ухе. Анализируя этот состав, ученые могут понять, где побывала та или иная рыба.

Исследователи собрали данные об изменении концентрации каждого химического элемента и сравнили их между собой. Информацию представили в виде звука. Каждому элементу в отолите была назначена своя частота. Когда рыба перемещалась из одного места в другое, менялся и звук, который «издавал» отолит.

Приемы сонификации используют и люди, работающие над проектами на стыке науки и искусства. Звук помогает наглядно показать важные изменения, происходящие в мире, например глобальное потепление. Сухие числа превращаются в тревожную музыку, которая иллюстрирует повышение средней температуры на планете и уровня углекислого газа в атмосфере.

Подобные проекты создает разработчик и художник Брайан Фу (Brian Foo). При помощи сонификации он показал финансовое благосостояние жителей разных районов Нью-Йорка, уровень загрязнения воздуха в Пекине, а также гендерное и расовое разнообразие в голливудских фильмах.

Сонификация позволяет больше узнать о «невидимых» данных, которые окружают нас каждый день. Например, с её помощью можно услышать интернет. В перформансе Internet Rumbles, который провели на симпозиуме KISS2014, звуки представляли информацию об интернет-соединении устройств, находящихся в комнате. Озвучить можно и изменения в содержимом разных сайтов: подобные эксперименты проводились на основе данных с Хабра и Википедии.

Таким образом, сонификация дает возможность выйти за рамки привычной работы с информацией и взглянут на наш мир под другим, неожиданным углом.

Автор: Audioman

Источник