Работа над звуком – одно из главных направлений в подготовке Unity 5.0. После того, как стало понятно, над какими функциями придется попотеть, мы включили звук в список первоочередных задач.
Чтобы всё было на мази, нам пришлось вернуться назад и расставить акценты над теми областями звука, которые были бы задействованы в Unity. Чтобы вы могли соединить сколько угодно хороших, качественных звуков в своих играх, нам нужно было определиться с кодеками и убедиться, что такая схема действительно будет работать. Я постараюсь расписать все нюансы в более подробной статье, ну а пока расскажу вам о нашем первом звуковом аддоне к Unity 5.0, AudioMixer.
Читать полностью »
Рубрика «Работа со звуком» - 15
Смешиваем любимые биты в программе Unity 5.0
2014-07-31 в 19:35, admin, рубрики: game development, unity3d, геймдев, геймдизайн, звук, звуковой дизайн, звукорежиссура, Работа со звукомЭксперимент интеграции видео расширения в систему аудио-распознавания речи
2014-07-31 в 19:33, admin, рубрики: api, анализ движения в объекте интереса, видео распознавание, математика, обработка изображений, Работа со звуком, распознавание образов, распознавание речи, синхронизация аудио-видео потоков
Вместо введения
Продолжаю вести серию отчетов по исследовательской работе, которую проводил на протяжении нескольких месяцев, обучаясь в университете и в первые месяцы после защиты диплома. За все время работы многие элементы системы, которую разрабатывал, прошли переоценку и вектор работы в целом серьезно изменился. Тем интереснее было взглянуть на свой предыдущий опыт и опубликовать нигде не изданные ранее материалы с новыми замечаниями В данном отчете публикую материалы, почти 2-х летней давности со свежими дополнениями, которые надеюсь еще не потеряли свою актуальность.
Содержание:
1. Поиск и анализ цветового пространства оптимального для построения выделяющихся объектов на заданном классе изображений
2. Определение доминирующих признаков классификации и разработка математической модели изображений мимики"
3. Синтез оптимального алгоритма распознавания мимики
4. Реализация и апробация алгоритма распознавания мимики
5. Создание тестовой базы данных изображений губ пользователей в различных состояниях для увеличения точности работы системы
6. Поиск оптимальной аудио-системы распознавания речи на базе открытого исходного кода
7. Поиск оптимальной системы аудио распознавания речи с закрытым исходным кодом, но имеющими открытые API, для возможности интеграции
8. Эксперимент интеграции видео расширения в систему аудио-распознавания речи с протоколом испытаний
Цели:
На основе накопленного опыта в предыдущих исследовательских работах, осуществить пробную интеграцию видео-расширения в систему аудио-распознавания речи, провести протоколы испытаний, сделать выводы.
Задачи:
Рассмотреть подробно как можно интегрировать видео-расширение с программы распознавания речи, исследовать сам принцип аудио-видео синхронизации, а также осуществить пробную интеграцию разрабатываемого видео расширения в систему аудио распознавания речи, оценить разрабатываемое решение.
Введение
В ходе проведения предыдущих исследовательских работ были сделаны выводы целесообразности использования аудио-систем распознавания речи на базе открытого и закрытого исходного кода под наши цели и задачи. Как было нами определено: реализация своей собственной системы распознавания речи является очень сложной, трудоемкой и ресурсозатратной задачей, которую сложно выполнить в рамках данной работы. Поэтому нами было решено интегрировать представленную технологию видео-идентификации в системы распознавания речи, которые имеют для этого специальные возможности. Так как системы распознавания речи с закрытым исходным кодом реализованы более качественно и точность распознавания речи в них выше за счет более емкого содержания словника, то поэтому интеграция нашей видео-разработки в их работу следует считать более перспективным направлением, по сравнению с аудио системами распознавания речи на базе открытого исходного кода. Однако же необходимо иметь в виду тот факт, что системы распознавания речи с закрытым исходным кодом часто имеют сложную документацию для возможности интеграции сторонних решений в их работу с серьезными ограничениями использования системы на основе лицензионного соглашения или же это направление является платным, то есть необходимо покупать специальную лицензию на использование речевых технологий, представленных лицензиантом.
Для начала в качестве эксперимента было принято решение попробовать улучшить качество распознавания речи системы распознавания речи Google Speech Recognition API за счет работы нашего разрабатываемого видео расширения. Замечу, что на время проведения испытаний у Google Speech API на базе браузера Chrome еще не было функции распознавания непрерывной речи Google, которая в то время уже встраивалась в технологию распознавания непрерывной речи Speech Input на базе ОС Android.
В качестве видео обработки за основу взято наше решение по анализу движения губ пользователя и алгоритмам фиксирования фазы движения точек в объекте интереса совместно с аудио обработкой. С тем, что в конечном итоге получилось можно ознакомиться ниже.
Читать полностью »
Шоу Звук #13 — Подкаст об аудиотехнике, комплектующих, форматах и технологиях
2014-07-31 в 5:42, admin, рубрики: Блог компании Аудиомания, домашний кинотеатр, Работа со звуком 
С вами «Шоу Звук» — это подкаст для тех, кто любит жить, работать, отдыхать и передвигаться, слушая любимую музыку, подкасты или аудиокниги дома, на работе, в метро или других видах транспорта. Мы говорим простыми словами об аудиотехнике и звуке.
В 13-м выпуске мы говорим о домашних кинотеатрах, их составляющих и различных мифах, которые окружают эту тему, с Алексеем Шубиным — одним из ведущих специалистов Аудиомании. Алексей работает в Аудиомании уже 4 года, а в сфере домашнего аудио и кино — более 15 лет.
Читать полностью »
Поиск оптимальной системы аудио распознавания речи с закрытым исходным кодом, но имеющими открытые API, для возможности интеграции
2014-07-30 в 21:13, admin, рубрики: api, Dragon Mobile SDK, Google Voice Search, microsoft speech api, proprietary, SDK, математика, Работа со звукомВместо введения
Решил немного дополнить отчет, который составлял еще будучи студентом. Прошло время и, как говорится, прогресс не стоит на месте. Технологии распознавания речи динамически развиваются. Что-то появляется, что-то исчезает. Вашему вниманию представляю самые известные речевые движки, которые может использовать разработчик в своем продукте на основе лицензионного соглашения. Буду рад замечаниям и дополнениям.
Содержание:
1. Поиск и анализ цветового пространства оптимального для построения выделяющихся объектов на заданном классе изображений
2. Определение доминирующих признаков классификации и разработка математической модели изображений мимики"
3. Синтез оптимального алгоритма распознавания мимики
4. Реализация и апробация алгоритма распознавания мимики
5. Создание тестовой базы данных изображений губ пользователей в различных состояниях для увеличения точности работы системы
6. Поиск оптимальной аудио-системы распознавания речи на базе открытого исходного кода
7. Поиск оптимальной системы аудио распознавания речи с закрытым исходным кодом, но имеющими открытые API, для возможности интеграции
Цели:
Определить наиболее оптимальную аудио-систему распознавания речи (речевой движок) на базе закрытого исходного кода, то есть лицензии которой не подходит под определение открытого ПО.
Задачи:
Определить аудио-системы распознавания речи, которые попадают под понятие закрытого исходного кода. Рассмотреть наиболее известные варианта речевых систем преобразования голоса в текст, для перспектив интеграции видео-модуля в наиболее оптимальную голосовую библиотеку, которая имеет открытое API для совершения данной операции. Сделать выводы целесообразности использования аудио-систем распознавания речи на базе закрытого исходного кода под наши цели и задачи.
Читать полностью »
Создание аудиоплагинов, часть 14
2014-07-29 в 14:02, admin, рубрики: c++, dsp, Martin Finke, Oli Larkin, Visual Studio, VST, xcode, перевод, Работа со звуком Все посты серии:
Часть 1. Введение и настройка
Часть 2. Изучение кода
Часть 3. VST и AU
Часть 4. Цифровой дисторшн
Часть 5. Пресеты и GUI
Часть 6. Синтез сигналов
Часть 7. Получение MIDI сообщений
Часть 8. Виртуальная клавиатура
Часть 9. Огибающие
Часть 10. Доработка GUI
Часть 11. Фильтр
Часть 12. Низкочастотный осциллятор
Часть 13. Редизайн
Часть 14. Полифония 1
Приступим к созданию полифонического синтезатора из тех компонентов, которые у нас имеются!
В прошлый раз мы работали над параметрами и пользовательским интерфейсом, сегодня мы начнем работу над лежащей в основе плагина полифонической обработкой аудио. В нашем случае мы сможем играть до 64-х нот одновременно. Это требует основательных изменений в структуре плагина, но мы сможем использовать уже написанные нами классы Oscillator, EnvelopeGenerator, MIDIReceiver и Filter.
В этом посте мы напишем класс Voice (голос), представляющий одну звучащую ноту. Затем создадим класс VoiceManager, следящий за тем, чтобы все ноты звучали и заглушались вовремя.
В следующем посте мы почистим код от ненужных устаревших частей, добавим модуляцию тона и приведем элементы управления интерфейса в рабочее состояние. На первый взгляд, работы полно. Но во-первых, у нас уже есть практически все нужные компоненты, а во-вторых, в конце у нас будет настоящий-полифонический-субстрактивный-блин-синтезатор!
Создание аудиоплагинов, часть 13
2014-07-25 в 11:40, admin, рубрики: c++, dsp, Martin Finke, Oli Larkin, photoshop, Visual Studio, VST, xcode, интерфейсы, перевод, Работа со звуком Все посты серии:
Часть 1. Введение и настройка
Часть 2. Изучение кода
Часть 3. VST и AU
Часть 4. Цифровой дисторшн
Часть 5. Пресеты и GUI
Часть 6. Синтез сигналов
Часть 7. Получение MIDI сообщений
Часть 8. Виртуальная клавиатура
Часть 9. Огибающие
Часть 10. Доработка GUI
Часть 11. Фильтр
Часть 12. Низкочастотный осциллятор
Часть 13. Редизайн
Мы уже создали все компоненты классического субтрактивного синтезатора, и теперь, имея четкое понимание структуры, займемся редизайном.
Наш плагин будет полифоническим синтезатором под названием SpaceBass (КасмичискийБас):
Как Sony делает звук высокой четкости мейнстримом
2014-07-18 в 8:09, admin, рубрики: sony, Блог компании Аудиомания, звук и музыка, Работа со звуком 
Энтузиасты мира аудио почти исчезли с больших международных выставок электроники — на этих мероприятиях чаще обсуждаются и демонстрируются все более большие и дорогие ТВ-экраны, маленькие беспроводные наушники и разнообразные «штуки из будущего», которые через пару лет безнадежно устареют, и их никто не вспомнит.
Однако, в последнее время, появились признаки того, что ситуация меняется — возможно, мы как раз достигли момента, когда то, как мы будем слушать и слышать в будущем, изменится навсегда. Ну или, как минимум, когда те из нас, кто уверен, что будущее за высококачественным аудио — то есть не сжатым и пережатым — смогут стать более счастливыми.Читать полностью »
Шоу Звук #12 — Подкаст об аудиотехнике, комплектующих, форматах и технологиях
2014-07-17 в 8:05, admin, рубрики: Блог компании Аудиомания, Работа со звуком 
С вами «Шоу Звук» — это подкаст для тех, кто любит жить, работать, отдыхать и передвигаться, слушая любимую музыку, подкасты или аудиокниги дома, на работе, в метро или других видах транспорта. Мы говорим простыми словами об аудиотехнике и звуке.
В 12-м выпуске мы говорим о работе с окружающим нас пространством, о гармонии интерьера и техники, различных возможностях по управлению этой техникой, например, с iPad. В студии Елизавета Мякишева, менеджер по развитию проекта Sound Art, и Тимофей Шиколенков, директор по маркетингу и развитию бизнеса в Аудиомании.
Читать полностью »
Поиск оптимальной аудио-системы распознавания речи на базе открытого исходного кода
2014-07-16 в 17:51, admin, рубрики: BSD license, open source, математика, Работа со звуком Вместо введения
Решил опустить статью про то, как происходит составление базы данных по губам, которую начал в предыдущей исследовательской работе. Замечу, что выбор базы данных для сбора информации и ее администрирование осуществляется индивидуально в зависимости от целей и задач, которые стоят перед Вами, а также имеющихся возможностей и Ваших личных навыков. Давайте теперь перейдем к непосредственной апробации разработанного алгоритма на примере текущих систем распознавания речи на базе открытого исходного кода. Сначала проведем анализ речевых движков, которые имеют свободную лицензию.
Цели:
Определить наиболее оптимальную аудио-систему распознавания речи (речевой движок) на базе открытого исходного кода (Open Source), которую можно интегрировать в разрабатываемую систему видео-определения движения губ пользователя.
Задачи:
Определить аудио-системы распознавания речи, которые попадают под понятие общественного достояния. Рассмотреть наиболее известные варианта речевых систем преобразования голоса в текст, для перспектив интеграции видео-модуля в наиболее оптимальную голосовую библиотеку. Сделать выводы целесообразности использования аудио-систем распознавания речи на базе открытого исходного кода под наши цели и задачи.
Введение
Согласно лингвистическим особенностям человеческой речи, дополнительные артикуляционные данные позволяют более точно выявить речь диктора и автоматически разбить звуковую волну на отдельные фрагменты. Также, при общем анализе аудиовизуального голосового сигнала во временной динамике имеется перспектива фиксирования открытых и закрытых слогов, звонких, шипящих, ударных, безударных гласных/согласных и другие речевые единицы. Именно поэтому в задаче высококачественного распознавания речи крайне важно создание библиотеки данных, которые бы могла бы учитывать эти показатели совместно. Данное направление может быть реализовано в том случае, если имеется открытый доступ к языковым единицам. Именно поэтому для решения нашей задачи (реализация видеорасширения для увеличения точности программ распознавания речи) крайне важно рассмотреть аудио-системы распознавания речи с открытым исходным кодом.
Типы лицензий
Большинство современных продуктов имеют два самых распространенных типа лицензий:
• Проприетарный (собственнический) тип, когда продукт является частной собственностью авторов и правообладателей и не удовлетворяющий критериям свободного ПО (наличия открытого программного кода недостаточно). Правообладатель проприетарного ПО сохраняет за собой монополию на его использование, копирование и модификацию, полностью или в существенных моментах. Обычно полуприетарным называют любое несвободное ПО, включая полусвободное.
• Открытое программное обеспечение (open-source software) — программное обеспечение с открытым исходным кодом. Исходный код таких программ доступен для просмотра, изучения и изменения, что позволяет пользователю принять участие в доработке самой открытой программы, использовать код для создания новых программ и исправления в них ошибок — через заимствование исходного кода, если это позволяет совместимость лицензий, или через изучение использованных алгоритмов, структур данных, технологий, методик и интерфейсов (поскольку исходный код может существенно дополнять документацию, а при отсутствии таковой сам служит документацией).
Среди рассматриваемых систем распознавания речи с открытым исходным кодом нам встретились 2 вида сублицензий BSD и GPL. Рассмотрим их более подробно
Читать полностью »
Urbanears Zinken — DJ-ские наушники для всех
2014-07-16 в 14:49, admin, рубрики: kuuuzya советует, Urbanears, Zinken, Гаджеты. Устройства для гиков, Дизайн в IT, музыка, наушники, Работа со звукомДавненько в мои руки не попадались интересные наушники. А вот недавно выпал шанс попробовать «ушки» фирмы Urbanears. Она вообще специализируется на модных гаджетах и аксессуарах, но частенько в её ассортименте попадаются крайне годные экземпляры. Например, наушники Zinken. Они разработаны для тех, кто профессионально работает с музыкой, то есть, для DJ. Но стоят весьма демократично, что позволяет практически любому ими воспользоваться и слушать хороший качественный звук.
