- PVSM.RU - https://www.pvsm.ru -
Всем привет! Я Иван Бакаидов. И сейчас я расскажу как я помогаю людям с двигательными нарушениями и нарушениями речи. Но сначала немного обо мне:
ААС (Альтернативная Аугментативная Коммуникация) – средства, способы, системы, которые помогают детям и взрослым с серьёзными проблемами в развитии вербальной речи выразить себя и лучше понимать происходящее.
У нас в школе есть группа продлённого дня. Там я и познакомился с девочкой Линой, она запала мне в душу. Однажды я увидел, как она общается с ассистентом, когда делает упражнения по математике (у Лины была папка с листами, на листах было напечатано по одной цифре от 0 до 9, на нужной цифре Лина кивала) и решил перенести этот механизм общения в код, заменив ассистента компьютером с кнопкой.
Лина
Перенёс. Код тогда умел только на js писать, к сожалению. Поэтому выглядела программа забавно. Но получилось! Я принёс эту клавиатуру к Лине в класс. После внесения некоторых изменений (переход на Node-webkit, добавление возможности создавать свои наборы, т.е. учитель может опросить детей в классе, дав им на выбор 4 варианта). Ещё я создал игру в Unity для обучения такому механизму выбора
Несколько видео:
Наборы даже с картинками:
|
Девочка Саша печатает своё первое в жизни слово, ей 17 лет:
|
Игра DisCoin:
|
Играем в DisCoin в классе:
|
Тяжелым случаям помог — супер. Но есть не такие тяжелые случаи. Например раньше я общался с людьми, показывая пальцем буквы на бумажной клавиатуре. Очень дешёвый девайс, но у него есть свои минусы — например, собеседнику надо следить за пальцем. Тогда я решил создать приложение для Android, которое использует системный TTS API [2]. Приложение очень простое: поле ввода и кнопка «Cказать», но, как ни странно, помогает очень.
Потом я подумал и решил, что просто приложение с двумя элементами и одним MainActivity.java слишком просто. И добавил функцию сохранения сказанных фраз в бд и вывод их в listview под полем ввода с сортировкой по частоте ввода. Но вскоре фраз стало слишком много и я добавил ещё категории. Поговорил и раскидал по категориям после разговора.
К тому времени я забыл напрочь пароль KeyStore, так что пришлось делать отдельное приложение: DisType Pro. Кстати, с speechkit’ом [3] от яндекса, ибо встроенный TTS не говорил мужским голосом. Так что теперь с нормальным интернетом я мужчина, а в оффлайне — девушка. Надеюсь, Яндекс скоро выпустит оффлайн-версию их суперской библиотеки.
Есть популярный девайс GoTalk [4]. Небольшое устройство, которое записывает аудиозаписи на кнопки, в которые можно вставить картинки. Но как все инва-оборудование, дорогое (например, кнопка для DisQwerty, которая просто служит левым кликом мыши, стоит 100$). Я создал аналог GoTalk для Android. Простое приложение, которое берёт картинки из папки DisTalk на карточке устройства, строит из них gridview и при нажатии говорит название файла. Ещё картинки можно разложить по папкам (наборам) и переключать наборы).
Все программы бесплатны, хотя бы по следующим причинам:
Но для развития нужна помощь:
Мой сайт: aacidov.ru [5]
От модератора: данная публикация нарушает некоторые правила сайта и в «Песочнице» мы обычно сразу отклоняем подобные. Но в данном случае сделали исключение, дооформили публикацию и надеемся, что среди пользователей Хабра найдутся неравнодушные люди, которые помогут развитию проектов.
Иван, ты молодец!
Автор: ibakaidov
Источник [6]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/open-source/178714
Ссылки в тексте:
[1] Выступал: https://www.youtube.com/watch?v=y0WnDypp4qo
[2] системный TTS API: https://developer.android.com/reference/android/speech/tts/TextToSpeech.html
[3] speechkit’ом: https://tech.yandex.ru/speechkit/
[4] GoTalk: https://www.youtube.com/watch?v=bfIAiTca9v0
[5] aacidov.ru: http://aacidov.ru
[6] Источник: https://habrahabr.ru/post/308514/?utm_source=habrahabr&utm_medium=rss&utm_campaign=sandbox
Нажмите здесь для печати.