Особенности фонетики якутского языка для синтеза речи

Недавно мы закончили проект по синтезу якутского языка. Хотя наши договорённости не позволяют выложить нам модели в общий доступ, какими-то соображениями на тему того, как можно делать синтез якутского языка мы поделиться можем.

Под котом катом вы узнаете:

• Как звучит синтез на якутском языке;

• Чем отличается якутский алфавит от русского и какие "дополнительные" звуки там есть;

• Как работать с ударениями на якутском языке, с учетом полного отсутствия каких-либо корпусов или словарей;

• И, в качестве бонуса, как якутский синтез речи говорит на русском с якутским акцентом;

Фонетика якутского языка

Как звучит якутский язык?

Возможно вы никогда его не слышали (или не отдавали себе отчёт, что звучит именно якутский), но звучит он так:

Это случайные фразы синтезированные на якутском. Если он для вас - родной, отпишите, пожалуйста, в комментариях.

Алфавит, дифтонги и длинные звуки

Начнём с простого, а именно с алфавита. Нам всем очень повезло, на самом деле. Ситуаций как со словами по типу the / though / thought / Thomas / eighth / lighthouse ни в русском, ни в якутском нет.

В русском как слышится так и пишется с учётом ударения (да, я понимаю, это огромное допущение), а в якутском так же, но ударение мало влияет на произношение слова. И большая часть звуков нам известна. Нам также повезло, что алфавит унифицирован с кириллицей и письмо фонетическое (современный алфавит существует с 1939 года и с тех пор официально не подвергался правкам).

Как мы видим, существенная часть алфавита вообще используется только в заимствованных словах (из русского языка в первую очередь), но также есть аж четыре разные группы "звуков", у которых нет аналогов в русском языке (ну или они совсем редкие или используются в заимствованных словах):

• дь и нь хоть формально и не являются буквами, но обозначают звуки ɟ и ŋ, аналогов которых в русском нет;

• Буквы ҕ, ҥ, ө, һ, ү обозначают звуки ɣ, ŋ, ø, h, y и не имеют аналогов в русском языке;

• Дифтонги ыа, уо, иэ и үө;

• Длинные звуки аа, оо, ыы, уу, ии, ээ, үү, өө;

Далее мы подробно пройдемся по каждому из звуков, приведём примеры его звучания и опишем понятными словами как он звучит и на что похож.

Также якутский на слух звучит немного "нараспев". Это происходит потому, что в якутском языке есть пять долгих гласных (аа, ыы, уу, ии, үү), встречающихся лишь в корне. Дифтонги, возникшие в результате соединения звуков, встречаются в любом слоге.

Употребление гласных звуков подчиняется правилу гармонии гласных, при котором гласные в слове следуют друг за другом в строго определённом порядке. Например, если в предыдущем слоге стоит звук ы, то в следующем может быть только ы или а, или ыа: ылыым, ылаар, ылыа.

Еще важно затронуть палатализацию ("смягчение" согласных перед гласными звуками). В русском языке она встречается повсеместно. В якутском палатализация перед гласными и, э, ө, ү, иэ, үө - присутствует не у всех согласных. У л, м, т, c - присутствует. По поводу н - спорно, ведь есть звук нь.

Дополнительные буквы и звуки

Опишем звуки, которых нет в русском языке:

• Сочетание букв дь передаёт звук ɟ, который русскими буквами можно записать примерно как дьй;

• Сочетание букв нь передаёт звук ɲ, который похож нь или nʲ, однако нь - альвеолярный звук (передняя часть языка соприкасается с альвеолярным отростком), а в палатальном носовом согласном ɲ средняя часть языка соприкасается с твёрдым нёбом. Самый простой пример - тут английское слово onion или любое испанское слово с буквой ñ, например señor;

• Звук ɣ , передаваемый буквой ҕ, читателю скорее известен как звук между г и х из русских южных диалектов, или звук буквы г в словах господи, ага, Бог;

• Носовой звук ŋ передаваемый буквой ҥ, читателю скорее всего известен из английского языка в словах типа thing, заканчивающихся на -ing;

• Буква ө передаёт звук ø, который нам известен из "немецких слов с точками", например schön, и звучит как нечто среднее между о и у;

• Буква һ передаёт звук h, который читателю известен как английское "легкое" х на выдохе, например в слове high;

• Буква ү передаёт звук y, который вы наверное все слышали миллион раз в слове über в разных контекстах;

Послушать примеры слов с указанными звуками можно ниже:

Дифтонги и длинные звуки

Фух, можно выдохнуть. По сути дифтонги это просто сочетания звуков, а долгие звуки это как будто два звука, идущих подряд. С этим связано ударение, но об этом чуть дальше.

Послушаем эти звуки.

Ударения

Не секрет, что например на английском языке без перевода слов в фонемы в синтезе речи обойтись нельзя, потому что там пишется "понедельник, а читается четверг".

Мемы про английское прочтение слов:

В русском языке всё обстоит получше, но нужно знать ударение. Кроме редких примеров типа "солнце" или "дожди", если проставить ударение, чтение слова довольно однозначно.

Но как обстоят дела в якутском языке? Оказывается, что ударений как таковых в нём как будто бы нет. Мы задавали вопросы разным носителям языка и лингвистам, и не получили консенсуса. На Википедии на эту тему вообще написано что-то странное.

Естественно по причине того, что у языка мало носителей и из-за "простой" фонетики - мы не нашли публично доступных орфоэпических словарей или словарей с ударениями.

Но даже если ударения нет, нужно иметь систему, которая была бы совместима с русским языком, если например нужно будет вставить русское слово, не "адаптируя" его на якутский. А у русских слов нужно иметь возможность проставлять ударения.

По этой причине наш коллега, говорящий на якутском языке, сел отслушивать записи на якутском, и пришёл к выводу, что ударение несильное и падает или на все слоги сразу, или там где стоит дифтонг или двойная гласная.

Распарсив корпус слов, получившийся от анализа сайтов СМИ на якутском, мы смогли расставить "ударения" с помощью правил, чтобы они работали обратно совместимо с русским языком.

Моделирование

Так, отлично. Палатализация не очень ярко выражена, практически всё как слышится так и пишется, ударения можно не ставить, но мы лучше поставим.

По сути после записи корпусов речи на русском и якутском остается только ответить на ряд вопросов / гипотез, чтобы наконец определиться с дизайном системы синтеза речи:

• Использовать графемы или фонемы? Тут выбор точно в пользу графем. У обоих языков письмо "фонетическое";

• В экспериментах с фонемами у нас лучше работали модели, где палатализация выделена в отдельный символ. А в экспериментах с графемами лучше работало … когда мы просто подавали графемы "как есть". Получается тут тоже особо без вариантов;

• Вопрос как подавать ударение по идее тоже не особо стоит - отдельным символом для обоих языков. Мы пробовали НЕ подавать ударения для якутского языка, но модель начинала "путаться". Если не подавать ударения в русский язык … ну можно не продолжать;

• По сути остаётся только решить как подавать дифтонги и длинные гласные. Мы пробовали как выделять отдельные символы на них, так и наивный способ, огромной разницы не увидели. Значит действуем по пути сокращения сущностей;

Получается, что если грамотно решить вопрос с ударениями, то можно получить простую в использовании систему синтеза языка, которая будет сразу работать на двух языках и позволит также "говорить на русском с якутским акцентом" и наоборот.

Русская речь с якутским акцентом

В качестве бонуса вот несколько аудио русской синтезированной речи с "якутским акцентом".

Итоги

Тут триллера особо не получилось, мы просто аккуратно исследовали предметную область и сделали синтез речи на якутском, который работает одновременно и на русском языке. Несмотря на кажущуюся экзотику или сложность, на самом деле нам очень "повезло" с фонетическим алфавитом языка и тем, что один из нас говорит на якутском.

Также нужно ещё отметить, что вопреки популярным трендам в духе "закинуть все данные в сетку на сотни миллиардов параметров", наша модель работает даже на 1-4 потоках процессора локально и показывает очень бодрые показатели скорости.

Скорость модели:

В таблице указаны секунды сгенерированного аудио в секунду.

Впереди нас ждёт ещё 8 языков, но там, к сожалению, так "просто" уже не будет ...

PS

Долго боролся с хостингом аудио, некоторые файлы он не принимает вообще никак. Поэтому если кого-то очень заинтересуют все файлы, вот ссылка на гугл-диск.