Стоит ли специально для этого делать фестивалевский голос - непонятно.

Кроме того, отдельные ошибки в базе, транскрипциях и словарях также будут нивелироваться за счет объема.

Есть ли какие-нибудь эффективные алгоритмы их предсказания?

Из словаря фестиваля?

Судя по примерам выложенным, разметка ужасная, очень много дефектов при склейке. Синтез фраз из базы как раз ни о чём не говорит, потому что проблемы возникают при склейке из разных частей базы.

С ударениями тоже очень большие проблемы, Mary их просто не умеет предсказывать: переходил, замаранные, покину. Только если ударения исправить, будет значительно лучше.

Ударения нужно брать из словаря.

1. Иногда при синтезе этим голосом в консоли сервера выводится предупреждение "Warning: signal amplitude out of range: 32957". Стоит убавить громкость исходным файлам? Или проблема решается как-то по-другому?

2. Имеет ли вообще смысл делать какую-либо предобработку исходного аудио? Выравнивание громкости, например? Есть ли какие-нибудь инструкции для подготовки аудио к тренировке?

3. Перед тренировкой я перегнал исходные файлы из 44.1 КГЦ в 16. Имеет ли смысл пробовать перетренировать на 44.1 КГц?

Теоретически при перегонке из-за некратных частот могли возникнуть какие-то артефакты в исходный файлах.

4. Есть ли какие-нибудь способы проверить качество разметки (ehmm labeling)? Повысить это качество?

Однажды, в студёную зимнюю пору, Я из лесу вышел; был сильный мороз. Гляжу, поднимается медленно в гору Лошадка, везущая хворосту воз. И, шествуя важно, в спокойствии чинном, Лошадку ведёт под уздцы мужичок. В больших сапогах, в полушубке овчинном, В больших рукавицах... а сам с ноготок!

Маленький мальчик нашёл пулемёт, больше в деревне никто не живёт.

Новый голос для openmary решит задачу?

Я бы мог заняться если наведете на задачи

zamir Вы пробовали скрипт, который выставляет ударение в русском голосе для Festival?

Дополнить словарь (уровень - простой)

Необходимо переконвертировать парадигму Зализняка в словарь в формате dic/msu_ru_nsh.dict. А именно, для каждого слова получить часть речи и номер ударного слога. В конце организовать слова в нужный формат:

(”слово” n 1)

что значит, что “слово” это существительное и ударение падает на первый слог

Думаю нет смысла пытаться улучшить модель если в английских диалектах MCD и того выше?

./bin/do_clustergen build_utts ${PROMPTFILE}
./bin/do_clustergen f0 ${PROMPTFILE}
./bin/do_clustergen combine_coeffs_v ${PROMPTFILE}
./bin/do_clustergen cluster ${PROMPTFILE}.train

/daemon/festival/speech_tools/../festival/bin/festival --heap 20000000 -b festvox/msu_ru_nsh_cg.scm /daemon/festival/festvox/src/clustergen/clustergen_build.scm '(begin (voice_msu_ru_nsh_cg) (setq cg::generate_resynth_waves nil) (ClusterGen_test_resynth "etc/txt.done.data.test" "test/cgp0"))'

/daemon/festival/speech_tools/../festival/bin/festival --heap 20000000 -b festvox/msu_ru_nsh_cg.scm /daemon/festival/festvox/src/clustergen/clustergen_build.scm '(begin (voice_msu_ru_nsh_cg) (setq cg::generate_resynth_waves nil) (ClusterGen_test_resynth "etc/txt.done.data.test" "test/cgp1"))'

./bin/do_clustergen build_utts ${PROMPTFILE}

$FESTVOXDIR/src/clustergen/cg_test mcdf0 cgp1 ${PROMPTFILE}.test
CG test_resynth ru_0010
-=-=-=-=-=- EST Error -=-=-=-=-=-
error:(class 1929) determinant <= 0, det = 0.000000

-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-

msu_ru_nsh_f0.tree
msu_ru_nsh_mcep.params
msu_ru_nsh_mcep.rawparams
msu_ru_nsh_mcep.tree

CG test_resynth ru_0010
Cannot open file festival/utts/ru_0010.utt as tokenstream
load_utt: can't open utterance input file festival/utts/ru_0010.utt
utt.load: loading from "festival/utts/ru_0010.utt" failed

./bin/do_clustergen build_utts ${PROMPTFILE}

60 unittypes as 15338 subunittypes dumped
Tree models and vector params dumped
Pass 0 find MCDs
Pass # #moves +ve -ve MCD std F0 std
pass 0 0 0 0 4.994 2.148 15.725 15.179
Starting Pass 1
Pass 1 moving labels

160 unittypes as 15071 subunittypes dumped
Tree models and vector params dumped
Pass 1 find MCDs
-=-=-=-=-=- EST Error -=-=-=-=-=-
error:(class 1929) determinant <= 0, det = 0.000000

-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
Error reading ESPS file test/cgp1/ru_0010.mcep

$FESTVOXDIR/src/clustergen/cg_test mcdf0 cgp0 ${PROMPTFILE}.test >ml/mcd.0

160 unittypes as 15338 subunittypes dumped
Tree models and vector params dumped
Pass 0 find MCDs
Pass # #moves +ve -ve MCD std F0 std
pass 0 0 0 0 4.631 1.914 13.984 13.619
Starting Pass 1
Pass 1 moving labels

160 unittypes as 15132 subunittypes dumped
Tree models and vector params dumped
Pass 0 find MCDs
+ /daemon/festival/speech_tools/../festival/bin/festival --heap 20000000 -b festvox/msu_ru_nsh_cg.scm /daemon/festival/festvox/src/clustergen/clustergen_build.scm '(begin (voice_msu_ru_nsh_cg) (setq cg::generate_resynth_waves nil) (ClusterGen_test_resynth "etc/txt.done.data.test" "test/cgp0"))'
-=-=-=-=-=- EST Error -=-=-=-=-=-
error:(class 1929) determinant <= 0, det = 0.000000

-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
+ exit 0

# echo "В рук+е +он держ+ал кон+ец" | text2wave -eval '(voice_msu_ru_nsh_cg)' > cg_test1.wav

# echo "В рук+е +он держ+ал -- кон+ец" | text2wave -eval '(voice_msu_ru_nsh_cg)' > cg_test1.wav
Int Target General: targets out of order

+ /daemon/festival/speech_tools/../festival/bin/festival --heap 20000000 -b festvox/msu_ru_nsh_cg.scm /daemon/festival/festvox/src/clustergen/clustergen_build.scm '(begin (voice_msu_ru_nsh_cg) (setq cg::generate_resynth_waves nil) (ClusterGen_test_resynth "etc/txt.done.data.test" "test/cgp1"))'
-=-=-=-=-=- EST Error -=-=-=-=-=-
error:(class 1929) determinant <= 0, det = 0.000000

-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-

stival/disttabs/pau_2.mcep' -stop 50 -output 'festival/trees/pau_2_mcep.tree'
Clustergen mcep tree build on: pau_3
$ESTDIR/bin/wagon -track_start 1 -heap 10000000 -vertex_output mean -desc festival/clunits/mcep.desc -data 'festival/feats/pau_3.feats' -test 'festival/feats/pau_3.feats' -balance 0 -track 'fe
stival/disttabs/pau_3.mcep' -stop 50 -output 'festival/trees/pau_3_mcep.tree'
160 unittypes as 14968 subunittypes dumped
Tree models and vector params dumped
Pass 5 find MCDs
-=-=-=-=-=- EST Error -=-=-=-=-=-
error:(class 1929) determinant <= 0, det = 0.000000

-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
Error reading ESPS file test/cgp5/ru_0010.mcep
Error reading ESPS file test/cgp5/ru_0010.mcep
/daemon/festival/festvox/src/clustergen/track_diff_f0: line 89: [: 26: unary operator expected
/daemon/festival/festvox/src/clustergen/track_diff_f0: line 95: [: 1958: unary operator expected

IOD ERROR: could not open file etc/txt.done.data.train
Pass 10 find MCDs
SIOD ERROR: could not open file etc/txt.done.data.test
cat: etc/txt.done.data.test: Нет такого файла или каталога
awk: cmd. line:1: fatal: division by zero attempted
cat: etc/txt.done.data.test: Нет такого файла или каталога
awk: cmd. line:1: fatal: division by zero attempted

ru_0001 Processing
Cannot open file lab/ru_0001.sl as tokenstream
load_relation: can't open relation input file lab/ru_0001.sl
utt.load.relation: loading from "lab/ru_0001.sl" failed

.nan>..).p
[.e.NaN=...
.*<nan..pU
K...NaN..
..U.NAn...
.=.l.<naN...`=
.^Z>nAN..dw
^E.\.^T=nAn.=XY
^W8>nAN..j
...؛=nan=.^^
=..мNAn=.|<=
P..nAn??um
...NaN>ڗ.
.^G^>NAN=M.^@
...naN.,|b=
=#^.;nAN<*.@
./.<NAN=.P.
;. ֘.nan.9C..
=^U.\=naN<
D.nAn..*
.;Nan.U^
..U>Nan=t..
|..<nan=.^U
¶^B.nan.E
^[>nAn.
T..>NaN.

$ESTDIR/bin/wagon  -track_start 1 -vertex_output mean -desc festival/clunits/mcep.desc -data 'festival/feats/i_2.feats' -test 'festival/feats/i_2.feats' -balance 0 -track 'festival/disttabs/i_2.mcep' -stop 50 Dataset of 16347 vectors of 62 parameters from: festival/feats/i_2.feats

SIOD ERROR: not a number : -nan
closing a file left open: festival/trees/msu_ru_nsh_mcep.rawparams

Attempt to access frame 159 of 0 frame track
Attempt to access frame 123 of 0 frame track
Attempt to access frame 123 of 0 frame track
Attempt to access frame 123 of 0 frame track
Attempt to access frame 181 of 0 frame track
Attempt to access frame 181 of 0 frame track
Attempt to access frame 181 of 0 frame track
Attempt to access frame 0 of 0 frame track
Attempt to access frame 0 of 0 frame track
Attempt to access frame 0 of 0 frame track
Attempt to access frame 0 of 0 frame track
Attempt to access frame 0 of 0 frame track

ClusterGen: can't find cluster tree for pau_3
ClusterGen: can't find cluster tree for pau_3
ClusterGen: can't find cluster tree for pau_3
ClusterGen: can't find cluster tree for pau_3
ClusterGen: can't find cluster tree for pau_3
ClusterGen: can't find cluster tree for pau_3
ClusterGen: can't find cluster tree for pau_3
ClusterGen: can't find cluster tree for pau_3
ClusterGen: can't find cluster tree for pau_3
ClusterGen: can't find cluster tree for pau_3
ClusterGen: can't find cluster tree for d_1
ClusterGen: can't find cluster tree for d_1
ClusterGen: can't find cluster tree for d_1
ClusterGen: can't find cluster tree for d_1

if [ $1 = "cluster" ]
then
$ESTDIR/../festival/bin/festival --heap 10000000 -b $CLUSTERGENDIR/clustergen_build.scm festvox/build_clunits.scm festvox/${FV_VOICENAME}_cg.scm '(build_clustergen "'$PROMPTFILE'")'
exit 0
fi

if [ $1 = "cluster" ]
then
$ESTDIR/../festival/bin/festival --heap 20000000 -b $CLUSTERGENDIR/clustergen_build.scm festvox/build_clunits.scm festvox/${FV_VOICENAME}_cg.scm '(build_clustergen "'$PROMPTFILE'")'
exit 0
fi