Ссылка на парсер HTS_PDFparser 1 A parser for hts_engine_API model pdf file https://github.com/naxingyu/HTS_PDFparser
Я пытаюсь разобраться в алгоритме синтеза речи по базе данных голоса. Если со структурой файлов базы данных голса более-менее все понятно, то алгоритм восстановления речи по меткам и кепстрам из базы данных требует хорошего знания принципов работы вокодера.
Необходимо создать программу для восстановления звукового корпуса произвольного вектора базы данных и его вывода в виде графика.
Ради интереса, я изучаю эту тему уже несколько месяцев. Основная задача - улучшение качества синтезированного голоса.
Приглашаю всех заинтересованных в этой темы.
Пока понятно следующее:
<{CODE_COLLAPSE_OFF}><{CODE_WRAP_OFF}>
HTS_engine.с
HTS_Engine_create_pstream(&engine); /* generate speech parameter vector sequence */ создать последовательность параметрических векторов речи
HTS_Engine_create_gstream(&engine); /* synthesize speech */ синтезировать речь
if (wavfp)
HTS_Engine_save_riff(&engine, wavfp); // сохранить синтезированную речь в файл
HTS_PSTREAM.C
/* HTS_PStreamSet_create: parameter generation using GV weight */ создание параметрических векторов
HTS_Boolean HTS_PStreamSet_create(HTS_PStreamSet * pss, HTS_SStreamSet * sss, double *msd_threshold, double *gv_weight)
{
...
}
HTS_GSTREAM.C
/* HTS_GStreamSet_create: generate speech */ генерация и вывод речи
/* (stream[0] == spectrum && stream[1] == lf0) */
HTS_Boolean HTS_GStreamSet_create(HTS_GStreamSet * gss, HTS_PStreamSet * pss, int stage, HTS_Boolean use_log_gain, int sampling_rate, int fperiod, double alpha, double beta, HTS_Boolean * stop, double volume, HTS_Audio * audio)
{
...
}
Схему вокодера можно найти в статье Е.Е. Федоров, И.А. Шевцова, Численное исследование шипящих согласных звуков
Во вложении архив с метками и командный файл.
lab.rar (, : 186)
Добавлено
Ниже приводится формат заголовка pdf-файла, полученный на основе информации из HTS_Model_load_pdf
HTS_Model_load_pdf:
<{CODE_COLLAPSE_OFF}><{CODE_WRAP_OFF}>
HEADER, Header_Size = 16
+0: /* MSD flag */
i=0 при msd_flag = FALSE
i=1 при msd_flag = TRUE
+4: /* stream size */
+8: /* vector size */
+12:/* the number of pdfs */
далее /* means and variances */
<{CODE_COLLAPSE_OFF}><{CODE_WRAP_OFF}>
elena
+0: 0
+4: 1
+8: 75
+12: 273
Добавлено
Сохранение меток в файл для последующего использования в hts_engine.exe
Метки создаются в файле flite+hts_engine-1.02\lib\flite_hts_engine.c функцией void Flite_HTS_Engine_synthesis(Flite_HTS_Engine * f, char *txt, FILE * wavfp).
Для сохранения в файл необходимо создать дескриптор открытого файла FILE * labfp в flite_hts_engine.c и передать в эту функцию.
Ниже приведен код измененной функции. Асемблерная вставка используется для разъименовывания указателей. Мне так понятнее.
<{CODE_COLLAPSE_OFF}><{CODE_WRAP_OFF}>
/* Flite_HTS_Engine_synthesis: speech synthesis */
void Flite_HTS_Engine_synthesis(Flite_HTS_Engine * f, char *txt, FILE * wavfp, FILE * labfp)
{
int i;
cst_voice *v = NULL;
cst_utterance *u = NULL;
cst_item *s = NULL;
char **label_data = NULL;
int label_size = 0;
char *label_d2=NULL;
char szln[]={0x0a,0};
/* text analysis part */
v = REGISTER_VOX(NULL);
if (v == NULL)
return;
u = flite_synth_text(txt, v);
if (u == NULL)
return;
for (s = relation_head(utt_relation(u, "Segment")); s; s = item_next(s))
label_size++;
if (label_size <= 0)
return;
label_data = (char **) calloc(label_size, sizeof(char *));
for (i = 0, s = relation_head(utt_relation(u, "Segment")); s;
s = item_next(s), i++) {
label_data[i] = (char *) calloc(MAXBUFLEN, sizeof(char));
Flite_HTS_Engine_create_label(f, s, label_data[i]);
}
/* save Labels to file _out.lab */
//fwrite((char*)"hhhh", sizeof(char), 4, labfp); //ok
for (i = 0; i<label_size; i++){
_asm{
mov ecx, dword ptr[label_data]
mov eax, dword ptr [i]
imul eax,4
add ecx, eax
mov eax, [ecx]
mov dword ptr[label_d2],eax
}
fwrite(label_d2, sizeof(char), strlen(label_d2), labfp);
fwrite(szln, sizeof(char), 1, labfp);
}
/* speech synthesis part */
HTS_Engine_load_label_from_string_list(&f->engine, label_data, label_size);
HTS_Engine_create_sstream(&f->engine);
HTS_Engine_create_pstream(&f->engine);
HTS_Engine_create_gstream(&f->engine);
if (wavfp != NULL)
HTS_Engine_save_riff(&f->engine, wavfp);
HTS_Engine_refresh(&f->engine);
for (i = 0; i < label_size; i++)
free(label_data[i]);
free(label_data);
delete_utterance(u);
UNREGISTER_VOX(v);
}
В файл flite_hts_engine добавлены строки:
<{CODE_COLLAPSE_OFF}><{CODE_WRAP_OFF}>
int main(int argc, char **argv)
{
int i;
FILE *txtfp = stdin, *wavfp = NULL;
FILE *labfp = NULL; /*for labels*/
...
/* read command */
while (--argc) {
...
case 'o':
wavfp = Getfp(*++argv, "wb");
--argc;
break;
case 'z': // <------- new
labfp = Getfp(*++argv, "w"); // <------- new
--argc; // <------- new
break; // <------- new
case 'h':
Usage();
break;
...
/* synthesis */
if (fgets(buff, INPUT_BUFF_SIZE, txtfp) != NULL && strlen(buff) > 0){
Flite_HTS_Engine_synthesis(&engine, buff, wavfp, labfp);
}
...
fclose(labfp); /*labs*/
return 0;
} //end of func
Опубликую в следующем году.