Форум на Исходниках.RU

Работа с CMU Sphinx

zamir — Mon, 28 May 2018 18:03:42 +0000

zamir: Добрый день!

Я сталкивался с подобным поведением, но без использования sphinx4
Есть баги у sphinxtrain или по крайней мере были.
При изменении DCT или sample rate надо вномательно смотреть что выполняет sphinx_fe
Попробуйте вернуть параметры DCT на legacy в конфиге уже напретированной модели.

Работа с CMU Sphinx

MikeKhom — Sun, 27 May 2018 15:42:37 +0000

MikeKhom: Здравствуйте.

Натренировал акустическую модель c помощью SphinxTrain, и в конце WER вышел около 11%. Однако когда подключаю эту модель к Sphinx4,то распознавание просто ужасное - 2-3 слова из 19.
Обратил внимание, что различаются векторы черт для одного и того же файла,которые генерирует SPhinxTrain и модуль FrontEnd от Sphinx4.
Может кто-то знает как сконфигурировать FrontEnd, чтобы были такие же черты как после SphinxTrain??

Заранее спасибо

Работа с CMU Sphinx

nsh — Wed, 18 Oct 2017 12:50:28 +0000

nsh:

Цитата

Сколько нужно озу для адекватной работы sphinx?

Мегабайт 500 для большого словаря для pocketsphinx и 2gb для sphinx4.

Цитата

Для чего ему столько памяти?

Для сохранения вероятных гипотез во время поиска.

Цитата

Если уменьшить словарь, нужно будет меньше памяти?

Да.

Цитата

Неужели нельзя добиться поведения, чтобы команды, неизвестные грамматике, сфинкс игнорировал?

Такой возможности пока нет.

Работа с CMU Sphinx

razer89 — Wed, 18 Oct 2017 08:15:44 +0000

razer89:

Цитата nsh @ 17.10.17, 19:52

Для постоянного прослушивания нужно использовать режим поиска ключевых слов. Это описано в документации

Именно так я и делаю, сфинкс ждет ключевую фразу аля "умный дом", после чего начинается прослушивание команды. И вот, если эту самую команду исковеркать, или произнести совершенно незнакомую фразу, она будет подогнана под то, что есть в файле грамматики. Неужели нельзя добиться поведения, чтобы команды, неизвестные грамматике, сфинкс игнорировал?

Работа с CMU Sphinx

Stanislav — Wed, 18 Oct 2017 02:11:08 +0000

Stanislav: Сколько нужно озу для адекватной работы sphinx? Для чего ему столько памяти? Если уменьшить словарь, нужно будет меньше памяти?

Работа с CMU Sphinx

nsh — Tue, 17 Oct 2017 20:21:00 +0000

nsh: Кстати, на следующей неделе будут cmusphinx-посиделки у нас в офисе в Москве с пиццей и всеми делами. Подробностей пока не дам, позже объявим в телеграмме http://t.me/cmusphinx_ru

Работа с CMU Sphinx

nsh — Tue, 17 Oct 2017 19:52:57 +0000

nsh:

Цитата Stanislav @ 17.10.17, 05:30

Вот у меня 1,5 Гб озу и файл подкачки стоит

С таким количеством памяти нужно использовать pocketsphinx.

Добавлено 17.10.17, 19:54

Цитата razer89 @ 17.10.17, 12:56

Хотелось бы добиться эффекта, когда при неизвестной фразе сфинкс бы ничего вообще не выдавал.

Для постоянного прослушивания нужно использовать режим поиска ключевых слов. Это описано в документации

http://cmusphinx.github.io/wiki/tutoriallm

Работа с CMU Sphinx

razer89 — Tue, 17 Oct 2017 14:08:22 +0000

razer89:

Цитата razer89 @ 17.10.17, 12:56

Так же прошу пояснить, что значит "+"

С операторами "+" и "*" разобрался. Остальные вопросы актуальны

Работа с CMU Sphinx

razer89 — Tue, 17 Oct 2017 12:56:07 +0000

razer89: Добрый день! Почитал про синтаксис конфигурации файла JSGF, но не все моменты для меня прояснились. Напомню, стоит задача распознавать команды для умного дома. В настоящий момент файл JSGF выглядит так:

#JSGF V1.0;

grammar smartWardCommands;

<devices> = свет | розетка | кондиционер;

<actions> = включи | выключи | установи температуру;

public <commands> = ( <actions> <devices> ) | <NULL>;

Такой конфиг неплохо распознает фразы "выключи свет" или "включи кондиционер". Однако, фразу "какая-то билибирда" старается тоже распознать на основе имеющейся грамматики - выдает что-нибудь вроде "установи температуру розетка". И это несмотря на то, что я объявил .
Вероятно, я не совсем понимаю цель использования , или делаю это неправильно. Хотелось бы добиться эффекта, когда при неизвестной фразе сфинкс бы ничего вообще не выдавал.
Так же прошу пояснить, что значит "+" в конструкциях вида:

public <words> = ( включи | выключи | свет )+;

Заранее благодарю за помощь!

Работа с CMU Sphinx

Stanislav — Tue, 17 Oct 2017 05:30:19 +0000

Stanislav: Так, для изменения памяти при запуске программы через gradle run годится вариант:
1. Создать файл gradle.properties рядом с gradle.build и
2. прописать там строчку "org.gradle.jvmargs=-Xms1024m -Xmx1024m"
более подробная инфа в мануале по gradle

И вопрос: какие минимальные требования к железу для нормальной работы? Вот у меня 1,5 Гб озу и файл подкачки стоит, но вылетает из-за нехватки памяти якобы, это нормальная работа программы или в коде есть ошибка?

Работа с CMU Sphinx

Stanislav — Tue, 17 Oct 2017 03:13:15 +0000

Stanislav:

Цитата nsh @ 13.10.17, 11:28

Цитата Stanislav @ 13.10.17, 09:36

Памяти можно добавить с помощью ключа jvm -Xmx, например -Xmx2048m

Чтоб тебе так помогали...

Operation
Format: -Xmx[g|G|m|M|k|K]
Combine -Xmx with a memory value
For Example:
java -Xmx:1g myApp
sets the maximum java heap to 1 gigabyte.
If you do not add a unit, you will get the exact value you state; for example, 64 will be interpreted as 64 bytes, not 64 megabytes or 64 kilobytes.
The -Xmx option and -Xms option in combination are used to limit the Java heap size. The Java heap can never grow larger than -Xmx. Also, the -Xms value can be used as “minimum heap size” to set a fixed heap size by setting -Xms = -Xmx when, for example, you want to run benchmark tests.

Собственно и в прочих "умных" мануалах то опечатка, то недосказанность, а в итоге даже пример из документации от sphinx не работает :wall:

Работа с CMU Sphinx

zamir — Mon, 16 Oct 2017 14:51:34 +0000

zamir: Нет проблем :)
Информации в интернет было достаточно, когда я искал.
Вот вторая ссылка в яндекс например: https://www.w3.org/TR/jsgf/

Работа с CMU Sphinx

razer89 — Mon, 16 Oct 2017 14:48:32 +0000

razer89: zamir спасибо, помогло! Есть какие-нибудь материалы по синтаксису JSGF?

Работа с CMU Sphinx

zamir — Mon, 16 Oct 2017 14:42:02 +0000

zamir:

Цитата

#JSGF V1.0;

grammar words;

public = ( включи | выключи | свет )+;

А если так?

Работа с CMU Sphinx

razer89 — Mon, 16 Oct 2017 14:33:21 +0000

razer89: Всех приветствую! Использую pocketsphinx для приложения "умный дом" на Android, необходимо реализовать голосовое управление. Для команд написал JSGF файлик следующего содержания (условно):

#JSGF V1.0;

grammar words;

public <words> = включи |

выключи |

свет;

Для тестов проигрываю записи "включи свет" и "выключи свет". Однако, сфинкс не определяет всю фразу целиком, а выдает только "включи" или "выключи". Если добавить в JSGF полные фразы, начинает работать. Правильно ли я понимаю, что так и должно работать? Что сфинкс не может комбинировать слова в фразы из JSGF? Возможно, есть какое-то решение данного вопроса? Дело в том, что в будущем могут добавиться такие команды как "включи кондиционер" и так далее, неужели придется описывать все возможные комбинации?

Работа с CMU Sphinx

nsh — Mon, 16 Oct 2017 11:15:58 +0000

nsh:

Цитата Stanislav @ 16.10.17, 10:20

Например java -Xmx2048m

Где например, что например? Ничего не поменялось, как я вижу.

Цитата

Такие дела, нижайше кланяюсь и прошу помощи.

С мышлением раба далеко не уйдешь. Вместо всего этого лучше документацию почитать вдумчиво.

Работа с CMU Sphinx

Stanislav — Mon, 16 Oct 2017 10:20:53 +0000

Stanislav: Например java -Xmx2048m
Так, изменил код немного

package Demo;

import java.io.File;

import java.io.FileInputStream;

import java.io.InputStream;

import edu.cmu.sphinx.api.Configuration;

import edu.cmu.sphinx.api.SpeechResult;

import edu.cmu.sphinx.api.StreamSpeechRecognizer;

public class TranscriberDemo {

public static void main(String[] args) throws Exception {

System.out.println ("+++++++++++++++++Work started1+++++++++++++++");

Configuration configuration = new Configuration();

configuration.setAcousticModelPath("file:///C:/workspace_Oxygen/Speech_Recognise/en-us/en-us");

configuration.setDictionaryPath("file:///C:/workspace_Oxygen/Speech_Recognise/en-us/cmudict-en-us.dict");

configuration.setLanguageModelPath("file:///C:/workspace_Oxygen/Speech_Recognise/en-us/en-us.lm.bin");

StreamSpeechRecognizer recognizer = new StreamSpeechRecognizer(configuration);

InputStream stream = new FileInputStream(new File("C:\workspace_Oxygen\Test_wav\b0365.wav"));

System.out.println ("+++++++++++++++++Work started2+++++++++++++++");

recognizer.startRecognition(stream);

System.out.println ("+++++++++++++++++Work started3+++++++++++++++");

SpeechResult result;

System.out.println ("+++++++++++++++++Work resulted complete1+++++++++++++++");

while ((result = recognizer.getResult()) != null) {

System.out.println ("+++++++++++++++++recognizer.getResult+++++++++++++++");

System.out.format("Hypothesis: %s\n", result.getHypothesis());

System.out.println ("^^^^^^^^^^^^^^"+result.getHypothesis()+"^^^^^^^^^^^^^^^^^^^^^");

}

recognizer.stopRecognition();

}

Результат работы так же вылетает по памяти, но как видно в конце, при получении результатов

16:11:07.734 INFO unitManager CI Unit: CH

16:11:07.735 INFO unitManager CI Unit: D

16:11:07.735 INFO unitManager CI Unit: DH

16:11:07.735 INFO unitManager CI Unit: EH

16:11:07.735 INFO unitManager CI Unit: ER

16:11:07.736 INFO unitManager CI Unit: EY

16:11:07.736 INFO unitManager CI Unit: F

16:11:07.736 INFO unitManager CI Unit: G

16:11:07.737 INFO unitManager CI Unit: HH

16:11:07.737 INFO unitManager CI Unit: IH

16:11:07.737 INFO unitManager CI Unit: IY

16:11:07.737 INFO unitManager CI Unit: JH

16:11:07.738 INFO unitManager CI Unit: K

16:11:07.738 INFO unitManager CI Unit: L

16:11:07.738 INFO unitManager CI Unit: M

16:11:07.738 INFO unitManager CI Unit: N

16:11:07.738 INFO unitManager CI Unit: NG

16:11:07.739 INFO unitManager CI Unit: OW

16:11:07.739 INFO unitManager CI Unit: OY

16:11:07.739 INFO unitManager CI Unit: P

16:11:07.740 INFO unitManager CI Unit: R

16:11:07.740 INFO unitManager CI Unit: S

16:11:07.740 INFO unitManager CI Unit: SH

16:11:07.740 INFO unitManager CI Unit: T

16:11:07.741 INFO unitManager CI Unit: TH

16:11:07.741 INFO unitManager CI Unit: UH

16:11:07.741 INFO unitManager CI Unit: UW

16:11:07.742 INFO unitManager CI Unit: V

16:11:07.742 INFO unitManager CI Unit: W

16:11:07.742 INFO unitManager CI Unit: Y

16:11:07.742 INFO unitManager CI Unit: Z

16:11:07.743 INFO unitManager CI Unit: ZH

16:11:11.204 INFO autoCepstrum Cepstrum component auto-configured as fol

lows: autoCepstrum {MelFrequencyFilterBank, Denoise, DiscreteCosineTransform2, L

ifter}

+++++++++++++++++Work started2+++++++++++++++

16:11:11.231 INFO dictionary Loading dictionary from: file:/C:/workspa

ce_Oxygen/Speech_Recognise/en-us/cmudict-en-us.dict

16:11:11.988 INFO dictionary Loading filler dictionary from: file:/C:/

workspace_Oxygen/Speech_Recognise/en-us/en-us/noisedict

16:11:11.988 INFO acousticModelLoader Loading tied-state acoustic model from: f

ile:/C:/workspace_Oxygen/Speech_Recognise/en-us/en-us

16:11:11.988 INFO acousticModelLoader Pool means Entries: 16128

16:11:11.988 INFO acousticModelLoader Pool variances Entries: 16128

16:11:11.988 INFO acousticModelLoader Pool transition_matrices Entries: 42

16:11:11.988 INFO acousticModelLoader Pool senones Entries: 5126

16:11:11.988 INFO acousticModelLoader Gaussian weights: mixture_weights. Entrie

s: 15378

16:11:11.988 INFO acousticModelLoader Pool senones Entries: 5126

16:11:11.988 INFO acousticModelLoader Context Independent Unit Entries: 42

16:11:11.988 INFO acousticModelLoader HMM Manager: 137095 hmms

16:11:11.988 INFO acousticModel CompositeSenoneSequences: 0

16:11:11.988 INFO trieNgramModel Loading n-gram language model from: file:

/C:/workspace_Oxygen/Speech_Recognise/en-us/en-us.lm.bin

16:11:27.155 INFO lexTreeLinguist Max CI Units 43

16:11:27.155 INFO lexTreeLinguist Unit table size 79507

16:11:27.155 INFO speedTracker # ----------------------------- Timers---

-------------------------------------

16:11:27.155 INFO speedTracker # Name Count CurTime Mi

nTime MaxTime AvgTime TotTime

16:11:27.155 INFO speedTracker Load AM 1 7,0880s 7,

0880s 7,0880s 7,0880s 7,0880s

16:11:27.155 INFO speedTracker Load Dictionary 1 0,7570s 0,

7570s 0,7570s 0,7570s 0,7570s

16:11:27.155 INFO speedTracker Load LM 1 12,2460s 12

,2460s 12,2460s 12,2460s 12,2460s

16:11:27.171 INFO speedTracker Compile 1 2,9200s 2,

9200s 2,9200s 2,9200s 2,9200s

+++++++++++++++++Work started3+++++++++++++++

+++++++++++++++++Work resulted complete1+++++++++++++++

16:12:15.438 INFO liveCMN 55.31 -5.06 3.38 25.67 -3.44 -0.47 1.64 -

0.91 1.12 -3.75 2.71 -0.15 1.30

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space

at edu.cmu.sphinx.frontend.util.DataUtil.littleEndianBytesToValues(DataU

til.java:176)

at edu.cmu.sphinx.frontend.util.StreamDataSource.readNextFrame(StreamDat

aSource.java:247)

at edu.cmu.sphinx.frontend.util.StreamDataSource.getData(StreamDataSourc

e.java:178)

at edu.cmu.sphinx.frontend.DataBlocker.getData(DataBlocker.java:56)

at edu.cmu.sphinx.frontend.endpoint.SpeechClassifier.getData(SpeechClass

ifier.java:220)

at edu.cmu.sphinx.frontend.endpoint.SpeechMarker.getData(SpeechMarker.ja

va:136)

at edu.cmu.sphinx.frontend.filter.Preemphasizer.getData(Preemphasizer.ja

va:82)

at edu.cmu.sphinx.frontend.window.RaisedCosineWindower.getData(RaisedCos

ineWindower.java:154)

at edu.cmu.sphinx.frontend.transform.DiscreteFourierTransform.getData(Di

screteFourierTransform.java:269)

at edu.cmu.sphinx.frontend.frequencywarp.MelFrequencyFilterBank.getData(

MelFrequencyFilterBank.java:291)

at edu.cmu.sphinx.frontend.denoise.Denoise.getData(Denoise.java:111)

at edu.cmu.sphinx.frontend.transform.DiscreteCosineTransform.getData(Dis

creteCosineTransform.java:77)

at edu.cmu.sphinx.frontend.transform.Lifter.getData(Lifter.java:66)

at edu.cmu.sphinx.frontend.AutoCepstrum.getData(AutoCepstrum.java:243)

at edu.cmu.sphinx.frontend.feature.LiveCMN.getData(LiveCMN.java:177)

at edu.cmu.sphinx.frontend.feature.AbstractFeatureExtractor.getNextData(

AbstractFeatureExtractor.java:122)

at edu.cmu.sphinx.frontend.feature.AbstractFeatureExtractor.getData(Abst

ractFeatureExtractor.java:93)

at edu.cmu.sphinx.frontend.feature.FeatureTransform.getData(FeatureTrans

form.java:85)

at edu.cmu.sphinx.frontend.FrontEnd.getData(FrontEnd.java:222)

at edu.cmu.sphinx.decoder.scorer.SimpleAcousticScorer.getNextData(Simple

AcousticScorer.java:146)

at edu.cmu.sphinx.decoder.scorer.SimpleAcousticScorer.calculateScoresAnd

StoreData(SimpleAcousticScorer.java:104)

at edu.cmu.sphinx.decoder.search.WordPruningBreadthFirstLookaheadSearchM

anager.scoreFastMatchTokens(WordPruningBreadthFirstLookaheadSearchManager.java:2

86)

at edu.cmu.sphinx.decoder.search.WordPruningBreadthFirstLookaheadSearchM

anager.fastMatchRecognize(WordPruningBreadthFirstLookaheadSearchManager.java:206

)

at edu.cmu.sphinx.decoder.search.WordPruningBreadthFirstLookaheadSearchM

anager.recognize(WordPruningBreadthFirstLookaheadSearchManager.java:187)

at edu.cmu.sphinx.decoder.Decoder.decode(Decoder.java:65)

at edu.cmu.sphinx.recognizer.Recognizer.recognize(Recognizer.java:106)

at edu.cmu.sphinx.recognizer.Recognizer.recognize(Recognizer.java:122)

at edu.cmu.sphinx.api.AbstractSpeechRecognizer.getResult(AbstractSpeechR

ecognizer.java:60)

at Demo.TranscriberDemo.main(TranscriberDemo.java:28)

FAILURE: Build failed with an exception.

* What went wrong:

Execution failed for task ':run'.

> Process 'command 'C:\Program Files\Java\jdk1.8.0_144\bin\java.exe'' finished w

ith non-zero exit value 1

* Try:

Run with --stacktrace option to get the stack trace. Run with --info or --debug

option to get more log output.

* Get more help at https://help.gradle.org

BUILD FAILED in 2m 18s

2 actionable tasks: 1 executed, 1 up-to-date

c:\workspace_Oxygen\Speech_Recognise>gradle build

BUILD SUCCESSFUL in 7s

5 actionable tasks: 4 executed, 1 up-to-date

c:\workspace_Oxygen\Speech_Recognise>gradle run

> Task :run

+++++++++++++++++Work started1+++++++++++++++

16:16:13.292 INFO unitManager CI Unit: *+NSN+

16:16:13.298 INFO unitManager CI Unit: *+SPN+

16:16:13.299 INFO unitManager CI Unit: AA

16:16:13.299 INFO unitManager CI Unit: AE

16:16:13.299 INFO unitManager CI Unit: AH

16:16:13.300 INFO unitManager CI Unit: AO

16:16:13.300 INFO unitManager CI Unit: AW

16:16:13.300 INFO unitManager CI Unit: AY

16:16:13.302 INFO unitManager CI Unit: B

16:16:13.302 INFO unitManager CI Unit: CH

16:16:13.303 INFO unitManager CI Unit: D

16:16:13.304 INFO unitManager CI Unit: DH

16:16:13.304 INFO unitManager CI Unit: EH

16:16:13.304 INFO unitManager CI Unit: ER

16:16:13.304 INFO unitManager CI Unit: EY

16:16:13.304 INFO unitManager CI Unit: F

16:16:13.305 INFO unitManager CI Unit: G

16:16:13.305 INFO unitManager CI Unit: HH

16:16:13.305 INFO unitManager CI Unit: IH

16:16:13.305 INFO unitManager CI Unit: IY

16:16:13.306 INFO unitManager CI Unit: JH

16:16:13.306 INFO unitManager CI Unit: K

16:16:13.306 INFO unitManager CI Unit: L

16:16:13.306 INFO unitManager CI Unit: M

16:16:13.306 INFO unitManager CI Unit: N

16:16:13.307 INFO unitManager CI Unit: NG

16:16:13.307 INFO unitManager CI Unit: OW

16:16:13.307 INFO unitManager CI Unit: OY

16:16:13.307 INFO unitManager CI Unit: P

16:16:13.307 INFO unitManager CI Unit: R

16:16:13.307 INFO unitManager CI Unit: S

16:16:13.308 INFO unitManager CI Unit: SH

16:16:13.308 INFO unitManager CI Unit: T

16:16:13.308 INFO unitManager CI Unit: TH

16:16:13.308 INFO unitManager CI Unit: UH

16:16:13.308 INFO unitManager CI Unit: UW

16:16:13.309 INFO unitManager CI Unit: V

16:16:13.310 INFO unitManager CI Unit: W

16:16:13.310 INFO unitManager CI Unit: Y

16:16:13.310 INFO unitManager CI Unit: Z

16:16:13.310 INFO unitManager CI Unit: ZH

16:16:16.654 INFO autoCepstrum Cepstrum component auto-configured as fol

lows: autoCepstrum {MelFrequencyFilterBank, Denoise, DiscreteCosineTransform2, L

ifter}

+++++++++++++++++Work started2+++++++++++++++

16:16:16.661 INFO dictionary Loading dictionary from: file:/C:/workspa

ce_Oxygen/Speech_Recognise/en-us/cmudict-en-us.dict

16:16:17.331 INFO dictionary Loading filler dictionary from: file:/C:/

workspace_Oxygen/Speech_Recognise/en-us/en-us/noisedict

16:16:17.332 INFO acousticModelLoader Loading tied-state acoustic model from: f

ile:/C:/workspace_Oxygen/Speech_Recognise/en-us/en-us

16:16:17.333 INFO acousticModelLoader Pool means Entries: 16128

16:16:17.333 INFO acousticModelLoader Pool variances Entries: 16128

16:16:17.333 INFO acousticModelLoader Pool transition_matrices Entries: 42

16:16:17.333 INFO acousticModelLoader Pool senones Entries: 5126

16:16:17.334 INFO acousticModelLoader Gaussian weights: mixture_weights. Entrie

s: 15378

16:16:17.334 INFO acousticModelLoader Pool senones Entries: 5126

16:16:17.334 INFO acousticModelLoader Context Independent Unit Entries: 42

16:16:17.335 INFO acousticModelLoader HMM Manager: 137095 hmms

16:16:17.335 INFO acousticModel CompositeSenoneSequences: 0

16:16:17.336 INFO trieNgramModel Loading n-gram language model from: file:

/C:/workspace_Oxygen/Speech_Recognise/en-us/en-us.lm.bin

16:16:31.195 INFO lexTreeLinguist Max CI Units 43

16:16:31.196 INFO lexTreeLinguist Unit table size 79507

16:16:31.200 INFO speedTracker # ----------------------------- Timers---

-------------------------------------

16:16:31.200 INFO speedTracker # Name Count CurTime Mi

nTime MaxTime AvgTime TotTime

16:16:31.201 INFO speedTracker Load AM 1 6,6330s 6,

6330s 6,6330s 6,6330s 6,6330s

16:16:31.202 INFO speedTracker Load Dictionary 1 0,6710s 0,

6710s 0,6710s 0,6710s 0,6710s

16:16:31.202 INFO speedTracker Load LM 1 10,9540s 10

,9540s 10,9540s 10,9540s 10,9540s

16:16:31.202 INFO speedTracker Compile 1 2,9070s 2,

9070s 2,9070s 2,9070s 2,9070s

+++++++++++++++++Work started3+++++++++++++++

+++++++++++++++++Work resulted complete1+++++++++++++++

16:17:13.902 INFO liveCMN 55.31 -5.06 3.38 25.67 -3.44 -0.47 1.64 -

0.91 1.12 -3.75 2.71 -0.15 1.30

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space

at edu.cmu.sphinx.frontend.util.DataUtil.littleEndianBytesToValues(DataU

til.java:176)

at edu.cmu.sphinx.frontend.util.StreamDataSource.readNextFrame(StreamDat

aSource.java:247)

at edu.cmu.sphinx.frontend.util.StreamDataSource.getData(StreamDataSourc

e.java:178)

at edu.cmu.sphinx.frontend.DataBlocker.getData(DataBlocker.java:56)

at edu.cmu.sphinx.frontend.endpoint.SpeechClassifier.getData(SpeechClass

ifier.java:220)

at edu.cmu.sphinx.frontend.endpoint.SpeechMarker.getData(SpeechMarker.ja

va:136)

at edu.cmu.sphinx.frontend.filter.Preemphasizer.getData(Preemphasizer.ja

va:82)

at edu.cmu.sphinx.frontend.window.RaisedCosineWindower.getData(RaisedCos

ineWindower.java:154)

at edu.cmu.sphinx.frontend.transform.DiscreteFourierTransform.getData(Di

screteFourierTransform.java:269)

at edu.cmu.sphinx.frontend.frequencywarp.MelFrequencyFilterBank.getData(

MelFrequencyFilterBank.java:291)

at edu.cmu.sphinx.frontend.denoise.Denoise.getData(Denoise.java:111)

at edu.cmu.sphinx.frontend.transform.DiscreteCosineTransform.getData(Dis

creteCosineTransform.java:77)

at edu.cmu.sphinx.frontend.transform.Lifter.getData(Lifter.java:66)

at edu.cmu.sphinx.frontend.AutoCepstrum.getData(AutoCepstrum.java:243)

at edu.cmu.sphinx.frontend.feature.LiveCMN.getData(LiveCMN.java:177)

at edu.cmu.sphinx.frontend.feature.AbstractFeatureExtractor.getNextData(

AbstractFeatureExtractor.java:122)

at edu.cmu.sphinx.frontend.feature.AbstractFeatureExtractor.getData(Abst

ractFeatureExtractor.java:93)

at edu.cmu.sphinx.frontend.feature.FeatureTransform.getData(FeatureTrans

form.java:85)

at edu.cmu.sphinx.frontend.FrontEnd.getData(FrontEnd.java:222)

at edu.cmu.sphinx.decoder.scorer.SimpleAcousticScorer.getNextData(Simple

AcousticScorer.java:146)

at edu.cmu.sphinx.decoder.scorer.SimpleAcousticScorer.calculateScoresAnd

StoreData(SimpleAcousticScorer.java:104)

at edu.cmu.sphinx.decoder.search.WordPruningBreadthFirstLookaheadSearchM

anager.scoreFastMatchTokens(WordPruningBreadthFirstLookaheadSearchManager.java:2

86)

at edu.cmu.sphinx.decoder.search.WordPruningBreadthFirstLookaheadSearchM

anager.fastMatchRecognize(WordPruningBreadthFirstLookaheadSearchManager.java:206

)

at edu.cmu.sphinx.decoder.search.WordPruningBreadthFirstLookaheadSearchM

anager.recognize(WordPruningBreadthFirstLookaheadSearchManager.java:187)

at edu.cmu.sphinx.decoder.Decoder.decode(Decoder.java:65)

at edu.cmu.sphinx.recognizer.Recognizer.recognize(Recognizer.java:106)

at edu.cmu.sphinx.recognizer.Recognizer.recognize(Recognizer.java:122)

at edu.cmu.sphinx.api.AbstractSpeechRecognizer.getResult(AbstractSpeechR

ecognizer.java:60)

at Demo.TranscriberDemo.main(TranscriberDemo.java:28)

FAILURE: Build failed with an exception.

* What went wrong:

Execution failed for task ':run'.

> Process 'command 'C:\Program Files\Java\jdk1.8.0_144\bin\java.exe'' finished w

ith non-zero exit value 1

* Try:

Run with --stacktrace option to get the stack trace. Run with --info or --debug

option to get more log output.

* Get more help at https://help.gradle.org

BUILD FAILED in 2m 5s

2 actionable tasks: 1 executed, 1 up-to-date

c:\workspace_Oxygen\Speech_Recognise>

То есть последнее выведённое сообщение
+++++++++++++++++Work resulted complete1+++++++++++++++
Такие дела, нижайше кланяюсь и прошу помощи.

Работа с CMU Sphinx

nsh — Fri, 13 Oct 2017 11:28:41 +0000

nsh:

Цитата Stanislav @ 13.10.17, 09:36

Памяти можно добавить с помощью ключа jvm -Xmx, например -Xmx2048m

Работа с CMU Sphinx

Stanislav — Fri, 13 Oct 2017 09:36:46 +0000

Stanislav: Добрый день, пытаюсь запустить sphinx на win7, gradle вроде строит нормально, но пока не удаётся запустить распознавание из файла тестовой записи на англ. 20 секунд голоса. Процесс вылетает из-за нехватки памяти, буду благодарен за подсказку

at java.io.FileInputStream.open0(Native Method)

at java.io.FileInputStream.open(FileInputStream.java:195)

at java.io.FileInputStream.<init>(FileInputStream.java:138)

at java.io.FileInputStream.<init>(FileInputStream.java:93)

at sun.net.www.protocol.file.FileURLConnection.connect(FileURLConnection

.java:90)

at sun.net.www.protocol.file.FileURLConnection.getInputStream(FileURLCon

nection.java:188)

at java.net.URL.openStream(URL.java:1045)

at edu.cmu.sphinx.linguist.acoustic.tiedstate.Sphinx3Loader.getDataStrea

m(Sphinx3Loader.java:233)

at edu.cmu.sphinx.linguist.acoustic.tiedstate.Sphinx3Loader.readS3Binary

Header(Sphinx3Loader.java:604)

at edu.cmu.sphinx.linguist.acoustic.tiedstate.Sphinx3Loader.loadDensityF

ile(Sphinx3Loader.java:525)

at edu.cmu.sphinx.linguist.acoustic.tiedstate.Sphinx3Loader.loadModelFil

es(Sphinx3Loader.java:298)

at edu.cmu.sphinx.linguist.acoustic.tiedstate.Sphinx3Loader.load(Sphinx3

Loader.java:252)

at edu.cmu.sphinx.frontend.AutoCepstrum.newProperties(AutoCepstrum.java:

118)

... 25 more

FAILURE: Build failed with an exception.

* What went wrong:

Execution failed for task ':run'.

> Process 'command 'C:\Program Files\Java\jdk1.8.0_144\bin\java.exe'' finished w

ith non-zero exit value 1

* Try:

Run with --stacktrace option to get the stack trace. Run with --info or --debug

option to get more log output.

* Get more help at https://help.gradle.org

BUILD FAILED in 2s

2 actionable tasks: 1 executed, 1 up-to-date

c:\workspace_Oxygen\Speech_Recognise>chcp

’ҐЄгй п Є®¤®ў п бва Ёж : 866

c:\workspace_Oxygen\Speech_Recognise>chcp 65001

Active code page: 65001

c:\workspace_Oxygen\Speech_Recognise>gradle run

> Task :run

Exception in thread "main" Property exception component:'null' property:'null' -

java.io.FileNotFoundException: C:\workspace_Oxygen\Speech_Recognise\en-us\means

(Íå óäàåòñÿ íàéòè óêàçàííûé ôàéë)

edu.cmu.sphinx.util.props.PropertyException: java.io.FileNotFoundException: C:\w

orkspace_Oxygen\Speech_Recognise\en-us\means (Íå óäàåòñÿ íàéòè óêàçàííûé ôàéë)

at edu.cmu.sphinx.frontend.AutoCepstrum.newProperties(AutoCepstrum.java:

120)

at edu.cmu.sphinx.util.props.PropertySheet.getOwner(PropertySheet.java:5

18)

at edu.cmu.sphinx.util.props.ConfigurationManager.lookup(ConfigurationMa

nager.java:163)

at edu.cmu.sphinx.util.props.PropertySheet.getComponentList(PropertyShee

t.java:432)

at edu.cmu.sphinx.frontend.FrontEnd.newProperties(FrontEnd.java:160)

at edu.cmu.sphinx.util.props.PropertySheet.getOwner(PropertySheet.java:5

18)

at edu.cmu.sphinx.util.props.PropertySheet.getComponent(PropertySheet.ja

va:296)

at edu.cmu.sphinx.decoder.scorer.SimpleAcousticScorer.newProperties(Simp

leAcousticScorer.java:47)

at edu.cmu.sphinx.util.props.PropertySheet.getOwner(PropertySheet.java:5

18)

at edu.cmu.sphinx.util.props.PropertySheet.getComponent(PropertySheet.ja

va:296)

at edu.cmu.sphinx.decoder.search.WordPruningBreadthFirstSearchManager.ne

wProperties(WordPruningBreadthFirstSearchManager.java:213)

at edu.cmu.sphinx.decoder.search.WordPruningBreadthFirstLookaheadSearchM

anager.newProperties(WordPruningBreadthFirstLookaheadSearchManager.java:156)

at edu.cmu.sphinx.util.props.PropertySheet.getOwner(PropertySheet.java:5

18)

at edu.cmu.sphinx.util.props.PropertySheet.getComponent(PropertySheet.ja

va:296)

at edu.cmu.sphinx.decoder.AbstractDecoder.newProperties(AbstractDecoder.

java:81)

at edu.cmu.sphinx.decoder.Decoder.newProperties(Decoder.java:36)

at edu.cmu.sphinx.util.props.PropertySheet.getOwner(PropertySheet.java:5

18)

at edu.cmu.sphinx.util.props.PropertySheet.getComponent(PropertySheet.ja

va:296)

at edu.cmu.sphinx.recognizer.Recognizer.newProperties(Recognizer.java:86

)

at edu.cmu.sphinx.util.props.PropertySheet.getOwner(PropertySheet.java:5

18)

at edu.cmu.sphinx.util.props.ConfigurationManager.lookup(ConfigurationMa

nager.java:163)

at edu.cmu.sphinx.api.Context.<init>(Context.java:73)

at edu.cmu.sphinx.api.Context.<init>(Context.java:45)

at edu.cmu.sphinx.api.AbstractSpeechRecognizer.<init>(AbstractSpeechReco

gnizer.java:44)

at edu.cmu.sphinx.api.StreamSpeechRecognizer.<init>(StreamSpeechRecogniz

er.java:35)

at Demo.TranscriberDemo.main(TranscriberDemo.java:21)

Caused by: java.io.FileNotFoundException: C:\workspace_Oxygen\Speech_Recognise\e

n-us\means (Íå óäàåòñÿ íàéòè óêàçàííûé ôàéë)

at java.io.FileInputStream.open0(Native Method)

at java.io.FileInputStream.open(FileInputStream.java:195)

at java.io.FileInputStream.<init>(FileInputStream.java:138)

at java.io.FileInputStream.<init>(FileInputStream.java:93)

at sun.net.www.protocol.file.FileURLConnection.connect(FileURLConnection

.java:90)

at sun.net.www.protocol.file.FileURLConnection.getInputStream(FileURLCon

nection.java:188)

at java.net.URL.openStream(URL.java:1045)

at edu.cmu.sphinx.linguist.acoustic.tiedstate.Sphinx3Loader.getDataStrea

m(Sphinx3Loader.java:233)

at edu.cmu.sphinx.linguist.acoustic.tiedstate.Sphinx3Loader.readS3Binary

Header(Sphinx3Loader.java:604)

at edu.cmu.sphinx.linguist.acoustic.tiedstate.Sphinx3Loader.loadDensityF

ile(Sphinx3Loader.java:525)

at edu.cmu.sphinx.linguist.acoustic.tiedstate.Sphinx3Loader.loadModelFil

es(Sphinx3Loader.java:298)

at edu.cmu.sphinx.linguist.acoustic.tiedstate.Sphinx3Loader.load(Sphinx3

Loader.java:252)

at edu.cmu.sphinx.frontend.AutoCepstrum.newProperties(AutoCepstrum.java:

118)

... 25 more

FAILURE: Build failed with an exception.

* What went wrong:

Execution failed for task ':run'.

> Process 'command 'C:\Program Files\Java\jdk1.8.0_144\bin\java.exe'' finished w

ith non-zero exit value 1

* Try:

Run with --stacktrace option to get the stack trace. Run with --info or --debug

option to get more log output.

* Get more help at https://help.gradle.org

BUILD FAILED in 2s

2 actionable tasks: 1 executed, 1 up-to-date

c:\workspace_Oxygen\Speech_Recognise>gradle build

BUILD SUCCESSFUL in 6s

5 actionable tasks: 4 executed, 1 up-to-date

c:\workspace_Oxygen\Speech_Recognise>gradle run

> Task :run

15:14:26.200 INFO unitManager CI Unit: *+NSN+

15:14:26.200 INFO unitManager CI Unit: *+SPN+

15:14:26.200 INFO unitManager CI Unit: AA

15:14:26.200 INFO unitManager CI Unit: AE

15:14:26.200 INFO unitManager CI Unit: AH

15:14:26.200 INFO unitManager CI Unit: AO

15:14:26.200 INFO unitManager CI Unit: AW

15:14:26.200 INFO unitManager CI Unit: AY

15:14:26.200 INFO unitManager CI Unit: B

15:14:26.215 INFO unitManager CI Unit: CH

15:14:26.215 INFO unitManager CI Unit: D

15:14:26.215 INFO unitManager CI Unit: DH

15:14:26.215 INFO unitManager CI Unit: EH

15:14:26.215 INFO unitManager CI Unit: ER

15:14:26.215 INFO unitManager CI Unit: EY

15:14:26.215 INFO unitManager CI Unit: F

15:14:26.215 INFO unitManager CI Unit: G

15:14:26.215 INFO unitManager CI Unit: HH

15:14:26.215 INFO unitManager CI Unit: IH

15:14:26.215 INFO unitManager CI Unit: IY

15:14:26.215 INFO unitManager CI Unit: JH

15:14:26.215 INFO unitManager CI Unit: K

15:14:26.215 INFO unitManager CI Unit: L

15:14:26.215 INFO unitManager CI Unit: M

15:14:26.215 INFO unitManager CI Unit: N

15:14:26.215 INFO unitManager CI Unit: NG

15:14:26.215 INFO unitManager CI Unit: OW

15:14:26.215 INFO unitManager CI Unit: OY

15:14:26.215 INFO unitManager CI Unit: P

15:14:26.215 INFO unitManager CI Unit: R

15:14:26.215 INFO unitManager CI Unit: S

15:14:26.215 INFO unitManager CI Unit: SH

15:14:26.215 INFO unitManager CI Unit: T

15:14:26.215 INFO unitManager CI Unit: TH

15:14:26.215 INFO unitManager CI Unit: UH

15:14:26.215 INFO unitManager CI Unit: UW

15:14:26.215 INFO unitManager CI Unit: V

15:14:26.215 INFO unitManager CI Unit: W

15:14:26.215 INFO unitManager CI Unit: Y

15:14:26.215 INFO unitManager CI Unit: Z

15:14:26.215 INFO unitManager CI Unit: ZH

15:14:29.230 INFO autoCepstrum Cepstrum component auto-configured as fol

lows: autoCepstrum {MelFrequencyFilterBank, Denoise, DiscreteCosineTransform2, L

ifter}

15:14:29.261 INFO dictionary Loading dictionary from: file:/C:/workspa

ce_Oxygen/Speech_Recognise/en-us/cmudict-en-us.dict

15:14:29.901 INFO dictionary Loading filler dictionary from: file:/C:/

workspace_Oxygen/Speech_Recognise/en-us/en-us/noisedict

15:14:29.901 INFO acousticModelLoader Loading tied-state acoustic model from: f

ile:/C:/workspace_Oxygen/Speech_Recognise/en-us/en-us

15:14:29.901 INFO acousticModelLoader Pool means Entries: 16128

15:14:29.901 INFO acousticModelLoader Pool variances Entries: 16128

15:14:29.901 INFO acousticModelLoader Pool transition_matrices Entries: 42

15:14:29.901 INFO acousticModelLoader Pool senones Entries: 5126

15:14:29.901 INFO acousticModelLoader Gaussian weights: mixture_weights. Entrie

s: 15378

15:14:29.901 INFO acousticModelLoader Pool senones Entries: 5126

15:14:29.901 INFO acousticModelLoader Context Independent Unit Entries: 42

15:14:29.901 INFO acousticModelLoader HMM Manager: 137095 hmms

15:14:29.901 INFO acousticModel CompositeSenoneSequences: 0

15:14:29.901 INFO trieNgramModel Loading n-gram language model from: file:

/C:/workspace_Oxygen/Speech_Recognise/en-us/en-us.lm.bin

15:14:43.667 INFO lexTreeLinguist Max CI Units 43

15:14:43.667 INFO lexTreeLinguist Unit table size 79507

15:14:43.683 INFO speedTracker # ----------------------------- Timers---

-------------------------------------

15:14:43.683 INFO speedTracker # Name Count CurTime Mi

nTime MaxTime AvgTime TotTime

15:14:43.683 INFO speedTracker Load AM 1 6,1520s 6,

1520s 6,1520s 6,1520s 6,1520s

15:14:43.683 INFO speedTracker Load Dictionary 1 0,6400s 0,

6400s 0,6400s 0,6400s 0,6400s

15:14:43.683 INFO speedTracker Load LM 1 11,1850s 11

,1850s 11,1850s 11,1850s 11,1850s

15:14:43.683 INFO speedTracker Compile 1 2,5810s 2,

5810s 2,5810s 2,5810s 2,5810s

15:15:25.519 INFO liveCMN 55.31 -5.06 3.38 25.67 -3.44 -0.47 1.64 -

0.91 1.12 -3.75 2.71 -0.15 1.30

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space

at edu.cmu.sphinx.frontend.util.DataUtil.littleEndianBytesToValues(DataU

til.java:176)

at edu.cmu.sphinx.frontend.util.StreamDataSource.readNextFrame(StreamDat

aSource.java:247)

at edu.cmu.sphinx.frontend.util.StreamDataSource.getData(StreamDataSourc

e.java:178)

at edu.cmu.sphinx.frontend.DataBlocker.getData(DataBlocker.java:56)

at edu.cmu.sphinx.frontend.endpoint.SpeechClassifier.getData(SpeechClass

ifier.java:220)

at edu.cmu.sphinx.frontend.endpoint.SpeechMarker.getData(SpeechMarker.ja

va:136)

at edu.cmu.sphinx.frontend.filter.Preemphasizer.getData(Preemphasizer.ja

va:82)

at edu.cmu.sphinx.frontend.window.RaisedCosineWindower.getData(RaisedCos

ineWindower.java:154)

at edu.cmu.sphinx.frontend.transform.DiscreteFourierTransform.getData(Di

screteFourierTransform.java:269)

at edu.cmu.sphinx.frontend.frequencywarp.MelFrequencyFilterBank.getData(

MelFrequencyFilterBank.java:291)

at edu.cmu.sphinx.frontend.denoise.Denoise.getData(Denoise.java:111)

at edu.cmu.sphinx.frontend.transform.DiscreteCosineTransform.getData(Dis

creteCosineTransform.java:77)

at edu.cmu.sphinx.frontend.transform.Lifter.getData(Lifter.java:66)

at edu.cmu.sphinx.frontend.AutoCepstrum.getData(AutoCepstrum.java:243)

at edu.cmu.sphinx.frontend.feature.LiveCMN.getData(LiveCMN.java:177)

at edu.cmu.sphinx.frontend.feature.AbstractFeatureExtractor.getNextData(

AbstractFeatureExtractor.java:122)

at edu.cmu.sphinx.frontend.feature.AbstractFeatureExtractor.getData(Abst

ractFeatureExtractor.java:93)

at edu.cmu.sphinx.frontend.feature.FeatureTransform.getData(FeatureTrans

form.java:85)

at edu.cmu.sphinx.frontend.FrontEnd.getData(FrontEnd.java:222)

at edu.cmu.sphinx.decoder.scorer.SimpleAcousticScorer.getNextData(Simple

AcousticScorer.java:146)

at edu.cmu.sphinx.decoder.scorer.SimpleAcousticScorer.calculateScoresAnd

StoreData(SimpleAcousticScorer.java:104)

at edu.cmu.sphinx.decoder.search.WordPruningBreadthFirstLookaheadSearchM

anager.scoreFastMatchTokens(WordPruningBreadthFirstLookaheadSearchManager.java:2

86)

at edu.cmu.sphinx.decoder.search.WordPruningBreadthFirstLookaheadSearchM

anager.fastMatchRecognize(WordPruningBreadthFirstLookaheadSearchManager.java:206

)

at edu.cmu.sphinx.decoder.search.WordPruningBreadthFirstLookaheadSearchM

anager.recognize(WordPruningBreadthFirstLookaheadSearchManager.java:187)

at edu.cmu.sphinx.decoder.Decoder.decode(Decoder.java:65)

at edu.cmu.sphinx.recognizer.Recognizer.recognize(Recognizer.java:106)

at edu.cmu.sphinx.recognizer.Recognizer.recognize(Recognizer.java:122)

at edu.cmu.sphinx.api.AbstractSpeechRecognizer.getResult(AbstractSpeechR

ecognizer.java:60)

at Demo.TranscriberDemo.main(TranscriberDemo.java:26)

FAILURE: Build failed with an exception.

* What went wrong:

Execution failed for task ':run'.

> Process 'command 'C:\Program Files\Java\jdk1.8.0_144\bin\java.exe'' finished w

ith non-zero exit value 1

* Try:

Run with --stacktrace option to get the stack trace. Run with --info or --debug

option to get more log output.

* Get more help at https://help.gradle.org

BUILD FAILED in 1m 58s

2 actionable tasks: 1 executed, 1 up-to-date

c:\workspace_Oxygen\Speech_Recognise>^A

c:\workspace_Oxygen\Speech_Recognise>

Добавлено 13.10.17, 09:46
Собственно вот код проекта

package Demo;

import java.io.File;

import java.io.FileInputStream;

import java.io.InputStream;

import edu.cmu.sphinx.api.Configuration;

import edu.cmu.sphinx.api.SpeechResult;

import edu.cmu.sphinx.api.StreamSpeechRecognizer;

public class TranscriberDemo {

public static void main(String[] args) throws Exception {

Configuration configuration = new Configuration();

configuration.setAcousticModelPath("file:///C:/workspace_Oxygen/Speech_Recognise/en-us/en-us");

configuration.setDictionaryPath("file:///C:/workspace_Oxygen/Speech_Recognise/en-us/cmudict-en-us.dict");

configuration.setLanguageModelPath("file:///C:/workspace_Oxygen/Speech_Recognise/en-us/en-us.lm.bin");

StreamSpeechRecognizer recognizer = new StreamSpeechRecognizer(configuration);

InputStream stream = new FileInputStream(new File("C:\workspace_Oxygen\Test_wav\b0365.wav"));

recognizer.startRecognition(stream);

SpeechResult result;

while ((result = recognizer.getResult()) != null) {

System.out.format("Hypothesis: %s\n", result.getHypothesis());

}

recognizer.stopRecognition();

}

Работа с CMU Sphinx

nsh — Fri, 02 Jun 2017 14:36:23 +0000

nsh:

Цитата dmarck @ 02.06.17, 14:20

сейчас их и использую. Готов потерять в качестве, но прогонять больший объем для аналитики.

Тогда проще всего натренировать свою модель на результатах Яндекса.

Работа с CMU Sphinx

dmarck — Fri, 02 Jun 2017 14:20:57 +0000

dmarck:

Цитата nsh @ 02.06.17, 14:18

сейчас их и использую. Готов потерять в качестве, но прогонять больший объем для аналитики.

Работа с CMU Sphinx

nsh — Fri, 02 Jun 2017 14:18:49 +0000

nsh:

Цитата dmarck @ 02.06.17, 12:34

Можете подсказать где можно найти лучше модель?

Купить у Яндекса.

Работа с CMU Sphinx

dmarck — Fri, 02 Jun 2017 12:34:12 +0000

dmarck: Привет

установил pocketsphinx и тестирую запись вот на этой модели https://sourceforge.net/projects/cmusphinx/...Models/Russian/

Качество как-то не очень. Можете подсказать где можно найти лучше модель? И в какую сторону копать, если нужно распознавать много разных голосов.

Работа с CMU Sphinx

Kenait — Fri, 02 Jun 2017 10:41:59 +0000

Kenait: Предыдущий вопрос закрыт - была ошибка с моей стороны.

Работа с CMU Sphinx

Kenait — Fri, 02 Jun 2017 09:06:30 +0000

Kenait: После проведения адаптации акустической модели результаты распознавания только ухудшились. Относится ли это к использованию русской языковой модели, или я провел адаптацию неправильно? Проверку провел на наборе данных, который использовал при адаптации. Как я понял точность распознавания должна была резко возрасти, но вместо этого ухудшилась.

Работа с CMU Sphinx

Kenait — Tue, 30 May 2017 14:57:33 +0000

Kenait: Я установил perl, и теперь при запуске команды C:\Users\User>"E:\CMU Sphinx\sphinxtrain\scripts\decode\word_align.pl" "E:\CMU Sphinx\pocketsphinx\bin\Release\Win32\wav\arctic20.transcription" "E:\CMU Sphinx\pocketsphinx\bin\Release\Win32\wav\arctic20.hyp"
получаю на выходе строку:
Usage:
word_align [options] reference_file hypothesis_file

Работа с CMU Sphinx

nsh — Tue, 30 May 2017 11:22:10 +0000

nsh:

Цитата Kenait @ 29.05.17, 18:42

Что я делаю не так?

Windows используете.

Работа с CMU Sphinx

Kenait — Mon, 29 May 2017 18:42:09 +0000

Kenait: На данный момент я тестирую точность распознавания и у меня возник вопрос - в туториале советуется после проведения теста использовать скрипт word_align.pl. Как это точно сделать? Если я правильно понял то нужно после выполнения тестирования ввести в командную строку файл скрипта, затем файл транскрипции, затем файл гипотезы. Но вместо работы скрипта у меня просто выводит его текст в блокноте. Что я делаю не так?

Работа с CMU Sphinx

nsh — Fri, 26 May 2017 20:10:02 +0000

nsh:

Цитата Kenait @ 26.05.17, 16:52

Снова возник вопрос.
Я распознаю речь с микрофона, который пишет на 48000 гц. Как я понимаю это может понизить точность распознавания. В этой теме упоминалось что необходимо ввести в параметрах -samprate 48000, однако если я делаю такую настройку выводится ошибка:
ERROR: "fe_interface.c", line 105: FFT: Number of points must be greater or equal to frame size (1230 samples)

Нужно nfft указать

-samprate 48000 -nfft 2048

Лучше драйвер настроить чтобы частоту дискретизации изменял самостоятельно.

Работа с CMU Sphinx

Kenait — Fri, 26 May 2017 16:52:24 +0000

Kenait: Снова возник вопрос.
Я распознаю речь с микрофона, который пишет на 48000 гц. Как я понимаю это может понизить точность распознавания. В этой теме упоминалось что необходимо ввести в параметрах -samprate 48000, однако если я делаю такую настройку выводится ошибка:
ERROR: "fe_interface.c", line 105: FFT: Number of points must be greater or equal to frame size (1230 samples)

Работа с CMU Sphinx

Kenait — Wed, 24 May 2017 13:50:31 +0000

Kenait: Спасибо за ответ. Я создал грамматику для ввода даты мероприятия, но хотел оставить свободную речь для описания самого мероприятия. Так или иначе пока что просто буду работать по туториалу - в последних главах как раз рассматривается вопрос точности.

Работа с CMU Sphinx

nsh — Wed, 24 May 2017 13:34:13 +0000

nsh:

Цитата Kenait @ 24.05.17, 11:27

Другой вопрос - есть ли способы редактировать словарь кроме как вручную? Я создаю простую программу - "органайзер", которая будет записывать запланированные мероприятия, и слишком большой словарь только снизит точность. Имеет ли смысл искать способы урезать уже готовый или стоит создать новый словарь для моей программы?

Словарь редактировать плохая идея, нужно редактировать модель языка, например, грамматику. А словарь лучше оставить как есть.

Работа с CMU Sphinx

Kenait — Wed, 24 May 2017 11:27:40 +0000

Kenait: Спасибо, то что нужно. Другой вопрос - есть ли способы редактировать словарь кроме как вручную? Я создаю простую программу - "органайзер", которая будет записывать запланированные мероприятия, и слишком большой словарь только снизит точность. Имеет ли смысл искать способы урезать уже готовый или стоит создать новый словарь для моей программы?

Работа с CMU Sphinx

nsh — Tue, 23 May 2017 23:08:08 +0000

nsh: http://www.cs.cmu.edu/~dhuggins/Publicatio...ocketsphinx.pdf

https://www.lti.cs.cmu.edu/sites/default/fi...recognition.pdf

http://www.cs.cmu.edu/~rkm/th/th.pdf

Работа с CMU Sphinx

Kenait — Tue, 23 May 2017 22:24:51 +0000

Kenait: Добрый вечер.
Пытаюсь разобраться как работает pocketsphinx. На официальном сайте хорошо описано как с ним работать, но практически не описана его архитектура, используемые алгоритмы. Искал в интернете, но нашел только статью про сфинкс-4. Есть ли похожая про pocketsphinx, и если нет то где можно узнать архитектуру и используемые алгоритмы. Насколько сильно pocketsphinx в этом пересекается с sphinx-4?

Статья - http://egouvea.users.sourceforge.net/paper...tr-2004-139.pdf

Работа с CMU Sphinx

ivan_007 — Sat, 11 Feb 2017 10:42:56 +0000

ivan_007: Развернул библиотеку распознавания sphinx в программе на C#. Привет, как вывести в окно программы процент распознавания, ошибок, если я использую словарь JSpeech Grammar Format (JSGF)? Программа реализована на C#.

Работа с CMU Sphinx

VMerk — Tue, 24 Jan 2017 21:44:39 +0000

VMerk:

Цитата

Для bw нужно добавить -lda cmusphinx-ru-5.2/feature_transform, это в документации указано.

Да, всё классно, это исправило ситуацию. Спасибо большое! Буду пробовать :lol:

Работа с CMU Sphinx

nsh — Tue, 24 Jan 2017 16:21:47 +0000

nsh: Для bw нужно добавить -lda cmusphinx-ru-5.2/feature_transform, это в документации указано.

Для уверенного распознавания нужно микрофон хороший.

Работа с CMU Sphinx

VMerk — Tue, 24 Jan 2017 08:14:10 +0000

VMerk: Вот сами записи: https://yadi.sk/d/oXsrB6er3Abv7M

Работа с CMU Sphinx

nsh — Mon, 23 Jan 2017 22:20:15 +0000

nsh:

Цитата

Как можно решить эту ситуацию?

Файлы выложить надо сначала.

Цитата

И ещё никак не получается сохранить дебаг-вывод утилиты bw в файл, может знаете как сделать?

http://stackoverflow.com/questions/7526971...tderr-to-a-file

Работа с CMU Sphinx

VMerk — Mon, 23 Jan 2017 21:06:04 +0000

VMerk:

Цитата

В документации указано что ключевое слово должно быть минимум 4 слога. Ещё написано, как настраивать пороги:
http://cmusphinx.sourceforge.net/wiki/tuto...m#keyword_lists

Спасибо, упустил этот момент) Вместо коротких ключевых слов сделал ключевые фразы, всё заработало.

Цитата

Языковая модель при поиске ключевых слов не используется.

Да, это знаю. Я просто пробовал тремя способами - с помощью языковой модели, грамматики и поиска ключевых слов, по отдельности.

Есть еще одна проблема. Буду очень благодарен, если подскажете.
В общем сделал поиск по ключевым фразам, вот 3 для примера:

Цитата

1. "включи свет"
2. "выключи свет"
3. "сделай фото"

С 1 и 3 проблем нет, а вот вторая ключевая фраза "выключи свет" очень часто определяется как "включи". Настройка порогов не повлияла на ситуацию. Решил сделать адаптацию звуковой модели по инструкции. http://cmusphinx.sourceforge.net/wiki/tutorialadapt

Записал 5 звуковых файлов:
"включи свет"
"выключи свет"
"сделай фото"
"включи"
"выключи"

Файл транскрипции arctic5.transcription

Цитата

~~включи свет~~ (arctic_0001)
~~выключи свет~~ (arctic_0002)
~~сделай фото~~ (arctic_0003)
~~включи~~ (arctic_0004)
~~выключи~~ (arctic_0005)

Файл словаря arctic5.dic

Цитата

включи v k lj u0 ch i1
выключи v y1 k lj u0 ch i0
свет s vj e1 t
сделай s dj e1 l a0 j
фото f o1 t o0

При выполнении bw

Цитата

./bw \
-hmmdir ru-ru \
-moddeffn ru-ru/mdef.txt \
-ts2cbfn .cont. \
-feat 1s_c_d_dd \
-cmn current \
-agc none \
-varnorm no \
-cmninit 40,3,-1 \
-dictfn arctic5.dic \
-ctlfn arctic5.fileids \
-lsnfn arctic5.transcription \
-accumdir .

упорно игнорируются записи в которых присутствует слово "выключи"

Цитата

ERROR: "backward.c", line 421: Failed to align audio to trancript: final state of the search is not reached
ERROR: "baum_welch.c", line 324: arctic_0002 ignored

ERROR: "backward.c", line 421: Failed to align audio to trancript: final state of the search is not reached
ERROR: "baum_welch.c", line 324: arctic_0005 ignored

Как можно решить эту ситуацию?

И ещё никак не получается сохранить дебаг-вывод утилиты bw в файл, может знаете как сделать?

Работа с CMU Sphinx

nsh — Wed, 18 Jan 2017 22:10:18 +0000

nsh:

Цитата

В чём может быть дело?

В документации указано что ключевое слово должно быть минимум 4 слога. Ещё написано, как настраивать пороги:

http://cmusphinx.sourceforge.net/wiki/tuto...m#keyword_lists

Цитата

Файл языковой модели:

Языковая модель при поиске ключевых слов не используется.

Работа с CMU Sphinx

VMerk — Wed, 18 Jan 2017 21:34:40 +0000

VMerk: Здравствуйте.
Прочитал ветку, но не нашел решения моей проблемы.
Использую pocketsphinx для обработки непрерывного потока речи. Нужно распознавать несколько ключевых слов.
Всё хорошо, но есть проблема.
Для примера использую несколько слов: пицца, тест, чек.
Всё распознаёт отлично, но проблема в том, что он распознаёт слово, если совпадает хотя бы 2 буквы.
Например если сказать
"ца", "ица", "пи" - то слово распознаётся как пицца
"че", или "ек" - распознает чек
Если в произносимой фразе есть это сочетание букв, то произойдет тоже самое. Например:
"цапля" - распознает как пицца
"громче" - распознает как чек

Файл языковой модели:

Скрытый текст

\data\
ngram 1=5
ngram 2=3
ngram 3=0

\1-grams:
-1.8467 0.0000
-99.0000 -0.5796
-5.8947 пицца -0.1995
-5.2345 тест -0.2794
-4.8681 чек -0.3578

\2-grams:
-0.7674 пицца 0.0000
-0.7486 тест 0.0000
-0.8450 чек 0.0000

\3-grams:

\end\

Файл словаря:

Скрытый текст

пицца pj i0 c c a0
чек ch e0 k
тест tj e0 s t

Причём проблема не зависит от того, произвожу я поиск через keyphrase, или использую jsgf грамматику.
В чём может быть дело?

Работа с CMU Sphinx

mikemvpi — Tue, 01 Nov 2016 13:12:32 +0000

mikemvpi: Спасибо за ответ и за ссылки в тикете. Теперь понятно, как гуглить по проблеме дальше.

Работа с CMU Sphinx

nsh — Mon, 31 Oct 2016 16:02:29 +0000

nsh:

Цитата mikemvpi @ 31.10.16, 10:25

Пожалуйста подскажите, как решают такие проблемы?

Недавно отвечал: https://sourceforge.net/p/cmusphinx/discuss...hread/167036a0/

Цитата

На сколько я понимаю, такие паразитные звуки должны, во-первых, портить языковую модель, а во-вторых — все равно скорее всего учесть все возможные звуки, издаваемые в таких случаях людьми, не реально.

Достаточно одну фонему GARBAGE натренировать для всех таких звуков.

Работа с CMU Sphinx

mikemvpi — Mon, 31 Oct 2016 10:25:43 +0000

mikemvpi: Коллеги, добрый день.

Столкнулся с тем, что не очень понимаю, что делать вот в такой ситуации. Мы занимаемся распознаванием "живой" разговорной речи, в которой встречаются всякие "паразитные" звуки, издаваемые говорящими, типа "ээээ", "ммм", "аа".

Понятно, что можно для этих "слов" сделать транскрипцию и работать с ними как с "настоящими" словами, но не ясно, есть ли в этом смысл?
На сколько я понимаю, такие паразитные звуки должны, во-первых, портить языковую модель, а во-вторых — все равно скорее всего учесть все возможные звуки, издаваемые в таких случаях людьми, не реально.
С другой стороны, можно все такие ситуации разметить как шум, но тогда не ясно, что будет делать модель в процессе распознавания, когда встретит звук, состоящий в общем-то из нормальных фонем.

Сходная проблема с тем, что довольно часто в разговорной речи люди запинаются, или их перебивают, и получаются обрывки слов.
Опять же понятно, что можно все имеющиеся в обучающих данных обрывки транскрибировать и работать с ними, как с обычными словами. Но проблема строго такая же — во-первых должна портиться языковая модель, а во-вторых — не загонять же теперь в словарь все возможные варианты префиксов для всех возможных слов.

Пожалуйста подскажите, как решают такие проблемы?

Работа с CMU Sphinx

therunman — Tue, 06 Sep 2016 14:11:59 +0000

therunman:

Цитата nsh @ 06.09.16, 13:09

JSGF грамматика

Спасибо, буду разбираться дальше

Работа с CMU Sphinx

nsh — Tue, 06 Sep 2016 13:09:21 +0000

nsh:

Цитата therunman @ 06.09.16, 12:36

А что есть спецификация?

JSGF грамматика

Работа с CMU Sphinx

therunman — Tue, 06 Sep 2016 12:36:26 +0000

therunman:

Цитата nsh @ 06.09.16, 12:15

Распознаются предложения в соответствии со спецификацией.

А что есть спецификация?

Работа с CMU Sphinx

nsh — Tue, 06 Sep 2016 12:15:57 +0000

nsh:

Цитата therunman @ 06.09.16, 00:52

Т.е. это будет проще, чем в C++? Возможно ли потом использовать этот код для прошивки или создания приложения, просто я не знаю его?

Можно и в C++, если хочется

Цитата

Про jsgf мне непонятно, он задает определенную последовательность какая должна прозвучать или как, потому что когда я прописываю этот файл, то все работает, как бы, но почему-то даже если произносишь не все возможное предложение, а например, "старт тест номер один", если произнести просто тест или просто один, то выводится "старт тест один" или вообще другое слово в конце. Просто везде где ни читаю, пишут что это именно последовательность ожидаемых предложений или команд.

Распознаются предложения в соответствии со спецификацией. Если нужно, чтобы распознавались более короткие предложения, нужно включить их в спецификацию.

Цитата

И еще вопрос, про синтез речи, это в рамках данной наработки или уже отдельный вопрос? Хотел использовать RHvoice, но голоса, даже новые слишком уж роботоподобные, хотя это бесплатно и если выбора не останется придется использовать их наверное.

Это вопросы к RHVoice. Есть другие синтезаторы - openmary, festival

Работа с CMU Sphinx

therunman — Tue, 06 Sep 2016 00:52:16 +0000

therunman:

Цитата nsh @ 04.09.16, 18:21

можно написать простую программу на Python.

Т.е. это будет проще, чем в C++? Возможно ли потом использовать этот код для прошивки или создания приложения, просто я не знаю его?

Про jsgf мне непонятно, он задает определенную последовательность какая должна прозвучать или как, потому что когда я прописываю этот файл, то все работает, как бы, но почему-то даже если произносишь не все возможное предложение, а например, "старт тест номер один", если произнести просто тест или просто один, то выводится "старт тест один" или вообще другое слово в конце. Просто везде где ни читаю, пишут что это именно последовательность ожидаемых предложений или команд.

И еще вопрос, про синтез речи, это в рамках данной наработки или уже отдельный вопрос? Хотел использовать RHvoice, но голоса, даже новые слишком уж роботоподобные, хотя это бесплатно и если выбора не останется придется использовать их наверное.

Работа с CMU Sphinx

nsh — Sun, 04 Sep 2016 18:21:58 +0000

nsh:

Цитата therunman

Здесь я не совсем понял для чего она

Не всегда нужна статистическая модель, иногда проще описать возможные последовательности слов простой грамматикой.

Цитата therunman @ 04.09.16, 06:51

что используя аргументы для pocketsphinx_continuous.exe это не посмотреть.

Это так. Если нужно более сложное поведение, можно написать простую программу на Python.

Работа с CMU Sphinx

therunman — Sun, 04 Sep 2016 06:51:42 +0000

therunman: Приветствую!

Если не затруднит кого-нибудь направить меня на путь истинный и ответить на пару вопросов.

Просто столько разных версий было и куча тем, что не разберешься, что уже есть, а чего нет и не понятно правильно ли я делаю.

Так как с недавних пор меня заинтересовала данная тема, я почитал информацию об этом, темы и вопросы, но не понял одного момента:

1) Я скачал Pocketsphinx и все необходимое к нему для Windows, построил решения pocketsphinx и sphinxbase в Visual Studio 2012 (2010 как оказалось не подходит), скачал акустическую модель, словарь и языковую модель для русского языка. Запустил через командную строку pocketsphinx_continuous.exe
с аргументам

pocketsphinx_continuous.exe -hmm c:\zero_ru.cd_cont_4000 -dict c:\ru.dic -lm c:\ru.lm -inmic yes

Здесь все работает, оно и понятно. Тут другой вопрос, я пока решил просто с аргументами разобраться и посмотреть в общем как это работает, почитал про ключевую фразу\слово, что можно через -keyphrase задать слово\фразу или через файл, я выбрал через файл, т.к. через командную строку в винде русское слово не воспринимается. Файл я создал как было написано keyphrase.list и задал через параметр -kws. Файл создал в кодировке UTF-8 без BOM. И как я понял языковая модель при использовании kws не нужна. В общем запустил в таком виде:

pocketsphinx_continuous.exe -hmm z:\zero_ru.cd_cont_4000 -dict z:\ru_key.dic -inmic yes -kws keyphrase.list

Опять же все работает, определяется только ключевое слово остальные не воспринимаются.

Но есть еще тип файла .jsgf который тоже можно создать, я так понял это наподобие языковой модели только упрощенная. Здесь я не совсем понял для чего она, файл делал по примеру из этой же темы второе сообщение, сначала я думал, что воспринимается только определенная последовательность, т.е. сказал "один два три" он так и вывел, но если просто говоришь "три" или "два" то выводит опять тоже самое, т.е. как будто до этого один и два тоже звучали.

И еще я правильно понял, что ключевое слово с этим файлом не работает? Потому как я пытался запустить их вместе, а ключевое слово никак не воспринималось:

pocketsphinx_continuous.exe -hmm z:\zero_ru.cd_cont_4000 -dict z:\ru_key.dic -jsgf z:\ru_key.jsgf -inmic yes -kws keyphrase.list

Мне интересная активация по ключевому слову, с последующем вводом команды и я так почитал и понял, что используя аргументы для pocketsphinx_continuous.exe это не посмотреть. Скажите прав ли я в своим рассуждениях и выводах, чтобы не тратить время зря. Спасибо.

Работа с CMU Sphinx

nsh — Sun, 24 Jul 2016 21:03:03 +0000

nsh:

Цитата

Вычистил звук отдельно ladspa

Различные алгоритмы обработки звука обычно повреждают сигнал и ухудшают качество распознавания

Цитата

Хотя там вообще чистая линия синусоиды. Подскажите пожалуйста почему так?

В pocketsphinx VAD простой - он отслеживает уровень шума и уровень сигнала и просто смотрит, чтобы сигнал был больше шума. Синусоиду тоже может принять за сигнал.

Если хочется более сложный VAD лучше попробовать https://github.com/wiseman/py-webrtcvad.

Работа с CMU Sphinx

aileron — Sat, 23 Jul 2016 02:09:43 +0000

aileron: Доброе утро всем!

Никак не могу с этим VAD совладать...

Вычистил звук отдельно ladspa, и заметил удивительную вещь: первые фраймы, что я кормлю Sphinx всегда функция ps_get_in_speech выдает, что там речь. Хотя там вообще чистая линия синусоиды. Подскажите пожалуйста почему так?

Работа с CMU Sphinx

aileron — Wed, 13 Jul 2016 20:43:50 +0000

aileron:

Цитата nsh @ 13.07.16, 14:21

-vad_threshold 3.0

Спасибо большое, всё сработало! Немного правда повысил до 3.9. Там еще три параметра каких-то в группе VAD.

Работа с CMU Sphinx

nsh — Wed, 13 Jul 2016 14:21:49 +0000

nsh:

Цитата aileron @ 13.07.16, 13:29

Скажите пожалуйста, как можно установить "уровень чувствительность" (назову это так) Sphinx? Команда ps_get_in_speech реагирует на каждый небольшой шум в канале, и начинает считать, что я начал произносить речь.

-vad_threshold 3.0

Работа с CMU Sphinx

aileron — Wed, 13 Jul 2016 13:29:06 +0000

aileron: Добрый день коллеги!

Скажите пожалуйста, как можно установить "уровень чувствительность" (назову это так) Sphinx? Команда ps_get_in_speech реагирует на каждый небольшой шум в канале, и начинает считать, что я начал произносить речь.

Работа с CMU Sphinx

nsh — Thu, 09 Jun 2016 10:09:46 +0000

nsh:

Цитата

Какие рекомендации по размеру словаря для создания модели? Я понимаю, что чем больше - тем лучше, но всё же..

Этот вопрос лучше задать здесь:

https://github.com/cmusphinx/g2p-seq2seq/issues/new

там разработчик Вам на него ответит.

Работа с CMU Sphinx

OKyHb — Thu, 09 Jun 2016 09:30:51 +0000

OKyHb: Подскажите ещё по grapheme-to-phoneme conversion с помощью g2p-seq2seq.
Какие рекомендации по размеру словаря для создания модели? Я понимаю, что чем больше - тем лучше, но всё же..

Работа с CMU Sphinx

nsh — Fri, 03 Jun 2016 10:45:47 +0000

nsh: Для kndiscount limit-vocab нужно применять в два шага, сначала вычислить параметры сглаживания:

ngram-count -text text.txt -kn text.kn

а затем уже тренировать модель

ngram-count -kn text.kn -text text.txt -lm text.lm -vocab text.vocab -limit-vocab

Описано в пункте C3 в FAQ

Работа с CMU Sphinx

OKyHb — Fri, 03 Jun 2016 06:50:09 +0000

OKyHb: Точно, "ngram -lm your.lm -vocab your.vocab -limit-vocab -write-lm small.lm" - всё получилось. Спасибо :)

Пробовал ngram-count, но, похоже, нельзя использовать такое сочетание опций?

09:38:36 ~/wiki> ngram-count -vocab train.vocab -limit-vocab -kndiscount -interpolate -text train.corpus -lm small.lm

one of modified KneserNey discounts is negative

error in discount estimator for order 1

Всё из-за моего непонимания используемых алгоритмов discounting...

Работа с CMU Sphinx

nsh — Thu, 02 Jun 2016 16:56:32 +0000

nsh: Составить список 500к самых частых слов с помощью скрипта python, затем отфильтровать модель с помощью ключей ngram

ngram -lm your.lm -vocab your.vocab -limit-vocab -write-lm small.lm

или при тренировке

ngram-count -vocab your.vocab -limit-vocab ...

Работа с CMU Sphinx

OKyHb — Thu, 02 Jun 2016 15:36:19 +0000

OKyHb: Уважаемые zamir, nsh, подскажите, пожалуйста, ещё по построению лингвистической модели. Несмотря на чёткий туториал, у меня всё равно возникли сложности :(

Беру дамп украинской википедии, с помощью WikiExtractor.py извлекаю из него текст. Чищу его, нормализую как могу - в результате получаю ~2GB txt-файл. Скармливаю полученный текст SRILM'у (ngram-count), и получаю lm-файл на ~1.8GB с такими данными:

ngram 1=2307890

ngram 2=31873691

ngram 3=10729675

2.3 миллиона 1-gram - это явно слишком (или плохо нормализовал/чистил текст, или особенности википедии). Тем более, словарь же должен содержать транскрипции всех 1-gram?
Естественно, хочется уменьшить размер полученной лингвистической модели, удалить редко использумые слова. Но опция "-prune" влияет только на к-во 2-gram и 3-gram.

Как правильно отфильтровать эти редко используемые слова?

Работа с CMU Sphinx

zamir — Thu, 12 May 2016 13:07:05 +0000

zamir: Добрый день.

И да и нет.
Как правило в каждом языке фонемы (и трифоны) различны, поэтому у меня большие сомнения, что текущую акустическую модель можно будет использовать для распознавания Украинского языка.

Теоретически можно составить акустическую модель которая будет описывать сразу два языка. На сколько это будет хорошо работать, судить не могу.

Работа с CMU Sphinx

OKyHb — Thu, 12 May 2016 09:40:38 +0000

OKyHb: Подскажите ещё раз по украинскому языку.

Точнее, если необходимо распознавать двуязычную речь (русский и украинский) - то необходимо:
1. создать фонетический словарь (.dic), в котором были б сразу 2 языка
2. языковая модель (.lm) - опять же, скормить много двуязычного текста cmuclmtk'у
3. акустическая модель - можно взять zero_ru.cd_cont_4000, и попробовать её адаптиваровать

Я хотя бы правильно понял необходимые шаги?

Работа с CMU Sphinx

mikemvpi — Tue, 05 Apr 2016 18:35:24 +0000

mikemvpi:

Цитата nsh @ 05.04.16, 11:35

Нужно -vocab_type 0, слова в модели быть не должно.

Спасибо за ответ! То есть модели с отсутствующими в словаре словами не поддерживаются сфинксом? А как же Word.UNKNOWN?

Цитата nsh @ 05.04.16, 11:35

Не только, если mixture_weights не создаётся, значит, была ошибка при его создании. Она должна быть в логах.

И действительно, ошибка была в логах, но не в файлах с логами, а в консоли, где постоянно забивалась сообщениями об отсутствии mixture_weights, из-за чего я ее и не видел. Спасибо за помощь!

Работа с CMU Sphinx

nsh — Tue, 05 Apr 2016 11:35:59 +0000

nsh:

Цитата

Все, что я нахожу в гугле по поводу данной ошибки сводится к советам удалить из модели, что кажется мне странным. В коде сфинкса вроде бы упоминания встречаются (Word.UNKNOWN). Вероятно, я что-то делаю не так? Модель я строю с параметром "-vocab_type 1"

Нужно -vocab_type 0, слова в модели быть не должно.

Цитата

sphinxtrain я использую из сборки под винду, уже готовенький, вроде бы доустанавливать его не надо. Из ошибок в логах - только вот это:

Не только, если mixture_weights не создаётся, значит, была ошибка при его создании. Она должна быть в логах.

Работа с CMU Sphinx

mikemvpi — Tue, 05 Apr 2016 10:24:00 +0000

mikemvpi: Коллеги, у меня накопилась еще парочка вопросов:

1. При загрузке сочиненной мною языковой модели получаю сообщение, что слова в словаре нет:

Цитата

sphinx4.config.edu.cmu.sphinx.linguist.dictionary.TextDictionary.dictionary INFO: The dictionary is missing a phonetic transcription for the word ''

Как мне кажется, это вообще ожидаемая ситуация, поскольку - это плейсхолдер для неизвестных слов, так ведь?

Все, что я нахожу в гугле по поводу данной ошибки сводится к советам удалить из модели, что кажется мне странным. В коде сфинкса вроде бы упоминания встречаются (Word.UNKNOWN). Вероятно, я что-то делаю не так? Модель я строю с параметром "-vocab_type 1"

2. При попытке построения акустической модели, процесс застревает на сообщениях

Цитата

Waiting for c:/Dev/SpeechRecognizerJava/data/acoustic_model/model_parameters/model.ci_cont/mixture_weights

Результаты поиска в гугле сводятся к тому, что нужно бы правильно собрать sphinxtrain или починить предыдущие ошибки.
sphinxtrain я использую из сборки под винду, уже готовенький, вроде бы доустанавливать его не надо. Из ошибок в логах - только вот это:

Цитата

Phase 3: Forward-Backward
Baum welch starting for 1 Gaussian(s), iteration: 1 (1 of 1)
bw Log File
ERROR: This step had 56 ERROR messages and 0 WARNING messages. Please check the log file for details.
completed
Current Overall Likelihood Per Frame = -150.230580053717
Baum welch starting for 1 Gaussian(s), iteration: 2 (1 of 1)

но все ошибки там такого характера:

Цитата

ERROR: "backward.c", line 421: Failed to align audio to trancript: final state of the search is not reached
ERROR: "baum_welch.c", line 324: model_train_speaker_0038/wav_00048 ignored

Слово "ignored" как будто намекает на то, что проблема не фатальна. Но других идей у меня нет, поэтому пока постепенно правлю эти ошибки.

Как всегда, буду признателен за помощь!

Работа с CMU Sphinx

nsh — Fri, 11 Mar 2016 08:26:42 +0000

nsh:

Цитата

Спасибо за уточнение! Попробую для начала немного изучить исходники текущей модели, их же можно найти?

Большая часть доступна на Voxforge:

http://www.repository.voxforge1.org/downlo...in/16kHz_16bit/

Цитата

Еще вопрос — надо ли отмечать шумы при транскрипции? Я так понимаю, что для них фонемы в принципе можно описать, но в чем смысл, если все равно в filler dictionary они транслейтятся в sil?

Надо, в будущем пригодятся

Цитата

И еще вопрос по шумам. В текущей модели русской речи сказано "all noise marked as SIL" и рекомендовано использование опции "-remove_noise no". В high-level API я не нашел соответствия. Нужно искать глубже?

remove_noise убирает стационарный белый шум, нестационарные шумы нужно отмечать.

Цитата

Я просто не соображу, как эту опцию скормить в Sphinx4.

Никак не надо, автоматически используется настройка из feat.params.

Работа с CMU Sphinx

mikemvpi — Thu, 10 Mar 2016 06:58:20 +0000

mikemvpi:

Цитата zamir @ 09.03.16, 14:30

уже не помню точно, но возможно с этой опцией создавались фитчи для тренировки, поэтому и распознавать надо с теми же опциями

Я просто не соображу, как эту опцию скормить в Sphinx4.

Работа с CMU Sphinx

zamir — Wed, 09 Mar 2016 14:30:00 +0000

zamir:

Цитата

В текущей модели русской речи сказано "all noise marked as SIL"

на тот момент я не добрался до разметки шумов.
для разных посторонних шумов, которые заполняют тишину и имеют ощутимую амплитуду лучше создавать отдельные модели

Цитата

и рекомендовано использование опции "-remove_noise no"

Работа с CMU Sphinx

mikemvpi — Wed, 09 Mar 2016 14:02:43 +0000

mikemvpi:

Цитата nsh @ 04.03.16, 13:54

Это ожидаемо, модели ptm и semi Вам не нужны, они для мобильных приложений

Просто в документации пишут следующее:

Цитата

In modern packages of pocketsphinx and sphinx4 PTM models are used by default.

Возможно стоит обновить документацию?

Работа с CMU Sphinx

mikemvpi — Sat, 05 Mar 2016 19:00:20 +0000

mikemvpi: Спасибо за рекомендации и оценку времени!

Цитата nsh @ 05.03.16, 18:00

При транскрипции нужно очень точно писать, что было произнесено, включая междометия и подобные слова.

Спасибо за уточнение! Попробую для начала немного изучить исходники текущей модели, их же можно найти?

Еще вопрос — надо ли отмечать шумы при транскрипции? Я так понимаю, что для них фонемы в принципе можно описать, но в чем смысл, если все равно в filler dictionary они транслейтятся в sil?

И еще вопрос по шумам. В текущей модели русской речи сказано "all noise marked as SIL" и рекомендовано использование опции "-remove_noise no". В high-level API я не нашел соответствия. Нужно искать глубже?

Работа с CMU Sphinx

nsh — Sat, 05 Mar 2016 18:00:17 +0000

nsh:

Цитата

Спасибо за пояснение, и оценку объема. Я как раз размышлаю, что пробовать в первую очередь — модифицировать языковую модель, или адаптировать акустическую?
Для адаптации акустической модели, как я понимаю, понадобится значительно меньше транскрибированных записей, но зато их нужно будет нарезать на фразы. Я пока склоняюсь начать с языковой модели.

Для адаптации акустической модели нужны записи сотен пользователей. Лучше начать с адаптации языковой модели.

Цитата

Но также понятно, что если потратив 40 человеко/часов на транскрипцию 20и часов речи и построение модели, я могу вместо своих прискорбных условных 20% получить заметный прирост качества, то стыдно это не попробовать. Быть может мне вообще хватит 60и процентной точности. Если же я откажусь от попыток уже на самом старте — то я ничего не узнаю, ничему не научусь, и даже не получу уверенности в том, что услуги коммерческих решений стоят своих денег.

Скорость ручной транскрипции гораздо медленнее. Я обычно трачу 7 часов на транскрипцию одного часа. При транскрипции нужно очень точно писать, что было произнесено, включая междометия и подобные слова.