Наши проекты:
Журнал · Discuz!ML · Wiki · DRKB · Помощь проекту |
||
ПРАВИЛА | FAQ | Помощь | Поиск | Участники | Календарь | Избранное | RSS |
[3.138.85.72] |
|
Сообщ.
#1
,
|
|
|
Доброго времени суток. Хочу использовать GPU для обучения сети LSTM, сейчас имеется полностью реализованный мной с нуля цикл обучения сети LSTM признаками MFCC+D+DD из WAV, но проблема в скорости обучения. Имеется огромное желание по сформированным мной признакам, обучить LSTM на GPU с помощью сторонней библиотеки. В нете пишут про Kaldi, но порог вхождения в эту библиотеку для меня высок, может кто нибудь поделиться опытом ???
https://github.com/dophist/kaldi-lstm |
Сообщ.
#2
,
|
|
|
Цитата Abraziv @ В нете пишут про Kaldi, но порог вхождения в эту библиотеку для меня высок, может кто нибудь поделиться опытом ??? Тут не сообщество анонимных алкоголиков, лучше задавать технические вопросы, если они есть. Это левый экспериментальный код, lstm давно есть уже в самом kaldi, например здесь https://github.com/kaldi-asr/kaldi/blob/mas...tdnn_lstm_1c.sh |
Сообщ.
#3
,
|
|
|
Так вопрос собственно очень прост, как использовать эти .sh Я работаю под Windows. Курить всё библиотеку несколько месяцев, потом упереться во что нибудь и всё.
|
Сообщ.
#4
,
|
|
|
Под Windows Kaldi можно использовать только для декодирования. Для тренировки нужно осваивать Линукс. Его можно установить в виртуальной машине, например, в Virtualbox. Для GPU рекомендуется установить на железе.
|
Сообщ.
#5
,
|
|
|
Технический вопрос: нужна быстрая библиотека для обучения LSTM из под C++, с возможностью переключения GPU на CPU если видеокарты с поддержкой CUDA нет. Если нет возможности переключения, то по крайней мере необходима возможность сохранения весов в одном из принятых видов.
Добавлено Походу адекватным решением будет, курение cuDNN. |
Сообщ.
#6
,
|
|
|
Цитата Abraziv @ быстрая библиотека для обучения LSTM из под C++ CNTK Цитата Abraziv @ переключения GPU на CPU если видеокарты с поддержкой CUDA нет Это руками придется детектить. К тому же, обученная на CPU сеть не будет работать на GPU и наоборот. Цитата Abraziv @ адекватным решением будет, курение cuDNN Плохая идея. |
Сообщ.
#7
,
|
|
|
Цитата XOOIOOX @ Это руками придется детектить. К тому же, обученная на CPU сеть не будет работать на GPU и наоборот. Почему??? Какая разница??? Float и Double это стандартизированные вещи. nsh вопрос к тебе как Гуру тоже. Цитата XOOIOOX @ Плохая идея. Ну согласен, я имел ввиду Caffe2 какую нибудь) |
Сообщ.
#8
,
|
|
|
Цитата Abraziv @ Float и Double Дело не в формате чисел с плавающей, а в структуре самой сети. По крайней мере, в CNTK это разные сети. Наверное сделано для оптимизации. Цитата Abraziv @ Пробовал. Какая-то "потная" и не очевидная история. В случае Ц++, конечно.Caffe2 Еще есть TensorFlow, но с LSTM оно медленнее, чем CNTK. |
Сообщ.
#9
,
|
|
|
Спасибо за ответы.
Цитата XOOIOOX @ Дело не в формате чисел с плавающей, а в структуре самой сети. По крайней мере, в CNTK это разные сети. Наверное сделано для оптимизации. Это точно? Вы не ошиблись не где? |
Сообщ.
#10
,
|
|
|
LSTM вообще медленно, сейчас все, кто быстро хочет, использует transformer с многоголовым вниманием.
|
Сообщ.
#11
,
|
|
|
Цитата nsh @ Вообще я для своей задачи пытался применить "чистый ЦОС", как бы не экспериментировал, не получилось. НН в этом плане чудесном образом аппроксимируют искомую мной функцию ))) |
Сообщ.
#12
,
|
|
|
Цитата Abraziv @ НН в этом плане чудесном образом transformer это тоже нейросеть, но без циклов. |
Сообщ.
#13
,
|
|
|
Цитата Abraziv @ Это точно? Был не прав. В последних версиях (2.6) сделали полную взаимозаменяемость. В версии 2.1 все было раздельно и несовместимо друг с другом. |
Сообщ.
#14
,
|
|
|
Цитата XOOIOOX @ Спасибо за ответ. Интересно , а в 2.5 тоже есть взаимозаменяемость...хм. |