Форум на Исходниках.RU https://forum.sources.ru Форум на Исходниках.RU Форум на Исходниках.RU https://forum.sources.ru/index.php?showtopic=420649&view=findpost&p=3895305 Wed, 27 Sep 2023 07:37:01 +0000 стохастический градиентный спуск https://forum.sources.ru/index.php?showtopic=420649&view=findpost&p=3895305 https://neerc.ifmo.ru/wiki/index.php?title=...%83%D1%81%D0%BA]]> Betelgeuse Нейросети и Искусственный интеллект (Artificial Intelligence) https://forum.sources.ru/index.php?showtopic=420649&view=findpost&p=3842530 Tue, 01 Dec 2020 18:43:56 +0000 стохастический градиентный спуск https://forum.sources.ru/index.php?showtopic=420649&view=findpost&p=3842530
Добавлено
Обратная сторона медали: поскольку веса пересчитываются на основании входных данных, то нам приходится хранить весь пакет в памяти. Все 200 фоток. А при стахостическом спуске можно по одной фотке из файла подгружать.]]> доктор Рагин Нейросети и Искусственный интеллект (Artificial Intelligence) https://forum.sources.ru/index.php?showtopic=420649&view=findpost&p=3842497 Mon, 30 Nov 2020 08:59:21 +0000 стохастический градиентный спуск https://forum.sources.ru/index.php?showtopic=420649&view=findpost&p=3842497 Цитата доктор Рагин @

То есть мы считаем суммарный градиент как сумма градиентов для всех значений в батче? И потом по нему определяем смещения для коэффициентов? Странно, казалось бы наоборот медленнее должно быть обучение]]> protoder Нейросети и Искусственный интеллект (Artificial Intelligence) https://forum.sources.ru/index.php?showtopic=420649&view=findpost&p=3842478 Sun, 29 Nov 2020 02:36:38 +0000 стохастический градиентный спуск https://forum.sources.ru/index.php?showtopic=420649&view=findpost&p=3842478
Добавлено
Ещё чем больше размер пакета, тем помехоустойчивость выше и можно с большим шагом
Альфа идти.

Добавлено
Если пакет - 200, то с одними весами алгоритм работает весь пакет.]]> доктор Рагин Нейросети и Искусственный интеллект (Artificial Intelligence) https://forum.sources.ru/index.php?showtopic=420649&view=findpost&p=3841866 Sun, 08 Nov 2020 15:16:36 +0000 стохастический градиентный спуск https://forum.sources.ru/index.php?showtopic=420649&view=findpost&p=3841866 А но действительно того стоит? Ведь сети на - как теперь оказалось - стохастическом спуске, когда коэффициенты меняют после каждого шага, вроде работают очень не плохо. При том, что эта схема сильно проще и гораздо быстродейственнее.]]> protoder Нейросети и Искусственный интеллект (Artificial Intelligence) https://forum.sources.ru/index.php?showtopic=420649&view=findpost&p=3841853 Sun, 08 Nov 2020 08:53:02 +0000 стохастический градиентный спуск https://forum.sources.ru/index.php?showtopic=420649&view=findpost&p=3841853 Цитата protoder @
Черт с ними, с терминами. НО - как мы можем выполнить обратное распределение по всем 60000 примерам?

От 60000 мы считаем энтропию одно число определяющее меру беспорядка. Вернее у нас по каждому выходу свое число.

Цитата protoder @
Черт с ними, с терминами. НО - как мы можем выполнить обратное распределение по всем 60000 примерам? Мы можем определить частные производные - что по значению входов, что по коэффициентам W - только для конкретной входной комбинации. Для одного примера. Как можно ее определить по сразу 50000 входов?

Есть такое вначале берут 100 примеров по ним рассчитывают ошибку потом считают энтропию типа как средняя ошибка и используют в качестве вектора ошибки. Потом снова берут эти 100 и прогоняют для обучения весов.
А что бы не гонять 2 раза каждый раз придумали с накоплением по времени считать.
Adaptive subgradient methods
https://habr.com/ru/post/318970/
https://arxiv.org/pdf/1212.5701.pdf]]> Pavia Нейросети и Искусственный интеллект (Artificial Intelligence) https://forum.sources.ru/index.php?showtopic=420649&view=findpost&p=3841843 Sat, 07 Nov 2020 20:05:11 +0000 стохастический градиентный спуск https://forum.sources.ru/index.php?showtopic=420649&view=findpost&p=3841843 До какого-то момента идея стохастического градиентного спуска мне казалась ясной. Но тут наткнулся на одну статью, и вся ясность пропала. И чем дальше копаю, тем все хуже. ТО есть по началу я просто решил, что в статье ошибка. Но ет - многие авторы с ней солидарны.
Вот смотрите. Пусть у меня нейросеть для распознавания цифр. Есть MNIST, 60000 примеров картинок 28х28, то есть 784 входа. Я делаю алгоритм обратного распределения методом градиентного спуска. Как я привык? Я беру один пример, прогоняю ее через сетку, и сразу же корректирую коэффициенты методом обратного распространения. ОК. Я полагал, что это и есть нормальный градиентный спуск. А схоластический - это когда я в каждом шаге беру не все 784 входа, а только его часть.
Так вот. Я натолкнулся на другой алгоритм. Что вроде бы мы прогоняем все 60000 примеров, определяем вероятность ошибки (Cross entropy loss, я так понимаю), и только тут корректируем веса. А стохастический градиентный спуск - это когда мы берем один пример ( то есть то, что раньше я считал обычным градиентным спуском). Ну или не один пример, а несколько.
Черт с ними, с терминами. НО - как мы можем выполнить обратное распределение по всем 60000 примерам? Мы можем определить частные производные - что по значению входов, что по коэффициентам W - только для конкретной входной комбинации. Для одного примера. Как можно ее определить по сразу 50000 входов?
Что-то я где-то не так понял. Буду очень признателен, если прольете свет.]]> protoder Нейросети и Искусственный интеллект (Artificial Intelligence)