Глобальная оптимизация.

Меня интересует вопрос глобальный оптимизации в плане прикладного обучения. Какие есть к этому подходы?



О проблематики. Если у нас мало данных. И мы обучим нашу систему, то она не сможет хорошо работать с известными образцами, и плохо будет работать с неизвестными. Проблема хорошо известна на примере МНК. Если заставить её 100% соответствовать исходным данным, то мы получим зелёную кривую. Она хорошо проходит через фиолетовые точки с известными данными, но имеет очень большие выбросы по серёдке. Как мне видится лучше с этим справляется жёлтая линия сделанная на основе некоторой эвристики. Как известно глобальная оптимизация и есть такая эвристика.

Идея взять большие данные не приветствуется. Современные тенденции глубинного обучения направлены на сжатие. И у его принципа компонентного анализа тоже. Поэтому встаёт вопрос о выборе эвристики для этих методов которые будут сродни глобальной оптимизации для оптимизации полинома.

Сообщение отредактировано: Pavia - 22.05.17, 14:27

Прикреплённый файл____________________.png (28,61 Кбайт, скачиваний: 510)

В каких случаях преподолгают использовать
1) регуляризацию
2) уменьшение размерности задачи
3) увеличение количества данных

Цитата Pavia @ 22.05.17, 14:00

Идея взять большие данные не приветствуется. Современные тенденции глубинного обучения направлены на сжатие.

Откуда такая информация?

Цитата negram @ 26.06.17, 09:56

Цитата Pavia @ 22.05.17, 14:00

Идея взять большие данные не приветствуется. Современные тенденции глубинного обучения направлены на сжатие.

Откуда такая информация?

хорошоий вопрос? И на сжатие чего?

ChatGPT не понял вашего вопроса.
Реньше были вопросы к "армянскому радио" теперь вопросы к ChatGPT