[Метод наименьших квадратов]Приглашаю подумать

ето ты мне чтоли написал?? ;D

я знаю ответ не более, чем твои профессора. на самом деле вторые степени минимизировать действительно легче, чем последующие. да и вобще для большинства применений достаточно второй степени. напр фурье - ето тот же мнк, там даже теорема доказана о стремлении ряда фурье к функции. я думаю, для более высокой степени доказать оную теорему было бы проблематично, не говоря уже о формуле для самих коэффициентов.

вобще в науке есть много примеров использования недоказанных (!) методов или методов, которые не являются лучшим выбором, но менее трудоёмки. например, те же самые методы оптимизации в случае произвольной функции не гарантируют спуска в глобальный (а иногда и локальный) минимум, так что сам экспериментатор вынужден подбирать наиболее подходящий в его случае метод.

сопственно метод заводить собственный функционал расстояния тоже известен математике. тоесь ты можешь задать совершенно любую функцию и использовать её в качестве расстояния. но опять же не доказано, что сей метод имеет неоспоримые преимущества перед мнк, и в 99\% случаев используют мнк.

аещё я слышал про некий "метод максимального правдоподобия", только не знаю чо ето такое.

зы. проверил почту, ничего нового

Сообщение отредактировано: wormball - 22.09.03, 17:22

да еще не забывай чем больше степень тем больше осциляция поэтому большие степени полиномов не используют

2 Lucifer

Была в статистике теорема о том, что если ошибки по гауссу, то доставляется минимальная дисперсия.
Что такое робастность - непомню  >:( , видимо устойчивость к начальным данным..

Пусть мы строим функционал, который тем больше, чем больше совокупность всех |f_i  -  y_i| и тем ближе к 0, чем она меньше.
Я пока не говорю, как мы определяем меру для  совокупности |f_i  -  y_i|
Пока на интуитивном уровне...
МНК определяет это так:
Найти минимум функционала
SUM( |f_i (a, b, c...)  -  y_i|^2) -> min
a b c - искомые коэффициенты f()

Можно ли предложить что-то лучше?

Заодно задам еще один идиотский вопрос (на него можно не отвечать..):
Допустим, у нас есть набор простых функций. Можно ли хоть как-то подступиться к задаче - композицией этих функций собрать такую, которая бы наилучшим образом приближалась бы к нашим точкам? Скорее всего, это нереально.

Цитата Lucifer, 23.09.03, 16:23:26

Представь, что среди этой выборки был один кривой элемент, т.е. вся выборка из N(0,1), а один элемент попался равным 10000000(секретарша ошиблась когда цифры набивала, чубайс 380 вместо 220 вольт врубил).

ага, ты бы ещё захотел, чтобы она выдавала правильный ответ при половине кривых чисел в выборке. гнать надо в шею такую секретаршу!! в крайнем случае написать спец. программу, убирающую все нехорошие числа.

да и вобще насколько я помню математическое ожидание обладает какимито хорошими свойствами, которыми не обладает медиана.

кстати что такое метод максимального правдоподобия?? :

Сообщение отредактировано: wormball - 23.09.03, 13:32

Цитата wormball, 23.09.03, 17:30:18

ага, ты бы ещё захотел, чтобы она выдавала правильный ответ при половине кривых чисел в выборке. гнать надо в шею такую секретаршу!! в крайнем случае написать спец. программу, убирающую все нехорошие числа.

да и вобще насколько я помню математическое ожидание обладает какимито хорошими свойствами, которыми не обладает медиана.

кстати что такое метод максимального правдоподобия?? :

правильно помнишь м.о в отличии от медианы линейная операция -> легко считается и анализируется как ф-я чего про медиану сказать нельзя

ну а самое главное сумма мо=мо суммы в независимости от переменных

ТОВАРИЩ помни есть сл. величины без м.о и не попадись впросак   (Коши)

Цитата esperanto, 23.09.03, 17:58:56

ТОВАРИЩ помни есть сл. величины без м.о и не попадись впросак   (Коши)

0525!
уж сколько раз твердили миру, что у коши есь математичесоке ожидание! у него нет дисперсии

а уж тем более есь они у тех величин, с которыми люди имеют дело на практике.

Цитата wormball, 23.09.03, 18:07:02

0525!
уж сколько раз твердили миру, что у коши есь математичесоке ожидание! у него нет дисперсии

а уж тем более есь они у тех величин, с которыми люди имеют дело на практике.

судя по всему твердили те кто не знает тер вер!!!

f(x)=1/pi(1+x^2)

ex=integral(x/(1+x^2)dx,0,00)=бесконечность

и хватит спорить с преподавателями

сморя как интегрировать 8D

даже если не имеет, то всё равно насколько я понимаю ни один естественный процесс по нему не распределён, тоесь его можно рассматривать как математическую шутку ;D.

Цитата wormball, 23.09.03, 19:25:53

сморя как интегрировать 8D

даже если не имеет, то всё равно насколько я понимаю ни один естественный процесс по нему не распределён, тоесь его можно рассматривать как математическую шутку ;D.

ты не прав например по закону арксинуса распределено случайное двухмерное блуждание

кроме этого есьт дургие заокны в том числе дискретные без м.о


например

человек кидает монету до того как первый раз выпадет орел и получает приз
в размере равном два в степени количество попыток.

так вот м.о приза равно бесконечности поэтому елси ты будешь эмулировать эту игру и считать м.о

то получится что посчитанное м.о не ближе к деймтвительности чем результат одного опыта  
Гнеденоко Исортия теории вероятности

Цитата kms_, 23.09.03, 14:05:02

Заодно задам еще один идиотский вопрос (на него можно не отвечать..):
Допустим, у нас есть набор простых функций. Можно ли хоть как-то подступиться к задаче - композицией этих функций собрать такую, которая бы наилучшим образом приближалась бы к нашим точкам? Скорее всего, это нереально.

Вопрос совершенно не идиотский, очень даже актуальный. Первым кто дал на него правильный, исчепывающий и положительный ответ был Чебышев. см. полиномы Чебышева. Для практического применения лучше всего с вопросом ознакомиться по книге Анго "Математика для электро- и радиоинженеров".
Практическую реализацию метода см. www.netlib.org/chephes аппроксимация произвольной функции дробно - рациональными функциями по критерию минимума максимальной ошибки (критерий Чебышеба, минимакса).
Кстати, все что здесь написано о выборе степеней, есть ничто иное как выбор нормы в которой осуществляется аппрокимация.
Норма вектора (в Вашем случае это вектор разности аппроксимирующей функции и исходной) L=Sum^N_i=1|x_i|^p.
p=2 - евклидова норма, наименьшие квадраты
p=\infinity критерий минимакса.

Да исполнится же этой теме 5 лет!:)
Вопрос воистину вечный, я вот тоже как-то задумался над этим!
По-моему, всё намного проще! Не могу блеснуть очень глубокими знаниями, но на пальцах могу себе представить.
МНК имеет вид ∑(Yi - f(Xi))^2 = min. (рассмотрю задачу на плоскости)
Т.е. суммируются квадраты расстояний по оси Y между практическим (табличным) значением в i-той точке и функцией в этой точке. И аналитическим образом мы минимизируем эту сумму, т.е. принимаем, что все частные производние по неизвестным параметрам функции равны нулю.
Во-первых, почему там стоит квадрат? Ну уж точно, первую степень туда не влепишь, т.к. расстояния между Yi и f(Xi) будет получаться как положительным, так и отрицательным. Т.е., с нормальным случайным распределением, сумма всегда будет варьировать возле нуля, не накапливая тем самым общее отклонение. И так обстоит дело с любой нечётной степенью. Модуль туда, действительно, не воткнёшь, не дифференцируется, так нам однажды сказала учительница в школе и я принял это на веру:)
А теперь, если воткнуть туда 4 степень.... И что это получится... Очевидно, что сложные вычисления. А подумать глубже, будет просто всё так же суммироваться отклонение, только уже не в степени 2, а в степени 4. На мой взгляд, роль чётной степени - это просто перейти к абсолютному расстоянию, всегда положительному, дабы накапливать сумму. А четвёртая степень просто будет стремительнее накапливать сумму при больших Дельта Y. Следовательно, если и будет разница в минимизации суммы вторых и четвёртых степеней, то она будет заключаться в ооооочень маленьком приросте точности, на мой взгляд. А сужу, что ооочень маленьком потому что... вы видели вообще насколько чётко МНК апроксимирует??? И расстояние от точки до графика - воистину минимально, минимальней не придумаешь! А если не придумаешь, то и сумма 4 степеней будет там минимальна!!! А вообще, попробую как-нибудь сравнить на практике....

Для данных полученных при реальных измерениях степень лучше не увеличивать, а уменьшать. А то получается, что чем больше отклонение ( шум ), тем больше у него вес, а по идее надо наоборот. Поэтому для борьбы с помехами лучше минимизаровать ∑|Yi - f(Xi)|. Это сложнее, чем сумму квадратов, но реально.

Цитата prografix @ 31.03.07, 08:38

А то получается, что чем больше отклонение ( шум ), тем больше у него вес, а по идее надо наоборот.

Не понял: так ведь чем больше вес, тем оно сильнее и минимизируется? (относительно других отклонений) Отклонение можно считать шумом только если есть уверенность, что эмпирическая функция p(x) близка к незашумлённому сигналу, а этого мы утверждать не можем на основе самих отклонений эмпирической функции с текущими коэффициентами от исходных данных, т.к. сама же эмпирическая функция и определяется этими отклонениями, при изменении её коэффициентов отклонения будут другими и "шум" будет совсем другой, т.к. незашумлённым будет считаться другой сигнал. Или нет? На практике, честно, не пробовал....

Добавлено 31.03.07, 09:55
Запутанно как-то.... Я имел в виду, что шум - это отклонение некоторой иделизированной функции f(x) незашумлённого сигнала, т.е. |f(x_i) - Y_i|, когда же мы проводим аппроксимацию, то на основе данных x_i, Y_i строется эмпирическая функция p(x), причём минимизируется Σ|p(x_i)-Y_i|ⁿ, n >= 1. Т.о. шум в данном случае просто невычисляем: величина |p(x_i) - Y_i| ничего не говорит о |f(x_i) - Y_i|.

Сообщение отредактировано: ors_archangel - 31.03.07, 09:58

Формулу ∑(Yi - f(Xi))^2 можно записать как ∑|Yi - f(Xi)|*|Yi - f(Xi)|, т.е. для каждого отклонения вес равен ему же. Получается, что у маленького отклонения маленький вес, а у большого - большой. Но большие отлонения имеют шумы, которые вообще надо выбросить.
В случае минимизации ∑|Yi - f(Xi)| у всех отклонений вес одинаковый.

Господа, что-то вы с шумами загнались!
Самое важное в МНК - это то, что есть функция суммарного отклонения от табличных точек некоторой кривой, форма и положение которой зависит от её коэффициентов. И при изменении некоторого коэффициента эта сумма уменьшается или увеличивается. А для просчёта оптимального коэффициента нужно просто искать частные производные. И я считаю, что 4-ая, что 2-ая степень - практически одна фигня, ну разве что мааалость поточнее будет 4-ая степень, я так думаю... Вобщем сейчас проверю, жуть как интересно!!!
Сунулся.... Жесть.... Выражение расписывается на 2 строчки.... Если, вобщем добью, то выложу следующим постом. Вообще, надо кому????