Конкурс - алгоритм определения курильщика по кардиограмме.

ilyad555, если хочешь похвастаться результатами, то неплохо было бы расшифровать цифры. Конкретно, что понимается здесь под чувствительностью и специфичностью, и с чего это они складываются.

А вообще, судя по цифрам, похоже, не самым плохим решением было бы принимать решение случайно. Подбросил монетку, орёл - курильщик, решка нет.

amk
Я просто информирую о ходе конкурса, ну и конечно привлекаю внимание к проекту.
Вы можете отнестись к результатам так, как к подрасыванию монеты.
Мы, зная крайнюю ограниченность нашей выборки, относимся по другому. Список конкурсантов нас удовлетворяет, даже более.
У нас есть данные. В недалеком будущем их будет очень много. Не хотим отказывать себе в удовольствии разобраться с ними. Мы предполагаем, что если по выборке в 100 измерений можно сделать вывод с такой точностью, то если будет по 100 измерений взятых с 1000 человек, эта точность приобретет уверенный характер. Для нас это означает только то, что разбираться с данными имеет смысл. И мы делаем все правильно. Конечно практического результата именно с этого конкурса не будет никаких. Зато мы лишний раз убедились, что можно заниматься легочными паталогиями, туберкулезом, ХОБЛ. Конкурс развернул нам горизонты в этом направлении. Будем двигаться дальше. Убежден - продолжем сотрудничество с рядом конкурсантов.

А подбрасывать монетку можно и дальше - дело интересное и многообещающее... Но это не к нам.

Да нет, именно к вам. Я написал о том, что не вижу существенных различий между работой программы и случайным выбором. Чем ты хотел привлечь внимание к проекту? Цифрами типа: "Программа определяет курильщик с 50% вероятностью"? Так чем это отличается от бросания монеты? Эти цифры хоть какую-нибудь значимость имеют?
Или ты названиями фирм решил похвастаться?

Мне кажется на все эти вопросы я ответил в предыдущем посте - можете перечитать.
Если Вы чего-либо не видите - это Ваше мнение. Мы до конца конкурса ничего не утверждаем. В настоящее время цифры для нас имеют большое значение. А цифры нам подсказывают, что даже на никаких данных мы можем уверенно уйти за 0,5. Значит будем копить данные и смотреть дальше.
В медицине постановка диагноза с 70% вероятностью - очень хороший результат. Хвастаюсь я только нашим проектом. А внимания этот проект заслуживает только за то, что призывает хоть немного задуматься каждого об отношении к своему здоровью. Не хочешь - не думай...
Я на первой страничке топика давал ссылку. Половина читателей этого форума уйдет от нас раньше времени и именно от болезней связанных с сердцем. Наш проект принесет реальную помощь на современном уровне. Ради этого мы разбираемся в куче данных, пытаемся улучшить алгоритмы и функционал прибора. И нам теперь что, после Ваших замечаний все бросить?
Мы подобные суждения слушаем уже больше двух лет. Не конструктивненько и несерьезно это.

Сообщение отредактировано: ilyad555 - 12.03.16, 21:09

Ну это ваше дело, какую вероятность считать достаточной.

Цитата ilyad555 @ 12.03.16, 21:01

В медицине постановка диагноза с 70% вероятностью - очень хороший результат

Вот поэтому я и не хожу к врачу. потому что вас такой низкий показатель вполне устраивает. У меня на работе, например, вероятность ошибки в 2% уже вызывает сомнения в качестве алгоритма. А если не дай боже, ошибка при каких-то входных данных (вероятность появления которых сама менее 1%) достигнет 10%, то вообще караул, "алгоритм никуда не годен". при том, что уже используемые алгоритмы процентах на 10 данных вообще никак не работают.
Постоянно сталкиваясь с такой паранойей, и сам, того и гляди, станешь параноиком.

уважаемый AMK,
насчет "не хожу к врачу" - это неправильно. Иногда следует ходить - можно многое предупредить на будующее. Я также судил о своем здоровье по собственным ощущениям, до попадания в больницу на реанемобиле. Там мне бысторо объяснили зачем надо ходить в больницу хотя бы несколько раз за 25 лет. По поводу 70% - это действительно хороший результат. Только из-за того, что любое заболевание и организм и их взаимодействие это чертовски многофакторная вещь.
Очевидно, что нам не нужен "чистый и надежный алгоритм определения курильщика". Мы хотим анализировать большой массив данных реальных пациентов и для этого мы ищем (специалистов) алгоритмы обработки данных. Мы надееемся извлечь из них существенную информацию об имеющихся паталогиях. Получиться - хорошо, значит у нашего комплекса появиться новый диагностический функционал. Не получиться - отсутствие результата, это тоже результат. Мы очень критически относимся к результатам наших исследований. В конечном итоге мы оказываемся в клинических условиях. А там все без мудростей, нейросеток, каглей, бустов и вейвлетов - или есть результат или нет. Все. Приговор системе или её функции дают специалисты. Если наши предложения будут носить теоретически-виртуальный характер, то их ценность также будет виртуальной. Так что паранойи у нас тоже достаточно).

Цитата ilyad555 @ 12.03.16, 21:01

что даже на никаких данных мы можем уверенно уйти за 0,5.

Любопытно, насколько далеко?

Цитата ilyad555 @ 11.03.16, 12:00

Я просто информирую о ходе конкурса

Бегло прочел условия конкурса, смутило два момента:

1) Откуда уверенность, что 100 вариантов кардиограмм - это достаточно? Бегло загуглил про заболевания сердца, список внушительный. Допустим возьмем некурящего, но больного человека. Пусть заболеваний 10, возьмем сочетания по 3, получаем 120 вариантов. Вы же для "некурящих" выделили только 50. Можете сказать, "мы же выбрали курящих без заболеваний, только с отклонениями". Тогда вопрос, как будете некурящих (но больных) отсеивать?

2) Анализируемый материал предоставлен в виде звуковых файлов с указанными параметрами. Вопрос: данные взяты и обработаны на одной и той же аппаратуре и алгоритмами? Если "нет", ничего не сказано о нормализации. Или это не важно? Я не медик, не знаю "ценность" величины амплитуд, но интересно.

Считаю, что сам вопрос конкурса, в принципе, интересен. Но с такой постановкой - это действительно "эксперименты с монеткой".

foreach
Это не к нам вопрос. Это мы как раз сами и спрашиваем ))

JoeUser
1) Для достоверных исследований недостаточно - даже не сомневайтесь. Плюс, как Вы правильно указываете, есть или могут быть другие болезни и патологии.
Но ведь мы с чего-то начинать должны? Мы перед конкурсом предварительно проверили данные, получили обнадеживающие результаты и после этого запустили конкурс на большую аудиторию.
Цель - найти толковых алгоритмистов и методы исследования больших, регулярно снятых ЭКГ от конкретных, описанных людей. Через год количество пользователей будет принципиально другим, база ЭКГ, соответственно тоже. А у нас, как мы надеемся, через год будет создана сложная, многоэтапная система анализа данных.
2) Амплитуды важны и спектр важен, мы стараемся мимнимально воздействовать на снятые показания в процессе обработки. Нормализация отсутствует.
3) Это как пробный шар для нас. Принципиальный вопрос следующий - получится или нет. А главные задачи впереди.