Форум на Исходниках.RU

Форум на Исходниках.RU https://forum.sources.ru Форум на Исходниках.RU Форум на Исходниках.RU https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=3800408 Thu, 30 May 2019 08:53:39 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=3800408 Цитата

PS:Я склоняюсь к теории большого взрыва ,поэтому считаю что это дело времени и когда-нибудь человечество откроет алгоритм сжатия хаотических данных без потерь.

А что если, это уже произошло и я знаю этот алоритм и даже есть демоверсия на github?]]> Dream2019 Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=3800392 Thu, 30 May 2019 06:30:50 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=3800392 Dream2019 Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2426892 Fri, 20 Nov 2009 11:59:00 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2426892

Цитата Dethlord @ 20.11.09, 04:26

За определенную сумму будут(полный алгоритм с исходником)

Характеристики алгоритма != реализация или даже описание алгоритма. Характеристики --- это оценка сложности, оценки степени сжатия для разных типов данных.

Цитата Dethlord @ 20.11.09, 04:26

Предоставленный мною файл в 1 посте сжимается удачнее моим алгоритмом,RAR проигрывает.

И, эээ, для чего это надо? Какое практическое применение?

Цитата Dethlord @ 20.11.09, 04:26

У меня есть собственные наработки и это МОЁ,причем мои наработки покупают.
Я за базар отвечаю свой,а всякие там КОПИ ПАСТ cупер архиватор пусть идут лесом.

Если вы нашли лохов, которые вам согласны платить за наглость, это круто, но это сошиал инжиниринг чистой воды, и в алгоритмах этому не место.]]> Pourtous Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2426696 Fri, 20 Nov 2009 09:54:29 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2426696 Цитата Dethlord @ 20.11.09, 04:26

Предоставленный мною файл в 1 посте сжимается удачнее моим алгоритмом,RAR проигрывает.

Мы же уже говорили, что если брать файл, заточенный под алгоритм, то можно и 4 гига до одного байта сжать.
Скажите, а типовой txt/exe файл какой алгоритм лучше сожмет - ваш или RAR?

Я не хочу спорить, т.к. это никому не надо, но просто я в упор не вижу ценности вашего архиватора. Может, я что-то проглядел?]]> shadeofgray Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2426348 Fri, 20 Nov 2009 04:26:43 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2426348 Цитата Pourtous @ 19.11.09, 23:47

Например, статистика результатов на соответствующих файл-паках

вы не читали все посты.
Это просто proof-of-concept;какие тут могут файлы быть?

Добавлено 20.11.09, 04:30

Цитата Pourtous @ 19.11.09, 23:47

конкретные характеристики алгоритма то будут?

За определенную сумму будут(полный алгоритм с исходником)
Могу только сказать вам одно, что там 5564 строк кода(оптимизированно соответственно)

Добавлено 20.11.09, 04:39

Цитата Pourtous @ 19.11.09, 23:47

сравнительные графики степени сжатия и производительности с известными свободными и не очень архиваторами

Предоставленный мною файл в 1 посте сжимается удачнее моим алгоритмом,RAR проигрывает.
Да и вообще я не собираюсь тут что-либо, кому-либо доказывать за халяву.
У меня есть собственные наработки и это МОЁ,причем мои наработки покупают.
Я за базар отвечаю свой,а всякие там КОПИ ПАСТ cупер архиватор пусть идут лесом.]]> Dethlord Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2426317 Thu, 19 Nov 2009 23:47:59 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2426317 Иначе, в чем прикол? Новых алгоритмов сжатия как собак нерезаных каждый год придумывают.]]> Pourtous Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2425351 Thu, 19 Nov 2009 02:22:00 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2425351 Цитата shadeofgray @ 18.11.09, 15:54

Я ведь правильно понимаю, что сжатый вектор вы очень долго выбирали

Нет это очень просто,в обратное преобразование вставляю любые числа и нужный вектор выводится быстро.(т.е. распаковка)

Добавлено 19.11.09, 02:24

Цитата Леголегс @ 18.11.09, 14:55

можно ли заранее предсказать, какие данные ваш алгоритм сожмёт хорошо, а какие нет

Да можно узнать вероятность "хорошего вектора" методами комбинаторики.]]> Dethlord Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2425148 Wed, 18 Nov 2009 18:53:00 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2425148
Любой алгоритм использует некие априорные знания о свойствах сжимаемых им данных. Соответственно, только для этих специальных данных он и предназначен. К счастью интересные для нас данные обладают определенной избыточностью, что и позволяет сжать их. При этом выходные строки алгоритма и в среднем оказываются короче входных.
По-другому можно сказать, что одни строки более вероятны в качестве входа для алгоритма чем другие, и именно их сжатие нас и интересует. Соответственно ставя им в соответствие более короткие выходные строки, мы можем добиться уменьшения средней длины сообщения.
Если подавать на вход любого алгоритма случайные цепочки, то средняя длина выходного сообщения будет тем больше, чем лучше алгоритм сжимает "родные" цепочки.

Большинство алгоритмов хорошо сжимают "подходящие" данные и незначительно удлиняют "неподходящие" (обычно, добавив пометку, копируют их один в один).

Добавлено 18.11.09, 18:56
Собственно, "хороший" алгоритм сжатия отличается именно хорошей настройкой на "свои" данные.
Чем шире область хорошо сжимаемых данных тем сильнее приходится удлиннять неподходящие.]]> amk Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2425028 Wed, 18 Nov 2009 15:54:19 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2425028 Цитата Dethlord @ 18.11.09, 13:39

shadeofgray Можем обьединить усилия после заключения взаимного договора.

Я не вижу на этом направлении каких либо перспектив.

Цитата Dethlord @ 18.11.09, 13:39

Никогда этого не будет, если понимать под сжатием то, что мы понимаем сейчас. Вы же сами понимаете, что нельзя произвольное двухсимвольное сообщение сжать до одного символа без потерь. И по тем же причинам нельзя сжать хаотичные данные. Фантастические варианты, в которых мы сохраняем дату и место создания сообщения, а потом путем доступа к Мировому Информационному Полю восстанавливаем сообщение на основе того, кем и когда оно было написано, я не готов рассматривать всерьез. Кроме того, это будет уже не сжатие.

Цитата Dethlord @ 18.11.09, 13:39

shadeofgray Может, это просто proof-of-concept
Да, в точку

Ну так какой концепции? Сжатие "особых" векторов, как я уже говорил, само по себе интересной концепцией не является. Я не знаю, какой алгоритм вы использовали - возможно, он красив, но я его не знаю. Мы все видим результат - и он не впечатляет, если честно. Может, вы выбрали неверный способ демонстрации возможностей алгоритма?

Я ведь правильно понимаю, что сжатый вектор вы очень долго выбирали, а не просто взяли случайный? Т.е. вы сгенерировали его, исходя из свойств вашего алгоритма, таким образом, чтобы именно им он очень хорошо сжимался? Сначала сгенерировали вектор, а потом сжали, правильно?]]> shadeofgray Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2424974 Wed, 18 Nov 2009 14:55:56 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2424974 Цитата Dethlord @ 17.11.09, 13:59

Например см файл:(37591-Значное число).Я могу сжать эти данные в 15 значное число....
p.s.Исходники и откомпилированую программу выслать не могу.

Сравните это описание с рапидшарой и вы поймёте, почему ваше пари не принято.
И вот у меня такой вопрос: можно ли заранее предсказать, какие данные ваш алгоритм сожмёт хорошо, а какие нет?]]> Леголегс Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2424858 Wed, 18 Nov 2009 13:39:59 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2424858 shadeofgray Можем обьединить усилия после заключения взаимного договора.[
quote=shadeofgray,1258537268,2424564]Может, это просто proof-of-concept[/quote]
Да, в точку

Цитата shadeofgray @ 18.11.09, 05:15

Ну а в чем тогда ценность вашего алгоритма?

Конечно на коммерческую версию не тянет.
shadeofgray можно теоритически расчитать предельную степень сжатия(любых данных) на основе комбинаторных методов.

PS:Я склоняюсь к теории большого взрыва ,поэтому считаю что это дело времени и когда-нибудь человечество откроет алгоритм сжатия хаотических данных без потерь.

Добавлено 18.11.09, 13:55
shadeofgray самое удивительное что RAR-версия файла всего в 2 раза меньше исходного.
Ну раз пари не будет покажу сжатую строку:
#345568#6787#5#4

Данная строка представляет собой сжатую версию файла в 1 посте.

PS.Извените оговорился не 15 символов а 16 так как первый разделитель еще(#)]]> Dethlord Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2424564 Wed, 18 Nov 2009 09:41:08 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2424564
Но то, что он "в сотни и тысячи раз сжимает редкие, специально подобранные последовательности, которые другой алгоритм так хорошо сжать не сможет" - это совершенно определенно достоинством не является, т.к. если эти последовательности надо специально подбирать, то ценность алгоритма невелика. Разве что есть такой класс данных (лог файлы, базы данных, что-то ещё), где эти последовательности встречаются на каждом шагу.]]> shadeofgray Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2424268 Wed, 18 Nov 2009 05:15:45 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2424268
а. также будет сжимать не все векторы, а только некоторые
б. эти некоторые сожмет до 15 знаков
в. этих некоторых будет в тысячу раз больше, чем у вашего алгоритма

В общем, в таких условиях пари не имеет смысла.]]> shadeofgray Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2424244 Wed, 18 Nov 2009 01:23:08 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2424244 albom и shadeofgray распаковщик у меня тоже не большой

Цитата albom @ 17.11.09, 18:21

, тогда запакованные данные будут семенем ГПСЧ, а распакованные данные — последовательностью, генерируемой ГПСЧ

Я не пользуюсь генераторами.

Цитата albom @ 17.11.09, 18:21

Но без этого какие же это доказательства

Они будут при согласии опонента.

Цитата albom @ 17.11.09, 18:21

это строка из первого сообщения сжималась пять лет?

Запаковка шла около 4 дней
распаковка 4 секунды
shadeofgray Я НЕ ПОЛЬЗУЮСЬ ГСЧ
Зачем мне вас обманывать если я вам буду предоставлять доказательство(приватно соответственно)

Цитата shadeofgray @ 17.11.09, 18:55

б. получаю от вас 15-значное число и заверения в том, что алгоритм работает

ДОКАЗАТЕЛЬСТВО!

Цитата shadeofgray @ 17.11.09, 18:55

Цитата (esperanto @ Вчера, 21:50)
Все таки не для любого.
В данном примере. Идеальной ф-ие сжатия является функция копирования

бред полный.
shadeofgray я не использовал в своём алгоритме ни один тип реализованих уже методов(типо ГСЧ,словари,хафманы и тд) у меня свой метод.А также я не пользуюсь всякими XORами и самопорождающимися множествами.
Т.Е при моем доказательсве вы откините все сомнения, так как я пользуюсь исключительно многомерной математикой и диоффантовыми уравнениями.
из 4000-значного числа я сногу очень сильно сжать только 120000000 векторов а это очень мало.
Поэтому я не согласен(вероятность что я сожму ваш вектор(например 1000-знаков) составляет примерно 1 %)]]> Dethlord Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2424066 Tue, 17 Nov 2009 18:55:34 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2424066 Цитата amk @ 17.11.09, 16:58

Dethlord,
сдается мне, что ты не очень хорошо понимаешь о чем тебе говорят.
А говорят тебе о том, что для любого алгоритма сжатия всегда можно подобрать такой пример, что после сжатия выходная последовательность окажется длиннее входной.

Цитата Dethlord @ 17.11.09, 17:06

Да я вообще-то об этом не спорил я сам понимаю это.

А вопрос тогда - нафига нужен этот алгоритм сжатия, если он работает только на специально подобранных векторах? В жизни-то мы не выбираем, какие данные сжимать...

Цитата Dethlord @ 17.11.09, 13:59

Я хотел бы поменять условия пари:
Например см файл:(37591-Значное число).Я могу сжать эти данные в 15 значное число.Я доказываю вам это, и вы мне отсылаете на
счет WM 9999 р.Согластны?

В такой формулировке - конечно же нет, не согласен, т.к. для меня ключевыми условиями являются:
а. сжатие предложенного мной вектора, а не заранее подобранного под алгоритм
б. при расчете коэффициента сжатия учитывать размер распаковщика (что вполне логично)
в. возможность проконтролировать достоверность полученного результата (т.е. получить распаковщик + сжатый вектор, и самому проверить, что действительно сжимает)

Вы же предлагаете мне, что я:
а. соглашаюсь с измененными условиями пари
б. получаю от вас 15-значное число и заверения в том, что алгоритм работает
в. выплачиваю вам в два раза больше, чем предполагалось первоначально

В такой формулировке мне можно сразу готовить деньги, не дожидаясь исполнения пункта (б) - вы же уже сказали мне, что алгоритм работает на конкретном векторе, а джентльменам верят на слово :)

Но даже если бы вы предложили мне распаковщик и доказали, что действительно сжали данные до 15 знаков - даже в таком случае пари, в котором вектор выбираете вы, а не я, мне не интересно. Откуда мне знать - может этот вектор получен в результате работы генератора псевдослучайных чисел, и 15 цифр - это как раз длина генератора (или стартовых значений)? Вы не сказали, как вы получили этот вектор - но я уверен, что это не случайное число. А на случайном числе, по моему убеждению, результат работы вашего алгоритма будет не особенно хорош.

В общем, ваши условия мне не подходят. Если вас устраивает оригинальное пари - на моих условиях - то я готов обсудить возможные гарантии участникам. Я так понимаю, что вы не желаете раскрывать используемый алгоритм, так мы можем попробовать найти способ гарантировать вам сохранение тайны. Насчет увеличения суммы - согласен, деньги мне не помешают :)

Добавлено 17.11.09, 19:00

Цитата esperanto @ 17.11.09, 18:50

Все таки не для любого.
В данном примере. Идеальной ф-ие сжатия является функция копирования

Замечание хорошее, но я хотел бы отметить, что надо также как-то сообщить, что мы используем именно её, а не какой-то другой алгоритм "сжатия". Так что размер сообщения всё равно увеличится :)

Добавлено 17.11.09, 19:02
2 albom, писали сообщения независимо, а мысли одни и те же пришли в голову :)]]> shadeofgray Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2424061 Tue, 17 Nov 2009 18:50:06 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2424061 Цитата amk @ 17.11.09, 16:58

А говорят тебе о том, что для любого алгоритма сжатия всегда можно подобрать такой пример, что после сжатия выходная последовательность окажется длиннее входной.

Все таки не для любого.
В данном примере. Идеальной ф-ие сжатия является функция копирования]]> esperanto Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2423997 Tue, 17 Nov 2009 17:25:09 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2423997 amk Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2423982 Tue, 17 Nov 2009 17:06:02 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2423982 Цитата amk @ 17.11.09, 16:58

А говорят тебе о том, что для любого алгоритма сжатия всегда можно подобрать такой пример, что после сжатия выходная последовательность окажется длиннее входной

Да я вообще-то об этом не спорил я сам понимаю это.

Цитата amk @ 17.11.09, 16:58

об использовании представления числа π для сжатия, я бы считал шуткой

Да метод хороший(про него еще Гарднер писал) вот только время поиска и длина результата может быть большим.]]> Dethlord Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2423973 Tue, 17 Nov 2009 16:58:54 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2423973 Dethlord,
сдается мне, что ты не очень хорошо понимаешь о чем тебе говорят.
А говорят тебе о том, что для любого алгоритма сжатия всегда можно подобрать такой пример, что после сжатия выходная последовательность окажется длиннее входной.
Может показаться, что отбросив незначащие нули можно получить неудлинняющий способ кодирования, но при этом придется записывать еще и длину кода, в результате часть "сжатых" кодов все равно окажется длиннее.

Кстати фразу об использовании представления числа π для сжатия, я бы считал шуткой, поскольку длина "сжатой" строки в таком алгоритме в лучшем случае равна длине сжимаемой, а нормально даже длиннее.
например самая короткая двоичная последовательность содержащая в себе все возможные наборы из 16 бит имеет длину 65551 бит. Чтобы определить нужную позицию в ней как раз 16 бит и нужно.]]> amk Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2423901 Tue, 17 Nov 2009 14:58:41 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2423901 Цитата albom @ 17.11.09, 14:47

Нет уверенности, что Ваш алгоритм сможет это сделать?

Да сделать то сделает только это вычисление может превысить время жизни участников спора поэтому я предлагаю изменить пари.
Прямое преобразование долгое но обратное шустрит по полной.

Цитата albom @ 17.11.09, 14:47

размер упаковщика больше размера исходных данных

У меня нет

Цитата albom @ 17.11.09, 14:47

зачем рассказывать о том, чем Вы не пользовались?

Да затем что я без залипона сжимаю

Добавлено 17.11.09, 15:01

Цитата albom @ 17.11.09, 14:47

что какая-то последовательность из записи числа пи сжимается вашим алгоритмом хуже

не факт]]> Dethlord Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2423877 Tue, 17 Nov 2009 14:26:21 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2423877 Мне интересно если это правда(на разработку алгоритма у меня ушло 5 лет)
quote=albom,1258467539,2423873]Сами то почему пари не приняли?[/quote]
В виду сжатия некоторых векторов данных.А не их множества, что тут не понятного?

Добавлено 17.11.09, 14:28
albom почитайте внимательно тот пост он предлагает еще и распаковщик.

Добавлено 17.11.09, 14:33
Сразу скажу что я не использовал словарные методы при сжатии.И не пользовался транцендентностью числа пи(т.е.это не число после запятой в n-последовательности дробной части пи)]]> Dethlord Алгоритмы https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2423859 Tue, 17 Nov 2009 13:59:15 +0000 Архивация НЬЮ 2 https://forum.sources.ru/index.php?showtopic=287337&view=findpost&p=2423859 Добавлено 17.11.09, 14:02
Shadeofgray извените что так,долго времени не отвечал на пари(не было времени).Вы мне ставите условие(но я же вам сказал что я могу сжимать некоторые вектора данных).И вы мне предлогаете за выйгранное пари 5000?Это смех.
Свою программу я не засвечу даже откомпилированную.
Я хотел бы поменять условия пари:
Например см файл:(37591-Значное число).Я могу сжать эти данные в 15 значное число.Я доказываю вам это, и вы мне отсылаете на
счет WM 9999 р.Согластны?
p.s.Исходники и откомпилированую программу выслать не могу.
Прямое и обратное преобразование без потери информации.]]> Dethlord Алгоритмы