Увеличение степени сжатия и скорости чтения
![]() |
Наши проекты:
Журнал · Discuz!ML · Wiki · DRKB · Помощь проекту |
|
| ПРАВИЛА | FAQ | Помощь | Поиск | Участники | Календарь | Избранное | RSS |
| [216.73.216.88] |
|
|
правила раздела Алгоритмы

Увеличение степени сжатия и скорости чтения
|
|
|
|
|
Постановка задачи:
Имеется несколько файлов, которые небходимо упаковать с как можно более максимальной спетенью сжатия. Файлы абсолютно разного содержания (т.е. и исполняемые, и текстовые, и всякие прочие форматы). При этом скорость распаковки должна быть так же как можно более высокой. Если у кого то есть идеи милости прошу... |
|
Сообщ.
#2
,
|
|
|
|
Пару идей, но не более.
1)Можно выбирать алгоритм в зависимости от типа файла: BMP - сжимать чем-то типа RLE (RunLength Encoding), Gif, Jpg - вообще не сжимать, текстовые - LZH и т.д. 2)Все файлы склеить в один, к которому и применить какой-нибудь метод сжатия (получится аналог Solid-архивов, т.е. используется один словарь на все файлы) PS: Все равно Rar не переплюнуть |
|
Сообщ.
#3
,
|
|||
|
|
Дело в том, что распаковка архива должна производиться динамически, например подрузка текстур или звуковых файлов в процессе игры.. и Что касается rar'a то здесь действительно имеем большую плотность записи, но не очень больщую скорость распаковки.. |
|
Сообщ.
#4
,
|
|||
|
|
Поетому он такой и тормозной. |
|
Сообщ.
#5
,
|
|
|
|
Дело в том, что если разбирать стурктуру файла по типу данных, то придется создавать что то типа дополнительного списка (заголовка архива), в котором будут прописаны методы сжатия для каждого файла, смещение на файл в архиве и дополнительные сведения, что породит дополнительный поиск и затраты времени..
|
|
Сообщ.
#6
,
|
|||
|
|
Я примерно это и имел в виду. А затраты по скорости поиска из-за этих таблиц будут ничтожны (скажем так, O(const) ) |
|
Сообщ.
#7
,
|
|
|
|
Появилась небольшая идейка..
Для увеличения плотности архивации само архивирование производим по-блочно... Так как размеры файлов различны, да и содержимое в разных местах файла так же отлично, то при определеннной разбивке файла на части(блоки), архивируем каждый блок по отдельности различными самым отпимальным методом для данного блока (RLEB, RLEW, LZB, LZW или Хафманом). Метод выбираем в процессе архивации.. Единственное размер блоков должен быть одинаковым, хотя и сам их размер можем тоже подобрать в процессе архивации.. Таким образом получим наибольшую плотность архивирования. |
|
Сообщ.
#8
,
|
|||
|
|
Как знать.. Если необходимо из примерно 2000-2500 файлов найти нужный, то придется сначала отсортировывать расположение файлов в архиве.. |
|
Сообщ.
#9
,
|
|
|
|
Зачем?
Будем хранить в начале файла таблицу, в которой будет показано, гду расположен каждый файл! |
|
Сообщ.
#10
,
|
|
|
|
Архивирование поблочно: все ето делает код Лемпела-Зива (он структуре своей содержит ету адаптивность). Можно его доработать (что, подозреваю, и сделано во всяких рарах и т.п.), чтобы он адаптивно переключался между режимами сжатия (размерами скользящего окна) и передачи входного потока без изменений.
А выходной поток, сжатый по LZ, обрабатывать уже хаффманом или арифметическим кодированием, т.к, повторов строк в нем где-то в 8 раз меньше, а повторы символов есть... Получили продвинутый PKZIP. --- Тут другой вопрос: а файлы ети последовательно читать надо или должен быть прямой доступ к каждому? --- Пора и мне в Werewolfы... |
|
Сообщ.
#11
,
|
|||
|
|
Имел ввиду отсортированность самой таблицы.. Это действительно убыстрит доступ к файлу по имени... |
|
Сообщ.
#12
,
|
|
|
|
2Visitor:
доступ идет абсолютно к произвольному файлу в данный момент времени.. |
|
Сообщ.
#13
,
|
|
|
|
Я имелл ввиду, к произвольному байту произвольного файла, или к произвольному файлу просто?
|
|
Сообщ.
#14
,
|
|
|
|
к файлу...
|
|
Сообщ.
#15
,
|
|
|
|
Тогда склеивать файлы в 1 ни в коем случае нельзя... Все хорошие алгоритмы сжатия просто не оставяют достаточно избыточной информации, чтобы начать читать сжатый поток "с середины". Восстановить состояние автомата-кодера можно, только прочитав весь предшествующий сжатый поток...
|
|
Сообщ.
#16
,
|
|
|
|
А вот начальное состояние автомата (для алгоритма Лемпела-Зива -- начальное заполнение окна, для динамического Хаффмана -- начальное древо...) можно подобрать оптимальным для всего набора файлов, которые будут сжиматься. Или пару-тройку таких начальных состояний
|
|
Сообщ.
#17
,
|
|||
|
|
В этом то и суть блочного архивирования. Каждый блок архивируется своим отпимальным для него методом. В начале архива имеем структуру блоков где указанано: номер блока и текущее смещение-указатель на этот блок в архиве так же имеем "таблицу" файлов находящихся в архиве, где указывается: имя файла, смещение на блоки файла в архиве, и соответсвенно размер.. |
|
Сообщ.
#18
,
|
|
|
|
Так уже ж есть блоки -- сами файлы. Зачем еще усложнять?
Ето таки может сработать, в самом деле... Но что-то мне подсказывает, что ето будет (как минимум) полиномиально высокой степени сложно сделать. А то и НП-полно вообще |
|
Сообщ.
#19
,
|
|
|
|
Щас как раз и занялся этим..
завтра выложу результаты |
|
Сообщ.
#20
,
|
|||
|
|
Именно.. получается, что один файл разбит на блоки, каждый из которых имеет отпимальный метод сжатия.. Конечно при архивации придется перебирать мнрожество методов для каждого блока и это займет много времени. Но зато в итоге получим "идеальный" архив |
|
|
|
|
|
Распаковку быстрее, чем LZSS (вообще методов семейства LZ77) ты сделаешь вряд ли. LZB чуть получше, поэтому советую именно его.
Интервальное кодирование (более скоростная модификация арифметического), как и Хаффман, как и контекстное моделирование, для разнородных данных, ИМХО, не лучший метод, да и по скорости явно медленнее. LZW (в общем, любые LZ78) - метод тормозной. А по поводу блочного кодирования... ты знаешь, не думаю, что у тебя будет большой выигрыш, т.к. при чередовании методов будет теряться информация о предыдущих байтах (или её нужно собирать заново - опять же время), соответственно и сжатие хуже. Подумай: создал ты адаптивную PPM-модель, закодировал 16kb, а потом переходишь к LZB... здесь, в общем-то можно использовать предыдущие байты как окно, но когда ты перейдёшь обратно в PPM, придётся строить модель заново (хотя, можно и использовать старую, но ещё не факт, что так лучше). Не буду тебя отговаривать, но ИМХО, это только лишний гемор. Я б использовал LZB или ZIP вообще (чтоб не мучаться) RAR, кстати, тоже LZSS использует, только там куча фильтров, поэтому и тормозит. |
|
Сообщ.
#22
,
|
|
|
|
Не, тут постановка такая: создать архиватор, причем не контекстно-адаптивный, как LZSS, или статистический, как LZW или хаффмана, а идеальный, использующий как знание о структуре всего кодируемого потока, так и каждой отдельно взятой его части
И потом посмотреть, что из етого получится. (И заодно разрешить некоторые теологические споры, касающиеся того, сколько "посторонней" информации вносят существующие архиваторы в сжатый поток |
|
Сообщ.
#23
,
|
|
|
|
Итак..
Получился почти "идеальный" архиватор с элементами собственно распаковки данных.. Упаковка идет раз 10 медленней чем всякие RARы и ZIPы, но зато распаковка куда быстрее, правда пока не намоного примерно на 5-10%, но над этим работы продолжаются.. |
|
Сообщ.
#24
,
|
|
|
|
А как на счёт степени сжатия?
И какой метод использован? p.s. Ты это всё вручную пишешь? |
|
Сообщ.
#25
,
|
|
|
|
Объясняю технологию...
Имеем кучу файлов, которые необходимо заархивировать. В процессе архивации читаем файл по блокам (например по 16 кБ, можно выбрать любой). Архивируем его (блок)по-очереди несколькими способами (LZb(W), RLEB(W), Huffman или вообще не архирируем). Сравниваем какой метод для этого блока наиболее эффективен и пишем его в архив. Правда на это уходит до фига времени При разархивации знаем каким методом блок заархивирован и распаковываем его.. Про процентное содержание я уже писал Коэфф. сжатия лучше даже чем у RARа |