Увеличение степени сжатия и скорости чтения
![]() |
Наши проекты:
Журнал · Discuz!ML · Wiki · DRKB · Помощь проекту |
|
| ПРАВИЛА | FAQ | Помощь | Поиск | Участники | Календарь | Избранное | RSS |
| [216.73.216.88] |
|
|
правила раздела Алгоритмы

| Страницы: (2) [1] 2 все ( Перейти к последнему сообщению ) |
Увеличение степени сжатия и скорости чтения
|
|
|
|
|
Постановка задачи:
Имеется несколько файлов, которые небходимо упаковать с как можно более максимальной спетенью сжатия. Файлы абсолютно разного содержания (т.е. и исполняемые, и текстовые, и всякие прочие форматы). При этом скорость распаковки должна быть так же как можно более высокой. Если у кого то есть идеи милости прошу... |
|
Сообщ.
#2
,
|
|
|
|
Пару идей, но не более.
1)Можно выбирать алгоритм в зависимости от типа файла: BMP - сжимать чем-то типа RLE (RunLength Encoding), Gif, Jpg - вообще не сжимать, текстовые - LZH и т.д. 2)Все файлы склеить в один, к которому и применить какой-нибудь метод сжатия (получится аналог Solid-архивов, т.е. используется один словарь на все файлы) PS: Все равно Rar не переплюнуть |
|
Сообщ.
#3
,
|
|||
|
|
Дело в том, что распаковка архива должна производиться динамически, например подрузка текстур или звуковых файлов в процессе игры.. и Что касается rar'a то здесь действительно имеем большую плотность записи, но не очень больщую скорость распаковки.. |
|
Сообщ.
#4
,
|
|||
|
|
Поетому он такой и тормозной. |
|
Сообщ.
#5
,
|
|
|
|
Дело в том, что если разбирать стурктуру файла по типу данных, то придется создавать что то типа дополнительного списка (заголовка архива), в котором будут прописаны методы сжатия для каждого файла, смещение на файл в архиве и дополнительные сведения, что породит дополнительный поиск и затраты времени..
|
|
Сообщ.
#6
,
|
|||
|
|
Я примерно это и имел в виду. А затраты по скорости поиска из-за этих таблиц будут ничтожны (скажем так, O(const) ) |
|
Сообщ.
#7
,
|
|
|
|
Появилась небольшая идейка..
Для увеличения плотности архивации само архивирование производим по-блочно... Так как размеры файлов различны, да и содержимое в разных местах файла так же отлично, то при определеннной разбивке файла на части(блоки), архивируем каждый блок по отдельности различными самым отпимальным методом для данного блока (RLEB, RLEW, LZB, LZW или Хафманом). Метод выбираем в процессе архивации.. Единственное размер блоков должен быть одинаковым, хотя и сам их размер можем тоже подобрать в процессе архивации.. Таким образом получим наибольшую плотность архивирования. |
|
Сообщ.
#8
,
|
|||
|
|
Как знать.. Если необходимо из примерно 2000-2500 файлов найти нужный, то придется сначала отсортировывать расположение файлов в архиве.. |
|
Сообщ.
#9
,
|
|
|
|
Зачем?
Будем хранить в начале файла таблицу, в которой будет показано, гду расположен каждый файл! |
|
Сообщ.
#10
,
|
|
|
|
Архивирование поблочно: все ето делает код Лемпела-Зива (он структуре своей содержит ету адаптивность). Можно его доработать (что, подозреваю, и сделано во всяких рарах и т.п.), чтобы он адаптивно переключался между режимами сжатия (размерами скользящего окна) и передачи входного потока без изменений.
А выходной поток, сжатый по LZ, обрабатывать уже хаффманом или арифметическим кодированием, т.к, повторов строк в нем где-то в 8 раз меньше, а повторы символов есть... Получили продвинутый PKZIP. --- Тут другой вопрос: а файлы ети последовательно читать надо или должен быть прямой доступ к каждому? --- Пора и мне в Werewolfы... |
|
Сообщ.
#11
,
|
|||
|
|
Имел ввиду отсортированность самой таблицы.. Это действительно убыстрит доступ к файлу по имени... |
|
Сообщ.
#12
,
|
|
|
|
2Visitor:
доступ идет абсолютно к произвольному файлу в данный момент времени.. |
|
Сообщ.
#13
,
|
|
|
|
Я имелл ввиду, к произвольному байту произвольного файла, или к произвольному файлу просто?
|
|
Сообщ.
#14
,
|
|
|
|
к файлу...
|
|
Сообщ.
#15
,
|
|
|
|
Тогда склеивать файлы в 1 ни в коем случае нельзя... Все хорошие алгоритмы сжатия просто не оставяют достаточно избыточной информации, чтобы начать читать сжатый поток "с середины". Восстановить состояние автомата-кодера можно, только прочитав весь предшествующий сжатый поток...
|