Каталог расширений

Популярные теги

3gp       avi       fb2       jpg       mp3       pdf      

Главная » Разное » Как определить степень сжатия файла

Как определить степень сжатия файла


Как узнать степень сжатия файлов архива пошаговая инструкция

E-mail: [email protected]

Этот сайт использует cookie для хранения данных. Продолжая использовать сайт, Вы даете свое согласие на работу с этими файлами
ВНИМАНИЕ! При копировании материалов с сайта, активная обратная ссылка на kompmix.ru - обязательна.

kompmix.ru © 2020 Все права защищены.

Как посмотреть степень сжатия архива – инструкция

Приветствую!
В этой подробной пошаговой инструкции, с фотографиями, мы покажем вам, как узнать степень сжатия файлов в архиве.
Воспользовавшись этой инструкцией, вы с легкостью справитесь с данной задачей.

Узнаём степень сжатия архива

Для определения степени сжатия на компьютере должен быть установлен архиватор WinRar. Если он у вас не установлен, то вот в этой подобной пошаговой инструкции рассказывается о том, где его бесплатно скачать и как установить.

Вызовите контекстное меню, кликнув правой клавишей мышки на интересующем архиве, для которого требуется определить степень сжатия.

В нём выберите пункт Свойства.

В открывшемся окне перейдите во вкладку Архив. Там в строке Степень сжатия будет указан интересующий нас параметр.

Если у вас остались вопросы, вы можете задать их в комментариях.

Мы рады, что смогли помочь Вам в решении поставленной задачи или проблемы.

В свою очередь, Вы тоже можете нам очень помочь.

Просто поделитесь статьей в социальных сетях и мессенджерах с друзьями.

Поделившись результатами труда автора, вы окажете неоценимую помощь как ему самому, так и сайту в целом. Спасибо!

Опрос: помогла ли вам эта статья?  

(cбор пожертвований осуществляется через сервис «ЮMoney»)

На что пойдут пожертвования \ реквизиты других платёжных систем Привет.

Не секрет, что в экономике ныне дела обстоят не лучшим образом, цены растут, а доходы падают. И данный сайт также переживает нелёгкие времена :-(
Если у тебя есть возможность и желание помочь развитию ресурса, то ты можешь перевести любую сумму (даже самую минимальную) через форму пожертвований, или на следующие реквизиты:

Номер банковской карты: 5331 5721 0220 5546
Кошелёк ЮMoney: 410015361853797
Кошелёк WebMoney: P865066858877
PayPal: [email protected]
QIWI кошелёк: +79687316794
BitCoin: 1DZUZnSdcN6F4YKhf4BcArfQK8vQaRiA93

Оказавшие помощь:
Сергей И. - 500руб
<аноним> - 468руб
<аноним> - 294руб
Мария М. - 300руб
Валерий С. - 420руб
<аноним> - 600руб
Полина В. - 240руб

Деньги пойдут на оплату хостинга, продление домена, администрирование и развитие ресурса. Спасибо.
С уважением, создатель сайта IT-Actual.ru

Показатель степени сжатия файлов — Студопедия.Нет

Реферат на тему: "Программы-архиваторы"

Выполнила: Дмитриева Диана

 Содержание

1.Введение

2.Основные виды программ-архиваторов

3.Сжатие файлов при архивации

4. Показатель степени сжатия файлов

5. Оценка функциональности самых популярных архиваторов

5.1 WinZip

5.2 WinRAR

5.3 WinAce

5.4 7-Zip

6.Заключение

7.Список литературы

Введение

Архивация - это сжатие, уплотнение, упаковка информации с целью ее более рационального размещения на внешнем носителе (диске или дискете). Архиваторы - это программы, реализующие процесс архивации, позволяющие создавать и распаковывать архивы.

Необходимость архивации связана с резервным копированием информации на диски и дискеты с целью сохранения программного обеспечения компьютера и защиты его от порчи и уничтожения (умышленного, случайного или под действием компьютерного вируса). Чтобы уменьшить потери информации, следует иметь резервные копии всех программ и файлов.

Программы-упаковщики (архиваторы) позволяют за счет специальных методов сжатия информации создавать копии файлов меньшего размера и объединять копии нескольких файлов в один архивный файл. Это даёт возможность на дисках или дискетах разместить больше информации, то есть повысить плотность хранения информации на единицу объёма носителя (дискеты или диска).

Кроме того, архивные файлы широко используются для передачи информации в Интернете и по электронной почте, причем благодаря сжатию информации повышается скорость её передачи. Это особенно важно, если учесть, что быстродействие модема и канала связи (телефонной линии) намного меньше, чем процессора и жесткого диска.

Работа архиваторов основана на том, что они находят в файлах повторяющиеся участки и пробелы, помечают их в архивном файле и затем при распаковке восстанавливают по этим отметкам исходные файлы.

Программы-упаковщики (или архиваторы) позволяют помещать копии файлов в архив и извлекать файлы из архива, просматривать оглавление архива и тестировать его целостность, удалять файлы, находящиеся в архиве, и обновлять их, устанавливать пароль при извлечении файлов из архива и др. Разные программы архивации отличаются форматом архивных файлов, скоростью работы, степенью сжатия, набором услуг (полнотой меню для пользователя), удобством пользования (интерфейсом), наличием помощи, собственным размером.

Ряд архиваторов позволяют создавать многотомные архивы, самоизвлекающиеся архивы, архивы, содержащие каталоги. Наиболее популярны и широко используются следующие архиваторы: ARJ, PKZIP/PKUNZIP, RAR, ACE, LHA, ICE, PAK, PKARC/PKXARC, ZOO, HYPER, AIN.

Наиболее высокоэффективными являются архиваторы RAR, ACE, AIN, ARJ.

Основные виды программ-архиваторов

Различными разработчиками были созданы специальные программы для архивации файлов. Как правило, программы для архивации файлов позволяют помещать копии файлов на диске в сжатом виде в архивный файл, извлекать файлы из архива, просматривать оглавление архива и т.д. Разные программы отличаются форматом архивных файлов, скоростью работы, степенью сжатия файлов при помещении в архив, удобством использования.

В настоящее время применяется несколько десятков программ - архиваторов, которые отличаются перечнем функций и параметрами работы, однако лучшие из них имеют примерно одинаковые характеристики. Из числа наиболее популярных программ можно выделить:, PKPAK, LHA, ICE, HYPER, ZIP, РАК, ZOO, EXPAND, разработанные за рубежом, а также AIN и RAR, разработанные в России. Обычно упаковка и распаковка файлов выполняются одной и той же программой, но в некоторых случаях это осуществляется разными программами, например, программа РКZIР производит упаковку файлов, a PKUNZIP - распаковку файлов.

Программы-архиваторы позволяют создавать и такие архивы, для извлечения из которых содержащихся в них файлов не требуются какие - либо программы, так как сами архивные файлы могут содержать программу распаковки. Такие архивные файлы называются самораспаковывающимися.

Самораспаковывающийся архивный файл - это загрузочный, исполняемый модуль, который способен к самостоятельной разархивации находящихся в нем файлов без использования программы - архиватора.

Самораспаковывающийся архив получил название SFX - архив (SelF - eXtracting).

архиватор сжатие упаковщик потеря

Сжатие файлов при архивации

Все алгоритмы сжатия оперируют входным потоком информации с целью получения более компактного выходного потока при помощи некоторого преобразования. Основными техническими характеристиками процессов сжатия и результатов их работы являются:

·степень сжатия - отношение объемов исходного и результирующего потоков;

·скорость сжатия - время, затрачиваемое на сжатие некоторого объема информации входного потока, до получения из него эквивалентного выходного потока;

·качество сжатия - величина, показывающая, на сколько сильно упакован выходной поток при применении к нему повторного сжатия по тому же или другому алгоритму.

Алгоритмы, которые устраняют избыточность записи данных, называются алгоритмами сжатия данных, или алгоритмами архивации. В настоящее время существует огромное множество программ для сжатия данных, основанных на нескольких основных способах.

Все алгоритмы сжатия данных делятся на:

) алгоритмы сжатия без потерь, при использовании которых данные на приемной восстанавливаются без малейших изменений;

)алгоритмы сжатия с потерями, которые удаляют из потока данных информацию, незначительно влияющую на суть данных, либо вообще невоспринимаемую человеком.

Существует два основных метода архивации без потерь:

алгоритм Хаффмана (англ. Huffman), ориентированный на сжатие последовательностей байт, не связанных между собой,

алгоритм Лемпеля-Зива (англ. Lempel, Ziv), ориентированный на сжатие любых видов текстов, то есть использующий факт неоднократного повторения "слов" - последовательностей байт.

Практически все популярные программы архивации без потерь (ARJ, RAR, ZIP и т.п.) используют объединение этих двух методов - алгоритм LZH.

Алгоритм Хаффмана.

Алгоритм основан на том факте, что некоторые символы из стандартного 256-символьного набора в произвольном тексте могут встречаться чаще среднего периода повтора, а другие, соответственно, - реже. Следовательно, если $+o записи распространенных символов использовать короткие последовательности бит, длиной меньше 8, а для записи редких символов - длинные, то суммарный объем файла уменьшится.

Алгоритм Лемпеля-Зива. Классический алгоритм Лемпеля-Зива -LZ77, названный так по году своего опубликования, предельно прост. Он формулируется следующим образом: если в прошедшем ранее выходном потоке уже встречалась подобная последовательность байт, причем запись о ее длине и смещении от текущей позиции короче чем сама эта последовательность, то в выходной файл записывается ссылка (смещение, длина), а не сама последовательность.

Показатель степени сжатия файлов

Сжатие информации в архивных файлах производится за счет устранения избыточности различными способами, например за счет упрощения кодов, исключения из них постоянных битов или представления повторяющихся символов или повторяющейся последовательности символов в виде коэффициента повторения и соответствующих символов. Алгоритмы подобного сжатия информации реализованы в специальных программах-архиваторах (наиболее известные из которых arj/arjfolder, pkzip/pkunzip/winzip, rar/winrar) применяются определенные Сжиматься могут как один, так и несколько файлов, которые в сжатом виде помещаются в так называемый архивный файл или архив.

Целью упаковки файлов обычно являются обеспечение более компактного размещения информации на диске, сокращение времени и соответственно стоимости передачи информации по каналам связи в компьютерных сетях. Поэтому основным показателем эффективности той или иной программы-архиватора является степень сжатия файлов.

Степень сжатия файлов характеризуется коэффициентом Кс, определяемым как отношение объема сжатого файла Vc к объему исходного файла Vо, выраженное в процентах (в некоторых источниках используется обратное соотношение):

Кс=(Vc/Vo)*100%

Степень сжатия зависит от используемой программы, метода сжатия и типа исходного файла.

Наиболее хорошо сжимаются файлы графических образов, текстовые файлы и файлы данных, для которых коэффициент сжатия может достигать 5 - 40%, меньше сжимаются файлы исполняемых программ и загрузочных модулей Кс = 60 - 90%. Почти не сжимаются архивные файлы. Это нетрудно объяснить, если знать, что большинство программ-архиваторов используют для сжатия варианты алгоритма LZ77 (Лемпеля-Зива), суть которого заключается в особом кодировании повторяющихся последовательностей байт (читай - символов). Частота встречаемости таких повторов наиболее высока в текстах и точечной графике и практически сведена к нулю в архивах.

Кроме того, программы для архивации все же различаются реализациями алгоритмов сжатия, что соответственно влияет на степень сжатия.

В некоторые программы-архиваторы дополнительно включаются средства, направленные на уменьшение коэффициента сжатия Кс. Так в программе WinRAR реализован механизм непрерывного (solid) архивирования, при использовании которого может быть достигнута на 10 - 50% более высокая степень сжатия, чем дают обычные методы, особенно если упаковывается значительное количество небольших файлов однотипного содержания.

Характеристики архиваторов - обратно зависимые величины. То есть, чем больше скорость сжатия, тем меньше степень сжатия, и наоборот.

На компьютерном рынке предлагается множество архиваторов - у каждого свой набор поддерживаемых форматов, свои плюсы и минусы, свой круг почитателей, свято верящих в то, что используемый ими архиватор самый лучший. Не будем никого и ни в чем разубеждать - просто попытаемся беспристрастно оценить самые популярные архиваторы в плане функциональности и эффективности. К таковым отнесем WinZip, WinRAR, WinAce, 7-Zip - они лидируют по количеству скачиваний на софтовых серверах. Рассматривать остальные архиваторы вряд ли целесообразно, поскольку процент применяющих их пользователей (судя по числу скачиваний) невелик.

Принципы сжатия информации. Обзор методов сжатия данных При архивировании степень сжатия файла зависит от

Одним из наиболее распространенных видов системных программ являются программы, предназначенные для архивации, упаковки файлов путем сжатия хранимой в них информации.

Сжатие информации — это процесс преобразования информации, хранящейся в файле, в результате которого уменьшается ее избыточность, соответственно, требуется меньший объем Памяти для хранения.

Сжатие информации в файлах производится за счет устранения избыточности различными способами, например за счет упрощения кодов, исключения из них постоянных битов или представления повторяющихся символов или повторяющейся последовательности символов в виде коэффициента повторения и соответствующих символов. Применяются различные алгоритмы подобного сжатия информации.

Сжиматься могут как одни, так и несколько файлов, которые в сжатом виде помещаются в так называемый архивный файл , или архив.

Архивный файл — это специальным образом организованный файл, содержащий в себе один или несколько файлов в сжатом или несжатом виде и служебную информацию об именах файлов, дате и времени их создания или модификации, размерах и т. д.

Целью упаковки файлов обычно являются обеспечение более компактного размещения информации на диске, сокращение времени и, соответственно, стоимости передачи информации по каналам связи в компьютерных сетях. Кроме того, упаковка в один архивный файл группы файлов существенно упрощает их перенос с одного компьютера на другой, сокращает время копирования файлов на диски, позволяет защитить информацию от несанкционированного доступа, способствует защите от заражения компьютерными вирусами.

Под степенью сжатия понимают отношение размеров сжатого файла и исходного, выраженное в процентах.

Степень сжатия зависит от используемой программы сжатия, метода сжатия и типа исходного файла. Лучше всего сжимаются файлы графических образов, текстовые файлы, файлы данных, степень сжатия которых может достигать 5 — 40%, меньше сжимаются файлы исполняемых программ и загрузочных модулей — 60 — 90%. Почти не сжимаются архивные файлы. Программы для архивации отличаются используемыми методами сжатия, что соответственно влияет на степень сжатия.

Архивация (упаковка) — помещение (загрузка) исходных файлов в архивный файл в сжатом или несжатом виде.

Разархивацияия (распаковка) — процесс восстановления файлов из архива точно в таком виде, какой они имели до загрузки в архив. При распаковке файлы извлекаются из архива и помещаются на диск или в оперативную память.

Программы, осуществляющие упаковку и распаковку файлов, называются программами-архиваторами.

Большие по объему архивные файлы могут быть размещены на нескольких дисках (томах). Такие архивы называются многотомными . Том - это составная часть многотомного архива. Создавая архив из нескольких частей, можно записать его части на несколько носителей.

Основные виды программ-архиваторов

В настоящее время применяется несколько десятков программ-архиваторов, которые отличаются перечнем функций и параметрами работы, однако лучшие из них имеют примерно одинаковые характеристики. Из числа наиболее популярных программ можно выделить: Zip (и его модификация WinZip), WinRAR, Arj (и его разновидности), G-Zip, 7-Zip.

Программы-архиваторы позволяют создавать и такие архивы, для извлечения файлов из которых не требуются какие-либо программы, гак как сами архивные файлы могут содержать программу распаковки. Такие архивные файлы называются самораспаковывающимися. Самораспаковывающийся архивный файл — это загрузочный, исполняемый модуль, который способен к самостоятельной разархивации находящихся в нем файлов без использования программы-архиватора.

Самораспаковывающийся архив получил название SFX-архив (SelF-eXtracting). Архивы такого типа обычно создаются в формате ЕХЕ-файла.

Многие программы-архиваторы производят распаковку файлов, выгружая их на диск, но имеются и такие, которые предназначены для создания упакованного исполняемого модуля (программы). В результате такой упаковки создается программный файл с теми же именем и расширением, который при загрузке в оперативную память

§16. Сжатие данных






Содержание урока

Зачем и как сжимать данные?

Сжатие без потерь

Сжатие с потерями

Программы-архиваторы

Выводы. Интеллект-карта

Вопросы и задания

Практическая работа № 5 «Использование архиватора»


Зачем и как сжимать данные?


Ключевые слова:


 • сжатие данных 
 • коэффициент сжатия 
 • сжатие без потерь 
 • сжатие с потерями
 • архивация
 • самораспаковывающийся
 архив
 • программа-архиватор 
 • контрольная сумма

Для того чтобы сэкономить место на внешних носителях (жёстких дисках, «флэшках») или ускорить передачу данных по компьютерным сетям, можно сжать данные — уменьшить их информационный объём, сократить размер файла.

Как вы уже знаете, рисунки часто хранятся в сжатом виде. Кроме того, сжатие почти всегда используется при хранении и передаче звука и видео — упаковку и распаковку этих данных выполняют специальные программы-кодеки.

Покажем, как можно сжать данные, на простом примере. Есть файл, в котором в 8-битной кодировке записаны сначала 100 русских букв А, а потом — 100 букв Б (рис. 2.39).

Рис. 2.39

Каждая буква на рис. 2.39 занимает 8 бит. Определите информационный объём файла в байтах.

Теперь запишем те же самые данные иначе: сначала количество повторений первого символа, а затем — сам первый символ, потом так же для второго символа (рис. 2.40).

Рис. 2.40

Каждая ячейка на рис. 2.40 занимает 8 бит. Определите информационный объём файла в байтах.

Объём файла уменьшился, это значит, что мы сжали данные.

Коэффициент сжатия — это отношение размера исходного файла IO к размеру сжатого файла IСЖ: kсж = IO / IСЖ

Определите коэффициент сжатия файла в рассмотренном выше примере.

Почему же этот файл удалось так удачно сжать? Всё дело в том, что в нём были длинные цепочки повторяющихся символов, и мы применили алгоритм, который очень удачно их сжимает. Этот алгоритм называется кодированием цепочек одинаковых символов (по-английски — RLE 1) : Run Length Encoding).

1) Алгоритм RLE можно успешно использовать для сжатия рисунков, в которых большие области закрашены одним цветом.

В файле записаны 100 различных символов. Определите коэффициент сжатия файла с помощью алгоритма RLE. Что означает полученное число?

Данные можно сжать, если в них есть какие-то закономерности (избыточность), например одинаковые символы, стоящие рядом, или одинаковые цепочки символов («слова»). Поэтому хорошо сжимаются данные, в которых таких закономерностей много, например тексты и рисунки. Хуже всего сжимаются случайные данные, в которых нет ничего закономерного.

Программы для сжатия данных выявляют избыточность данных и устраняют её, поэтому сжимать второй раз уже сжатые данные чаще всего бесполезно.

Следующая страница Сжатие без потерь

Cкачать материалы урока

Степень сжатия данных - Data compression ratio

Степень сжатия данных , также известная как мощность сжатия , является мерой относительного уменьшения размера представления данных, создаваемого алгоритмом сжатия данных. Обычно это выражается как деление несжатого размера на сжатый.

Определение

Степень сжатия данных определяется как соотношение между размером несжатого и сжатого файлов :

Cомпреssяопратяознак равноUпcомпреssеdSяzеCомпреssеdSяzе{\ displaystyle {\ rm {Compression \; Ratio}} = {\ frac {\ rm {Uncompressed \; Size}} {\ rm {Compressed \; Size}}}}

Таким образом, представление, которое сжимает размер хранилища файла с 10 МБ до 2 МБ, имеет коэффициент сжатия 10/2 = 5, часто обозначаемый как явное соотношение, 5: 1 (читается как «пять» к «одному») или как неявное соотношение 5/1. Эта формулировка в равной степени применима к сжатию, когда размер несжатого файла равен размеру оригинала; и для декомпрессии, где размер без сжатия - это размер воспроизведения.

Иногда вместо этого предоставляется экономия места , которая определяется как уменьшение размера по сравнению с размером без сжатия:

SпаcеSаvяпгзнак равно1-CомпреssеdSяzеUпcомпреssеdSяzе{\ displaystyle {\ rm {Пробел \; Сохранение}} = 1 - {\ frac {\ rm {Сжатый \; Размер}} {\ rm {Несжатый \; Размер}}}}

Таким образом, представление, которое сжимает размер хранилища файла с 10 МБ до 2 МБ, дает экономию пространства 1-2/10 = 0,8, часто выраженную в процентах, 80%.

Для сигналов неопределенного размера, таких как потоковое аудио и видео, степень сжатия определяется в терминах скорости несжатых и сжатых данных вместо размеров данных:

Cомпреssяопратяознак равноUпcомпреssеdDатаратеCомпреssеdDатарате{\ displaystyle {\ rm {Compression \; Ratio}} = {\ frac {\ rm {Uncompressed \; Data \; Rate}} {\ rm {Compressed \; Data \; Rate}}}}

и вместо экономии места говорят об экономии скорости передачи данных , которая определяется как снижение скорости передачи данных по сравнению со скоростью передачи несжатых данных:

DатаратеSаvяпгзнак равно1-CомпреssеdDатаратеUпcомпреssеdDатарате{\ displaystyle {\ rm {Data \; Rate \; Saving}} = 1 - {\ frac {\ rm {Compressed \; Data \; Rate}} {\ rm {Uncompressed \; Data \; Rate}}}}

Например, несжатые песни в формате CD имеют скорость передачи данных 16 бит / канал x 2 канала x 44,1 кГц ≅ 1,4 Мбит / с, тогда как файлы AAC на iPod обычно сжимаются до 128 кбит / с, что дает коэффициент сжатия 10,9 , для экономии скорости передачи данных 0,91, или 91%.

Когда скорость передачи несжатых данных известна, степень сжатия можно вывести из скорости передачи сжатых данных.

Без потерь против потерь

Сжатие без потерь оцифрованных данных, таких как видео, оцифрованная пленка и звук, сохраняет всю информацию, но обычно не обеспечивает более высокую степень сжатия, чем 2: 1, из-за внутренней энтропии данных. Алгоритмы сжатия, которые обеспечивают более высокие коэффициенты, либо несут очень большие накладные расходы, либо работают только для определенных последовательностей данных (например, сжатие файла в основном с нулями). Напротив, сжатие с потерями (например, JPEG для изображений или MP3 и Opus для аудио) может достичь гораздо более высоких коэффициентов сжатия за счет снижения качества, например, потоковая передача звука через Bluetooth, поскольку визуальные или звуковые артефакты сжатия из-за потери важной информации вводятся. Для преобразования видео 1080i в транспортный поток MPEG со скоростью 20 Мбит / с требуется степень сжатия не менее 50: 1 .

Использует

Степень сжатия данных может служить мерой сложности набора данных или сигнала. В частности, он используется для аппроксимации алгоритмической сложности . Он также используется, чтобы увидеть, какую часть файла можно сжать без увеличения его исходного размера.

Ссылки

внешняя ссылка

<img src="https://en.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="">

Как работает сжатие файлов | HowStuffWorks

В нашем предыдущем примере мы выбрали все повторяющиеся слова и поместили их в словарь. Для нас это наиболее очевидный способ составления словаря. Но программа сжатия видит это совершенно по-другому: в ней нет концепции отдельных слов - она ​​только ищет шаблоны. А чтобы максимально уменьшить размер файла, он тщательно выбирает, какие шаблоны включить в словарь.

Если подойти к фразе с этой точки зрения, мы получим совершенно другой словарь.

Объявление

Если бы программа сжатия просканировала фразу Кеннеди, первая повторяемость, с которой она столкнется, будет состоять всего из пары букв. В словах «не спрашивайте, что у вас» есть повторяющийся узор из буквы «т», за которой следует пробел - в «не» и «что». Если программа сжатия записала это в словарь, она могла бы записывать «1» каждый раз, когда за буквой «t» следовало пробел. Но в этой короткой фразе этого шаблона недостаточно, чтобы его можно было использовать, поэтому программа в конечном итоге его перезапишет.

Следующее, что может заметить программа, - это «ou», которое встречается как в «your», так и в «country». Если бы это был более длинный документ, запись этого шаблона в словарь могла бы сэкономить много места - «ou» - довольно распространенная комбинация в английском языке. Но по мере того, как программа сжатия прорабатывала это предложение, она быстро обнаружила лучший выбор для словарной статьи: не только повторяется «ou», но и повторяются целые слова «your» и «country», и они фактически повторяются. вместе, как фраза «ваша страна.«В этом случае программа перезапишет словарную статью для« ou »записью« ваша страна ».

Фраза «может сделать для» также повторяется, один раз за ней следует «ваш» и один раз за ней следует «вы», что дает нам повторяющийся образец «могу сделать для вас». Это позволяет нам записывать 15 символов (включая пробелы) с одним числовым значением, в то время как «ваша страна» позволяет нам записывать только 13 символов (с пробелами) с одним числовым значением, поэтому программа перезаписывает запись «ваша страна» как просто «r страна, а затем напишите отдельную запись для "может сделать для вас.«Программа действует таким образом, собирая все повторяющиеся биты информации и затем вычисляя, какие шаблоны следует записать в словарь. Эта способность переписывать словарь является« адаптивной »частью алгоритма LZ на основе адаптивного словаря . То, как программа действительно это делает, довольно сложно, как вы можете видеть из обсуждений на Data-Compression.com.

Независимо от того, какой конкретный метод вы используете, эта система глубокого поиска позволяет сжимать файл гораздо эффективнее, чем если бы вы просто выбирали слова.Используя шаблоны, которые мы выбрали выше, и добавив «__» для пробелов, мы получили более крупный словарь:

  1. спросите__
  2. what__
  3. you
  4. r__country
  5. __can__do__for__you

И это меньшее предложение: «1not__2345 __ - __ 12354»

Предложение теперь занимает 18 единиц памяти, а наш словарь занимает 41 единицу.Итак, мы уменьшили общий размер файла с 79 до 59 единиц! Это всего лишь один способ сжатия фразы, и не обязательно самый эффективный. (Посмотрим, сможете ли вы найти лучший способ!)

Так насколько хороша эта система? Коэффициент уменьшения файла зависит от ряда факторов, включая тип файла, размер файла и схему сжатия.

В большинстве языков мира определенные буквы и слова часто встречаются вместе в одном шаблоне.Из-за такой высокой степени избыточности текстовые файлы , очень хорошо сжимаются. Уменьшение на 50 процентов и более типично для текстового файла хорошего размера. Большинство языков программирования также очень избыточны, потому что они используют относительно небольшой набор команд, которые часто идут вместе в заданном шаблоне. Файлы, содержащие много уникальной информации, например графику или файлы MP3, не могут быть сильно сжаты с помощью этой системы, потому что они не повторяют много шаблонов (подробнее об этом в следующем разделе).

Если в файле много повторяющихся шаблонов, скорость уменьшения обычно увеличивается с размером файла. Вы можете убедиться в этом, просто взглянув на наш пример - если бы у нас было больше речи Кеннеди, мы могли бы чаще обращаться к шаблонам в нашем словаре и таким образом получать больше от файлового пространства каждой записи. Кроме того, в ходе более продолжительной работы могут появиться более распространенные шаблоны, что позволит нам создать более эффективный словарь.

Эта эффективность также зависит от конкретного алгоритма, используемого программой сжатия.Некоторые программы особенно подходят для сбора шаблонов в определенных типах файлов и поэтому могут сжать их более лаконично. У других есть словари в словарях, которые могут эффективно сжимать файлы большего размера, но не файлы меньшего размера. Хотя все программы сжатия подобного типа работают с одной и той же основной идеей, на самом деле существует множество вариантов выполнения. Программисты всегда пытаются построить лучшую систему.

.

c - Какое может быть наименьшее возможное значение коэффициента сжатия данных для любого реального набора данных

Переполнение стека
  1. Около
  2. Товары
  3. Для команд
  1. Переполнение стека Общественные вопросы и ответы
.Алгоритм

- влияет ли порядок данных в текстовом файле на степень его сжатия?

Переполнение стека
  1. Около
  2. Товары
  3. Для команд
  1. Переполнение стека Общественные вопросы и ответы
  2. Переполнение стека для команд Где разработчики и технологи делятся частными знаниями с коллегами
  3. Вакансии Программирование и связанные с ним технические возможности карьерного роста
  4. Талант
.Сжатие

- btrfs Wiki

Btrfs поддерживает прозрачное сжатие файлов. Доступны три алгоритма: ZLIB, LZO и ZSTD (начиная с v4.14). Как правило, сжатие выполняется пофайловым образом. У вас может быть одна точка монтирования btrfs, в которой есть файлы, которые не сжаты, некоторые сжаты с помощью LZO, некоторые с ZLIB, например (хотя вы, возможно, не хотите, чтобы был таким, но он поддерживается).

Крепление с -o сжатием или -o сжимающим усилием .Затем напишите (или перезапишите) файлы, и они будут прозрачно сжаты. Некоторые файлы могут не сжиматься очень хорошо, и они, как правило, не сжимаются повторно, а записываются без сжатия. Посмотрите, что происходит с несжимаемыми файлами? раздел ниже.

Какой метод сжатия используется по умолчанию?

ZLIB. «По умолчанию» означает, если он указан опцией монтирования «сжать» или 'compress-force', либо через chattr + c, либо дефрагментацию файловой системы btrfs -c.

Могу ли я установить уровень сжатия?

Поддержка уровней ZLIB была добавлена ​​в v4.14, LZO не поддерживает уровни (реализация ядра предоставляет только один), поддержка уровня ZSTD была добавлена ​​в v5.1.

Поддерживается 9 уровней ZLIB (от 1 до 9), отображая 1: 1 из варианта монтирования на уровень, определенный алгоритмом. По умолчанию установлен уровень 3, который обеспечивает максимальную степень сжатия и при этом достаточно высокую скорость. Разница в усилении компрессии на уровнях 7, 8 и 9 сопоставима, но более высокие уровни требуют больше времени. Уровень можно указать в качестве параметра монтирования, например «compress = zlib: 1».Уровень 0 соответствует значению по умолчанию. Поддержка ZSTD включает до 15 уровней.

Есть компромисс между скоростью и соотношением:

  • ZLIB - медленнее, выше степень сжатия (используется настройка zlib level 3, вы можете увидеть разницу уровней zlib между 1 и 6 в исходных файлах zlib).
  • LZO - более быстрое сжатие и распаковка, чем zlib, худшая степень сжатия, разработано, чтобы быть быстрым
  • ZSTD - (начиная с v4.14) сжатие сопоставимо с zlib с более высокими скоростями сжатия / распаковки и различными уровнями соотношения (подробности)

Различия зависят от фактического набора данных и не могут быть выражены одним числом или рекомендацией.Сделайте свои собственные тесты. LZO дает удовлетворительные результаты для общего использования.

Поддерживаются ли другие методы сжатия?

В настоящее время нет, а с ZSTD дальнейших планов по добавлению нет. Алгоритм LZ4 рассматривался, но не принес существенных результатов.

Поддержка Snappy (сжимает медленнее, чем LZ0, но распаковывает намного быстрее) также была предложена.

Была проделана некоторая работа по добавлению поддержки lzma (очень медленное, сильное сжатие).Текущий статус «больше не рассматривается».

Можно ли сжать данные файла разными методами?

Да. Алгоритм сжатия сохраняется для каждого экстента. Установка метода сжатия повлияет на вновь записанные данные, поэтому в файле можно использовать все типы сжатия.

compsize берет список файлов в файловой системе btrfs и измеряет используемые типы сжатия и эффективную степень сжатия: https://github.com/kilobyte/compsize

Есть патч, добавляющий поддержку, который в настоящее время не объединен.Вы можете предположить его сжатый размер, сравнив вывод команды df до и после записи файла, если это доступно вам.

Почему du не сообщает о сжатом размере?

Традиционно файловые системы UNIX / Linux не поддерживали сжатие, и в структуре данных stat не было элемента, выделенного для аналогичной цели. Существует размер файла, который обозначает номинальный размер файла независимо от фактически выделенного размера на диске.Для этого элемент stat.st_blocks содержит значение, соответствующее количеству выделенных блоков, то есть в случае разреженных файлов. Однако при сжатии фактически выделенный размер может быть меньше номинального, хотя файл не является разреженным.
Существуют утилиты, которые определяют разреженность файла путем сравнения номинального размера и размера, выделенного блоком. Такое поведение может вызвать ошибки, если st_blocks содержал размер после сжатия.
Еще одна проблема с обратной совместимостью заключается в том, что до сих пор st_blocks всегда содержал несжатое количество блоков.Непонятно, что будет, если будут файлы со смешанными типами значений. Предлагаемое решение - добавить для этого еще один специальный вызов (через ioctl ), но это может быть не идеальным решением.

Не напрямую, но это возможно из пользовательского инструмента без какой-либо специальной поддержки ядра (код просто не был написан).

Да. Утилита chattr поддерживает установку атрибута файла c , который отмечает индексный дескриптор для сжатия вновь записанных данных. Установка свойства сжатия для файла с помощью набора свойств btrfs <файл> сжатие заставит принудительно использовать сжатие для этого файла с использованием указанного алгоритма.

Можно отключить сжатие новых экстентов в файле с помощью команды btrfs property set <файл> сжатие "" . Это установит флаг «без сжатия» для файла, и вновь записанные экстенты не будут сжиматься до тех пор, пока флаг не будет сброшен либо с помощью chattr + c , либо с помощью свойства сжатия для определения алгоритма. Флаг можно удалить с помощью команды chattr -c . Уже записанные экстенты не будут перезаписаны.

В настоящее время нет, это планируется.Вы можете смоделировать это, включив сжатие в каталоге вложенного тома, и файлы / каталоги унаследуют флаг сжатия.

Сжатие вновь записанных данных происходит:

  1. всегда - если файловая система смонтирована с -o compress-force
  2. никогда - если для файла / каталога установлен флаг NOCOMPRESS
  3. , если возможно - если установлен флаг COMPRESS для каждого файла (он же chattr + c ), но он может быть преобразован в NOCOMPRESS в конечном итоге
  4. если возможно - если указана опция крепления -o compress

Обратите внимание, что при установке с -o compress не будет установлен атрибут файла + c .

Используйте команду дефрагментации файловой системы btrfs, опция -r будет рекурсивно обрабатывать файлы в каталоге. Это не зависит от крепления опции сжимаем или сжимаем-силу , а с помощью опции -c вы можно установить алгоритм сжатия.

В настоящее время (v4.14) невозможно выбрать "без сжатия", используя команда дефрагментации. Это может измениться в будущем.

Сжатие не работает с прямым вводом-выводом (DIO), работает с COW (по умолчанию) и не работает с файлами NOCOW.Если файл открыт в режиме DIO, он вернется к буферизованному вводу-выводу.

Есть ли штрафы за скорость при произвольном доступе к сжатому файлу?

Да. Сжатие обрабатывает диапазоны файлов размером не более 128 КиБ и сжимает каждый блок размером 4 КиБ (или размером страницы) отдельно. Для доступа к байту в середине заданного диапазона 128 КиБ требуется распаковать весь диапазон. Это не оптимально и подлежит оптимизации и доработке.

Существует простая логика принятия решения: если первая часть сжимаемых данных не меньше оригинала, сжатие файла отключается - если файловая система не смонтирована с -o compress-force .В этом случае всегда будут предприниматься попытки сжатия файла только для последующего удаления. Это не оптимально и подлежит оптимизации и доработке.

Это означает, что много раз, даже если у вас включено сжатие, если первая часть файла не сжимается должным образом, а остальная * сжимает *, остальная часть все равно не сжимается. Рекомендуется использовать -o compress-force , если вы действительно хотите, чтобы сжатие было включено в смонтированной файловой системе, хотя, если у вас много файлов разных типов, тогда вам может подойти -o compress .

.

Каково текущее состояние алгоритмов сжатия только текста?

Переполнение стека
  1. Около
  2. Товары
  3. Для команд
  1. Переполнение стека Общественные вопросы и ответы
  2. Переполнение стека для команд
.

Архивирование и сжатие с использованием Linux

Программа архивации tar используется уже более 30 лет и почти не потеряла своей ценности. Частично это связано с тем, что инструмент позволяет архивировать данные с сохранением определений файлов. В основном, однако, потому, что он позволяет упаковывать полные каталоги файлов. Это делает tar идеальным партнером для инструментов сжатия , таких как gzip и bzip2, которые допускают сжатие данных только одного файла.

На первом этапе программа упаковки компилирует все файлы данных в выбранном каталоге в один архивный файл, не разрывая связи ни с одним из содержащихся файлов.На втором этапе файлы сжимаются с помощью одной из специальных программ сжатия. В результате этого сжатия, которое описывается как прогрессивный , компактный или solid , архивные файлы получают расширенные форматы, такие как .tar.gz ( .tgz для краткости) или .tar.bz2 (сокращенно .tbz2 ). Программа упаковки также позволяет распаковывать такие файлы (например, тип файла .tar.gz ).

.

Смотрите также