Каталог расширений

Популярные теги

3gp       avi       fb2       jpg       mp3       pdf      

Как определяется степень сжатия файлов


Как узнать степень сжатия файлов архива пошаговая инструкция

E-mail: [email protected]

Этот сайт использует cookie для хранения данных. Продолжая использовать сайт, Вы даете свое согласие на работу с этими файлами
ВНИМАНИЕ! При копировании материалов с сайта, активная обратная ссылка на kompmix.ru - обязательна.

kompmix.ru © 2020 Все права защищены.

Показатель степени сжатия файлов — Студопедия.Нет

Реферат на тему: "Программы-архиваторы"

Выполнила: Дмитриева Диана

 Содержание

1.Введение

2.Основные виды программ-архиваторов

3.Сжатие файлов при архивации

4. Показатель степени сжатия файлов

5. Оценка функциональности самых популярных архиваторов

5.1 WinZip

5.2 WinRAR

5.3 WinAce

5.4 7-Zip

6.Заключение

7.Список литературы

Введение

Архивация - это сжатие, уплотнение, упаковка информации с целью ее более рационального размещения на внешнем носителе (диске или дискете). Архиваторы - это программы, реализующие процесс архивации, позволяющие создавать и распаковывать архивы.

Необходимость архивации связана с резервным копированием информации на диски и дискеты с целью сохранения программного обеспечения компьютера и защиты его от порчи и уничтожения (умышленного, случайного или под действием компьютерного вируса). Чтобы уменьшить потери информации, следует иметь резервные копии всех программ и файлов.

Программы-упаковщики (архиваторы) позволяют за счет специальных методов сжатия информации создавать копии файлов меньшего размера и объединять копии нескольких файлов в один архивный файл. Это даёт возможность на дисках или дискетах разместить больше информации, то есть повысить плотность хранения информации на единицу объёма носителя (дискеты или диска).

Кроме того, архивные файлы широко используются для передачи информации в Интернете и по электронной почте, причем благодаря сжатию информации повышается скорость её передачи. Это особенно важно, если учесть, что быстродействие модема и канала связи (телефонной линии) намного меньше, чем процессора и жесткого диска.

Работа архиваторов основана на том, что они находят в файлах повторяющиеся участки и пробелы, помечают их в архивном файле и затем при распаковке восстанавливают по этим отметкам исходные файлы.

Программы-упаковщики (или архиваторы) позволяют помещать копии файлов в архив и извлекать файлы из архива, просматривать оглавление архива и тестировать его целостность, удалять файлы, находящиеся в архиве, и обновлять их, устанавливать пароль при извлечении файлов из архива и др. Разные программы архивации отличаются форматом архивных файлов, скоростью работы, степенью сжатия, набором услуг (полнотой меню для пользователя), удобством пользования (интерфейсом), наличием помощи, собственным размером.

Ряд архиваторов позволяют создавать многотомные архивы, самоизвлекающиеся архивы, архивы, содержащие каталоги. Наиболее популярны и широко используются следующие архиваторы: ARJ, PKZIP/PKUNZIP, RAR, ACE, LHA, ICE, PAK, PKARC/PKXARC, ZOO, HYPER, AIN.

Наиболее высокоэффективными являются архиваторы RAR, ACE, AIN, ARJ.

Основные виды программ-архиваторов

Различными разработчиками были созданы специальные программы для архивации файлов. Как правило, программы для архивации файлов позволяют помещать копии файлов на диске в сжатом виде в архивный файл, извлекать файлы из архива, просматривать оглавление архива и т.д. Разные программы отличаются форматом архивных файлов, скоростью работы, степенью сжатия файлов при помещении в архив, удобством использования.

В настоящее время применяется несколько десятков программ - архиваторов, которые отличаются перечнем функций и параметрами работы, однако лучшие из них имеют примерно одинаковые характеристики. Из числа наиболее популярных программ можно выделить:, PKPAK, LHA, ICE, HYPER, ZIP, РАК, ZOO, EXPAND, разработанные за рубежом, а также AIN и RAR, разработанные в России. Обычно упаковка и распаковка файлов выполняются одной и той же программой, но в некоторых случаях это осуществляется разными программами, например, программа РКZIР производит упаковку файлов, a PKUNZIP - распаковку файлов.

Программы-архиваторы позволяют создавать и такие архивы, для извлечения из которых содержащихся в них файлов не требуются какие - либо программы, так как сами архивные файлы могут содержать программу распаковки. Такие архивные файлы называются самораспаковывающимися.

Самораспаковывающийся архивный файл - это загрузочный, исполняемый модуль, который способен к самостоятельной разархивации находящихся в нем файлов без использования программы - архиватора.

Самораспаковывающийся архив получил название SFX - архив (SelF - eXtracting).

архиватор сжатие упаковщик потеря

Сжатие файлов при архивации

Все алгоритмы сжатия оперируют входным потоком информации с целью получения более компактного выходного потока при помощи некоторого преобразования. Основными техническими характеристиками процессов сжатия и результатов их работы являются:

·степень сжатия - отношение объемов исходного и результирующего потоков;

·скорость сжатия - время, затрачиваемое на сжатие некоторого объема информации входного потока, до получения из него эквивалентного выходного потока;

·качество сжатия - величина, показывающая, на сколько сильно упакован выходной поток при применении к нему повторного сжатия по тому же или другому алгоритму.

Алгоритмы, которые устраняют избыточность записи данных, называются алгоритмами сжатия данных, или алгоритмами архивации. В настоящее время существует огромное множество программ для сжатия данных, основанных на нескольких основных способах.

Все алгоритмы сжатия данных делятся на:

) алгоритмы сжатия без потерь, при использовании которых данные на приемной восстанавливаются без малейших изменений;

)алгоритмы сжатия с потерями, которые удаляют из потока данных информацию, незначительно влияющую на суть данных, либо вообще невоспринимаемую человеком.

Существует два основных метода архивации без потерь:

алгоритм Хаффмана (англ. Huffman), ориентированный на сжатие последовательностей байт, не связанных между собой,

алгоритм Лемпеля-Зива (англ. Lempel, Ziv), ориентированный на сжатие любых видов текстов, то есть использующий факт неоднократного повторения "слов" - последовательностей байт.

Практически все популярные программы архивации без потерь (ARJ, RAR, ZIP и т.п.) используют объединение этих двух методов - алгоритм LZH.

Алгоритм Хаффмана.

Алгоритм основан на том факте, что некоторые символы из стандартного 256-символьного набора в произвольном тексте могут встречаться чаще среднего периода повтора, а другие, соответственно, - реже. Следовательно, если $+o записи распространенных символов использовать короткие последовательности бит, длиной меньше 8, а для записи редких символов - длинные, то суммарный объем файла уменьшится.

Алгоритм Лемпеля-Зива. Классический алгоритм Лемпеля-Зива -LZ77, названный так по году своего опубликования, предельно прост. Он формулируется следующим образом: если в прошедшем ранее выходном потоке уже встречалась подобная последовательность байт, причем запись о ее длине и смещении от текущей позиции короче чем сама эта последовательность, то в выходной файл записывается ссылка (смещение, длина), а не сама последовательность.

Показатель степени сжатия файлов

Сжатие информации в архивных файлах производится за счет устранения избыточности различными способами, например за счет упрощения кодов, исключения из них постоянных битов или представления повторяющихся символов или повторяющейся последовательности символов в виде коэффициента повторения и соответствующих символов. Алгоритмы подобного сжатия информации реализованы в специальных программах-архиваторах (наиболее известные из которых arj/arjfolder, pkzip/pkunzip/winzip, rar/winrar) применяются определенные Сжиматься могут как один, так и несколько файлов, которые в сжатом виде помещаются в так называемый архивный файл или архив.

Целью упаковки файлов обычно являются обеспечение более компактного размещения информации на диске, сокращение времени и соответственно стоимости передачи информации по каналам связи в компьютерных сетях. Поэтому основным показателем эффективности той или иной программы-архиватора является степень сжатия файлов.

Степень сжатия файлов характеризуется коэффициентом Кс, определяемым как отношение объема сжатого файла Vc к объему исходного файла Vо, выраженное в процентах (в некоторых источниках используется обратное соотношение):

Кс=(Vc/Vo)*100%

Степень сжатия зависит от используемой программы, метода сжатия и типа исходного файла.

Наиболее хорошо сжимаются файлы графических образов, текстовые файлы и файлы данных, для которых коэффициент сжатия может достигать 5 - 40%, меньше сжимаются файлы исполняемых программ и загрузочных модулей Кс = 60 - 90%. Почти не сжимаются архивные файлы. Это нетрудно объяснить, если знать, что большинство программ-архиваторов используют для сжатия варианты алгоритма LZ77 (Лемпеля-Зива), суть которого заключается в особом кодировании повторяющихся последовательностей байт (читай - символов). Частота встречаемости таких повторов наиболее высока в текстах и точечной графике и практически сведена к нулю в архивах.

Кроме того, программы для архивации все же различаются реализациями алгоритмов сжатия, что соответственно влияет на степень сжатия.

В некоторые программы-архиваторы дополнительно включаются средства, направленные на уменьшение коэффициента сжатия Кс. Так в программе WinRAR реализован механизм непрерывного (solid) архивирования, при использовании которого может быть достигнута на 10 - 50% более высокая степень сжатия, чем дают обычные методы, особенно если упаковывается значительное количество небольших файлов однотипного содержания.

Характеристики архиваторов - обратно зависимые величины. То есть, чем больше скорость сжатия, тем меньше степень сжатия, и наоборот.

На компьютерном рынке предлагается множество архиваторов - у каждого свой набор поддерживаемых форматов, свои плюсы и минусы, свой круг почитателей, свято верящих в то, что используемый ими архиватор самый лучший. Не будем никого и ни в чем разубеждать - просто попытаемся беспристрастно оценить самые популярные архиваторы в плане функциональности и эффективности. К таковым отнесем WinZip, WinRAR, WinAce, 7-Zip - они лидируют по количеству скачиваний на софтовых серверах. Рассматривать остальные архиваторы вряд ли целесообразно, поскольку процент применяющих их пользователей (судя по числу скачиваний) невелик.

Степень сжатия данных - Data compression ratio

Степень сжатия данных , также известная как мощность сжатия , является мерой относительного уменьшения размера представления данных, создаваемого алгоритмом сжатия данных. Обычно это выражается как деление несжатого размера на сжатый.

Определение

Степень сжатия данных определяется как соотношение между размером несжатого и сжатого файлов :

Cомпреssяопратяознак равноUпcомпреssеdSяzеCомпреssеdSяzе{\ displaystyle {\ rm {Compression \; Ratio}} = {\ frac {\ rm {Uncompressed \; Size}} {\ rm {Compressed \; Size}}}}

Таким образом, представление, которое сжимает размер хранилища файла с 10 МБ до 2 МБ, имеет коэффициент сжатия 10/2 = 5, часто обозначаемый как явное соотношение, 5: 1 (читается как «пять» к «одному») или как неявное соотношение 5/1. Эта формулировка в равной степени применима к сжатию, когда размер несжатого файла равен размеру оригинала; и для декомпрессии, где размер без сжатия - это размер воспроизведения.

Иногда вместо этого предоставляется экономия места , которая определяется как уменьшение размера по сравнению с размером без сжатия:

SпаcеSаvяпгзнак равно1-CомпреssеdSяzеUпcомпреssеdSяzе{\ displaystyle {\ rm {Пробел \; Сохранение}} = 1 - {\ frac {\ rm {Сжатый \; Размер}} {\ rm {Несжатый \; Размер}}}}

Таким образом, представление, которое сжимает размер хранилища файла с 10 МБ до 2 МБ, дает экономию пространства 1-2/10 = 0,8, часто выраженную в процентах, 80%.

Для сигналов неопределенного размера, таких как потоковое аудио и видео, степень сжатия определяется в терминах скорости несжатых и сжатых данных вместо размеров данных:

Cомпреssяопратяознак равноUпcомпреssеdDатаратеCомпреssеdDатарате{\ displaystyle {\ rm {Compression \; Ratio}} = {\ frac {\ rm {Uncompressed \; Data \; Rate}} {\ rm {Compressed \; Data \; Rate}}}}

и вместо экономии места говорят об экономии скорости передачи данных , которая определяется как снижение скорости передачи данных по сравнению со скоростью передачи несжатых данных:

DатаратеSаvяпгзнак равно1-CомпреssеdDатаратеUпcомпреssеdDатарате{\ displaystyle {\ rm {Data \; Rate \; Saving}} = 1 - {\ frac {\ rm {Compressed \; Data \; Rate}} {\ rm {Uncompressed \; Data \; Rate}}}}

Например, несжатые песни в формате CD имеют скорость передачи данных 16 бит / канал x 2 канала x 44,1 кГц ≅ 1,4 Мбит / с, тогда как файлы AAC на iPod обычно сжимаются до 128 кбит / с, что дает коэффициент сжатия 10,9 , для экономии скорости передачи данных 0,91, или 91%.

Когда скорость передачи несжатых данных известна, степень сжатия можно вывести из скорости передачи сжатых данных.

Без потерь против потерь

Сжатие без потерь оцифрованных данных, таких как видео, оцифрованная пленка и звук, сохраняет всю информацию, но обычно не обеспечивает более высокую степень сжатия, чем 2: 1, из-за внутренней энтропии данных. Алгоритмы сжатия, которые обеспечивают более высокие коэффициенты, либо несут очень большие накладные расходы, либо работают только для определенных последовательностей данных (например, сжатие файла в основном с нулями). Напротив, сжатие с потерями (например, JPEG для изображений или MP3 и Opus для аудио) может достичь гораздо более высоких коэффициентов сжатия за счет снижения качества, например, потоковая передача звука через Bluetooth, поскольку визуальные или звуковые артефакты сжатия из-за потери важной информации вводятся. Для преобразования видео 1080i в транспортный поток MPEG со скоростью 20 Мбит / с требуется степень сжатия не менее 50: 1 .

Использует

Степень сжатия данных может служить мерой сложности набора данных или сигнала. В частности, он используется для аппроксимации алгоритмической сложности . Он также используется, чтобы увидеть, какую часть файла можно сжать без увеличения его исходного размера.

Ссылки

внешняя ссылка

<img src="https://en.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="">

§16. Сжатие данных






Содержание урока

Зачем и как сжимать данные?

Сжатие без потерь

Сжатие с потерями

Программы-архиваторы

Выводы. Интеллект-карта

Вопросы и задания

Практическая работа № 5 «Использование архиватора»


Зачем и как сжимать данные?


Ключевые слова:


 • сжатие данных 
 • коэффициент сжатия 
 • сжатие без потерь 
 • сжатие с потерями
 • архивация
 • самораспаковывающийся
 архив
 • программа-архиватор 
 • контрольная сумма 
 

Для того чтобы сэкономить место на внешних носителях (жёстких дисках, «флэшках») или ускорить передачу данных по компьютерным сетям, можно сжать данные — уменьшить их информационный объём, сократить размер файла.

Как вы уже знаете, рисунки часто хранятся в сжатом виде. Кроме того, сжатие почти всегда используется при хранении и передаче звука и видео — упаковку и распаковку этих данных выполняют специальные программы-кодеки.

Покажем, как можно сжать данные, на простом примере. Есть файл, в котором в 8-битной кодировке записаны сначала 100 русских букв А, а потом — 100 букв Б (рис. 2.39).

Рис. 2.39

Каждая буква на рис. 2.39 занимает 8 бит. Определите информационный объём файла в байтах.

Теперь запишем те же самые данные иначе: сначала количество повторений первого символа, а затем — сам первый символ, потом так же для второго символа (рис. 2.40).

Рис. 2.40

Каждая ячейка на рис. 2.40 занимает 8 бит. Определите информационный объём файла в байтах.

Объём файла уменьшился, это значит, что мы сжали данные.

Коэффициент сжатия — это отношение размера исходного файла IO к размеру сжатого файла IСЖ: kсж = IO / IСЖ

Определите коэффициент сжатия файла в рассмотренном выше примере.

Почему же этот файл удалось так удачно сжать? Всё дело в том, что в нём были длинные цепочки повторяющихся символов, и мы применили алгоритм, который очень удачно их сжимает. Этот алгоритм называется кодированием цепочек одинаковых символов (по-английски — RLE 1) : Run Length Encoding).


1) Алгоритм RLE можно успешно использовать для сжатия рисунков, в которых большие области закрашены одним цветом.


В файле записаны 100 различных символов. Определите коэффициент сжатия файла с помощью алгоритма RLE. Что означает полученное число?

Данные можно сжать, если в них есть какие-то закономерности (избыточность), например одинаковые символы, стоящие рядом, или одинаковые цепочки символов («слова»). Поэтому хорошо сжимаются данные, в которых таких закономерностей много, например тексты и рисунки. Хуже всего сжимаются случайные данные, в которых нет ничего закономерного.

Программы для сжатия данных выявляют избыточность данных и устраняют её, поэтому сжимать второй раз уже сжатые данные чаще всего бесполезно.

Следующая страница Сжатие без потерь

Cкачать материалы урока

Как посмотреть степень сжатия архива – инструкция

Приветствую!
В этой подробной пошаговой инструкции, с фотографиями, мы покажем вам, как узнать степень сжатия файлов в архиве.
Воспользовавшись этой инструкцией, вы с легкостью справитесь с данной задачей.

Узнаём степень сжатия архива

Для определения степени сжатия на компьютере должен быть установлен архиватор WinRar. Если он у вас не установлен, то вот в этой подобной пошаговой инструкции рассказывается о том, где его бесплатно скачать и как установить.

Вызовите контекстное меню, кликнув правой клавишей мышки на интересующем архиве, для которого требуется определить степень сжатия.

В нём выберите пункт Свойства.

В открывшемся окне перейдите во вкладку Архив. Там в строке Степень сжатия будет указан интересующий нас параметр.

Если у вас остались вопросы, вы можете задать их в комментариях.

Мы рады, что смогли помочь Вам в решении поставленной задачи или проблемы.

В свою очередь, Вы тоже можете нам очень помочь.

Просто поделитесь статьей в социальных сетях и мессенджерах с друзьями.

Поделившись результатами труда автора, вы окажете неоценимую помощь как ему самому, так и сайту в целом. Спасибо!

Опрос: помогла ли вам эта статья?  

(cбор пожертвований осуществляется через сервис «ЮMoney»)

На что пойдут пожертвования \ реквизиты других платёжных систем Привет.

Не секрет, что в экономике ныне дела обстоят не лучшим образом, цены растут, а доходы падают. И данный сайт также переживает нелёгкие времена :-(
Если у тебя есть возможность и желание помочь развитию ресурса, то ты можешь перевести любую сумму (даже самую минимальную) через форму пожертвований, или на следующие реквизиты:

Номер банковской карты: 5331 5721 0220 5546
Кошелёк ЮMoney: 410015361853797
Кошелёк WebMoney: P865066858877
PayPal: [email protected]
QIWI кошелёк: +79687316794
BitCoin: 1DZUZnSdcN6F4YKhf4BcArfQK8vQaRiA93

Оказавшие помощь:
Сергей И. - 500руб
<аноним> - 468руб
<аноним> - 294руб
Мария М. - 300руб
Валерий С. - 420руб
<аноним> - 600руб
Полина В. - 240руб

Деньги пойдут на оплату хостинга, продление домена, администрирование и развитие ресурса. Спасибо.
С уважением, создатель сайта IT-Actual.ru

Тестирование алгоритмов сжатия некоторых архиваторов (дополнено)

Введение


Архиваторами мы пользуемся постоянно. На нашем сайте имеется подробное (пусть и давно написанное) описание наиболее популярных программ-архиваторов (Архиваторы: Взгляд со стороны), которое мы здесь повторять не будем, а займемся только алгоритмами сжатия, которые применяются в этих программах. В чем здесь проблема? Современные архиваторы предоставляют нам возможность на выбор использовать несколько алгоритмов сжатия. Вот, например, характеристики некоторых программ...

Форматы, поддерживаемые архиваторами

 Архиватор Упаковка и распаковка Только распаковка
 WinZip ZIP TAR, GZIP, BH, ARJ, LZH, ARC
 WinRar RAR, ZIP CAB, ARJ, LZH,TAR, GZ, ACE, UUE, BZ2, JAR, JSO
 WinAce ACE, ZIP, LHA, MSCAB RAR, ARC, ATJ, GZIP, TAR ZOO
 7-Zip 7Z, ZIP, GZIP, TAR, BZIP2 RAR, CAB, ARJ, CPIO, RPM, DEB, SPLIT
 Power Archiver TAR, BH, CAB, LHA, ZIP RAR, ACE, ARJ, GZIP, BZIP2, ARC, ZOO

В зависимости от обстоятельств, мы применяем архиватор как компрессор, от которого требуется сжать информацию для более быстрой передачи по каналам связи (почта и Интернет). В других случаях большее значение имеет функция собственно архивации, то есть преобразование информации в компактный вид (один файл), чтобы избавиться от разукомплектации и, кроме того, сократить место, занимаемое на диске за счет файловой таблицы. Соответственно, большой интерес представляет показатель сжатия исходной информации и показатель скорости переработки исходной информации. Целью нашего исследования является определение абсолютных и относительных показателей степени сжатия и быстродействия алгоритмов (форматов), которые предоставляются в наше распоряжение архиваторами, указанными в таблице...

Содержание исследования планируется в следующем виде:

1. Создание комплексного и частных (по типам файлов) наборов информации (папок) для проведения испытаний (тестов).

2. Проведение предварительных тестов на комплексном наборе и уточнение (по результатам) плана дальнейших локальных испытаний.

3. Обработка и анализ результатов с обоснованием рекомендаций по практическому применению разных алгоритмов (форматов) архивации.

В качестве показателя степени сжатия принимается процентное отношение размера сжатой папки к ее исходному размеру, а в качестве показателя быстродействия - скорость переработки как частное от деления исходного размера в килобайтах на время переработки в секундах. Собственно, измерения выполняются только в отношении времени (секундомером). Ошибка измерения времени может исказить показатель быстродействия, когда этот показатель очень большой (более 1000 кб/сек). В других случаях ошибкой можно пренебречь.

Определение общих характеристик основных архивных форматов


Для испытаний использовался материал, имитирующий некоторую "пользовательскую корзину", составленную из файлов формата DOC, HTM, JPG, MP3, PDF, TXT. Всего корзина содержит 359 папок и 3337 файлов, и имеет суммарный размер 208893 Кбайт (около 204 Мбайт). Состав этого набора приведен в следующей таблице:

Состав набора файлов для испытаний

 Тип Количество папок Количество файлов Размер, Кбайт На диске, Кбайт
 TXT 0 2 34781 34783
 HTM 329 2869 30913 36962
 DOC 3 24 31443 31474
 PDF 0 1 33691 33694
 JPG 26 430 40493 41382
 MP3 1 11 37571 37589
     
 Итого 359 3337 208893 215884

Каждое испытание заключалось в проведении цикла архивации с фиксацией времени работы архиватора от момента нажатия кнопки Add до момента открытия окна с содержанием полученного архивного файла.

Тестировавшиеся программы:

WinZip 8.1 SR-1
WinRar 3.30
WinAce 2.5
7Zip 3.13
Power Archiver 8.70 07b


Информация о конфигурации системы

Процессор Intel Celeron 1700MHz
256 Mb (DDR SDRAM)
HDD ST360015A (60 Gb, 7200PRM)
Windows 2000 Pro, SP3

Результаты испытаний приведены в следующих таблицах:

Результаты тестирования для формата ZIP

 Архиватор / Режим Размер, Кбайт Время, мин.-сек. Сжатие Скорость, Кбайт/с
     
 WinZip    
 Без сжатия 208893 - - -
 Норма 146408 2-00 70.0% 1740
 Максимум 145884 2-45 69.8% 1266
 Быстро 147690 1-58 70.7% 1770
 Очень быстро 149450 1-50 71.5% 1899
     
 WinRar    
 Обычно 146 078 2-22 69.9% 1471
 Максимум 145881 3-07 69.8% 1117
     
 WinAce    
 Норма 146 418 2-28 70.1% 1411
 Максимум 145844 2-40 69.8% 1305
     
 7-Zip    
 Норма/Deflate 145 480 3-22 69.6% 1034
 Ультра/Deflate 145 341 5-55 69.6% 588
 Ультра/Deflate64 144924 6-10 69.4% 565
     
 Power Archiver    
 Норма 146074 3-40 69.9% 950
 Максимум 145948 3-42 69.9% 941

В целом, сжатие, получаемое форматом ZIP, примерно одного порядка, и мало зависит от архиватора - за исключением архиватора 7-ZIP, в котором с помощью изменения метода сжатия можно несколько улучшить показатель и для формата ZIP. Размер словарей (архиваторы WinRar и 7-ZIP) специально в данной серии испытаний не изменялся, а устанавливался автоматически (по умолчанию).

Результаты тестирования формата RAR

 Режим Размер, Кбайт Время, мин.-сек. Сжатие Скорость, Кбайт/с
 Без сжатия 208893 - - -
 Store 209129 0-58 100.1% 3601
 Fastest 144017 6-00 68.9% 580
 Fast 143281 6-22 68.6% 547
 Normal 142830 6-40 68.4% 522
 Good 139826 6-58 66.9% 499
 Best 140023 7-25 67.0% 469
 Best (64kb) 140685 5-40 67.3% 614

В настройке режима возможно изменение размера словаря в пределах 64 - 4096 килобайт. По умолчанию устанавливается максимальный размер (4096 Кб), с которым и получены результаты в данной таблице. Только в строке Best (64kb) был установлен минимальный размер - 64 килобайта. Очевидно, что полученное изменение сжатия и быстродействия может служить аналогом для всех других строк этой таблицы.
Строки Good и Best проверялись, и их значения полностью подтвердились, поэтому нелогичный переход между ними нельзя считать следствием ошибок при тестировании.

Результаты тестирования формата ACE

 Режим Размер, Кбайт Время, мин.-сек. Сжатие Скорость, Кбайт/с
 Без сжатия 208893 - - -
 Normal 132978 8-30 63.7% 410
 Maximum 132918 8-42 63.6% 400
 Good 132925 9-50 63.6% 354
 Fast 133216 8-53 63.8% 397
 Super Fast 133273 8-46 63.8% 397
 Store 209136 1-48 100.1% 1934

Изменения режима работы архиватора WinAce в нашем случае мало влияют на показатели сжатия - разброс находится в пределах десятых долей процента.

Результаты тестирования формата 7z

 Режим Размер, Кбайт Время, мин.-сек. Сжатие Скорость, Кбайт/с
 Без сжатия 208893 - - -
 Нормальный 130964 9-24 64.2% 362
 Максимальный 130000 13-51 63.7% 246
 Быстрый 141922 4-16 69.6% 797
 Ультра (1 Мб) 131392 8-47 64.4% 387
 Ультра (6 Мб) 130101 11-40 63.8% 291
 Ультра (12 мб) 129871 12-47 63.7% 266
 Ультра (24 мб) - - - -
 Ультра (Deflate) 141171 3-15 69.2% 1046
 Ультра (PPMd) 140171 8-45 68.7% 389
 Ультра (Bzip2) 135342 7-32 66.4% 451

Примечание: в режиме Ультра (LZMA) при задании размера Словаря в 24 мегабайт скорость снизилась настолько, что проведение теста стало невозможным.

Для формата 7z архиватор позволяет устанавливать:

- Уровень (Быстрый, Нормальный, Максимальный, Ультра),
- Метод (LZMA, PPMd, Bzip2, Deflate),
- Размер словаря (32кб - 192 мб),
- Размер слова (8 - 255).

Как видим, возможно очень большое число комбинаций настройки режима работы архиватора, что может сбить пользователя с толку. Можно руководствоваться следующими посылками:

- Чем больше размер словаря, тем больше сжатие и время упаковки. Сжатие возрастает медленно, а время упаковки - вырастает очень сильно.

- То же самое - в отношении размера слова.

- Оптимальные настройки устанавливаются сами (настройки по умолчанию), и без надобности их можно не сбивать.


Результаты тестирования формата CAB

 Режим Размер, Кбайт Время, мин.-сек. Сжатие Скорость, Кбайт/с
 Без сжатия 208893 - - -
     
 PowerArchiver    
 Medium 140444 9-55 67.2% 351
 Maximum 137152 15-55 65.6% 219
     
 WinAce    
 Норма 144374 3-24 69.1% 1024
 Максимум 138538 12-54 66.3% 270

Формат CAB (cabinet file) основан на алгоритмах MS-Zip и LZX, поддерживается и применяется фирмой Microsoft. Распаковщики формата имеются в Windows 98 и выше. Алгоритм имеет открытый код и может свободно применяться всеми программистами.

Результаты тестирования форматов BH и LHA

 Режим Размер, Кбайт Время, мин.-сек. Сжатие Скорость, Кбайт/с
 Без сжатия 208893 - - -
     
 PowerArchiver, формат LHA    
 Norma 147518 4-40 70.6% 746
 Maximum 147518 4-47 70.6% 728
     
 PowerArchiver, формат BH    
 Norma 145912 2-16 69.8% 1536
 Maximum 145718 2-34 69.8% 1356

Показатели архивных форматов LHA и BH имеют уровень показателей архивного формата ZIP, и каких-то преимуществ не просматривается.

В общем, как видно, наилучшие показатели сжатия обеспечиваются форматами ACE и 7Z. Лучшие показатели быстродействия - показали форматы ZIP и BH. Дальнейшие испытания планируется провести по такой же принципиальной схеме, но с "корзинами" однородного состава, с форматами файлов: TXT, HTML, DOC, JPG, MP3, PDF.

Определение сжимаемости файлов разных форматов


Для обеспечения этой серии испытаний были составлены совершенно однородные по форматам файлов наборы, причем, повторяющиеся файлы в наборе исключались. Файлы EXE и DLL брались из системной папки Windows без всякого отбора. Дело в том, что файлы формата EXE бывают уже сжатыми и дальнейшее их сжатие - не имеет смысла. Характеристики наборов приводятся в следующей таблице:

Форматы файлов в наборах для испытаний

 Формат Кол-во папок Кол-во файлов Суммарный размер, Кбайт
 TXT 0 27 35096
 HTM 7 1371 25076
 DOC 1 33 37211
 PDF 0 1 33691
 JPG 26 430 40493
 MP3 2 11 37571
 EXE 0 316 32446
 DLL 0 184 40323
 XLS 6 15 17228
 CHM 0 69 33940
 MPEG 0 24 46606
 WAV 0 1 30804
 BMP 0 15 31713
 AVI 0 89 9261

При испытаниях использовался только нормальный (обычный) режим работы архиватора. При этом, каждый формат архива создавался собственным архиватором (WinZip, WinRar, WinAce, 7-Zip), для упаковки в формат CAB использовался Power Archiver, который своего (фирменного) формата не имеет.

Сжимаемость файлов в зависимости от формата архива

 Формат ZIP RAR ACE 7Z CAB
 TXT 43.7% 37.8% 37.4% 34.3% 36.3%
 HTM 29.2% 28.3% 9.09% 7.75% 15.0%
 DOC 8.76% 6.39% 5.47% 5.21% 6.49%
 PDF 97.7% 97.4% 97.8% 97.5% 97.3%
 JPG 98.5% 98.5% 85.0% 85.1% 97.9%
 MP3 98.1% 97.9% 98.1% 97.9% 97.7%
 EXE 46.9% 42.1% 37.8% 32.7% 39.3%
 DLL 45.6% 39.6% 37.6% 34.3% 39.6%
 XLS 11.8% 8.27% 7.44% 5.97% 8.49%
 CHM 98.6% 98.8% 99.0% 99.6% 98.6%
 MPEG 95.3% 94.7% 94.8% 94.5% 94.4%
 AVI 86.1% 84.1% 84.5% 82.7% 83.4%
 WAV 92.2% 62.8% 62.6% 87.0% 92.1%
 BMP 63.5% 31.9% 30.6% 51.5% 56.2%
      
 Средний показатель 65.5% 59.2% 56.2% 58.3% 61.6%

В качестве комментария к таблице можно отметить следующее:

- Наилучшее сжатие по основным форматам исходных файлов обеспечивается архивным форматом 7z.

- Лучший показатель в среднем имеет архивный формат ACE за счет рекордного сжатия форматов WAV и BMP.

Если говорить о сжимаемости исходных файлов, то можно отметить следующее: показатель сжатия зависит от исходного формата файлов, иногда подразумевающего внутреннее сжатие данных. Если файл предварительно уплотнен по своим алгоритмам, то сжимаемость его архиватором - небольшая. Например, файл формата CHM является уплотненным вариантом файла формата HTML и, соответственно, сжимаемость их - разная. То же мы видим в отношении Wav и MP3, BMP и JPG и так далее.

Скорость работы архиватора, Кбайт/с

 Формат ZIP RAR ACE 7Z CAB
 TXT 2064 408 386 217 226
 HTM 2507 836 627 643 411
 DOC 7400 2862 1550 1378 886
 PDF 2246 293 370 387 370
 JPG 2670 587 337 368 287
 MP3 2348 458 368 335 332
 EXE 2318 773 601 416 433
 DLL 2016 858 672 474 434
 XLS 4300 1436 1148 507 224
 CHM 1886 556 365 357 323
 MPEG 2453 583 416 370 338
 AVI 1852 617 463 370 356
 WAV 2370 1711 1184 354 288
 BMP 2883 1269 933 401 373
      
 Средний показатель 2838 856 609 485 385

Эта таблица демонстрирует очевидное правило - за лучшее сжатие почти всегда необходимо платить скоростью упаковки.

Сжимаемость разных форматов файлов. Дополнение

 Формат ZIP RAR ACE 7Z
 VXD 55.1% 52.5% 43.3% 40.8%
 INF 14.9% 13.3% 13.2% 12.3%
 VBP 78.3% 72.6% 26.0% 18.5%
 GIF 90.0% 94.3% 87.2% 86.1%
 SCR 88.8% 88.0% 88.1% 87.9%
 DAT 23.1% 20.1% 20.5% 18.0%
 INI 35.6% 33.2% 32.5% 30.2%
     
 Средний показатель 55.1% 53.4% 44.4% 42.0%

Эта таблица содержит дополнительные данные по сжимаемости файловых форматов. Здесь тестирование проводилось без фиксации времени на наборах небольшого объема (100-200 кб). Как видно, по всем форматам наилучшее сжатие дает архивный формат 7z.

Далее, в качестве примера приведу результаты упаковки реального дистрибутива программы Norton Antivirus. Упаковка выполнялась в нормальном режиме, дополнительно получены самораспаковывающиеся варианты этих же архивов. Результат этого испытания приведен в следующей таблице (последняя колонка - примерное время загрузки упакованного дистрибутива по сети при обычном модемном соединении при скорости 2.7 Кбайт в секунду):

Пример упаковки дистрибутива Norton Antivirus

 Формат архива Размер, Кбайт Время Сжатие Время загрузки, час.-мин.
 Без сжатия 47410 - - 4-53
 ZIP 29045 0-21 61.3% 2-59
 RAR 26619 1-15 56.1% 2-44
 ACE 23838 1-30 50.3% 2-27
 7Z 22871 1-50 48.2% 2-21
 CAB 26804 2-22 56.5% 2-45
 EXE (RAR) 26671 1-15 56.3% 2-45
 EXE (ACE) 23903 1-30 50.4% 2-28
 EXE (7Z) 22941 1-52 48.4% 2-22

Результаты таблицы наглядно демонстрируют, что:

При передачи файлов по сети - упаковка практически обязательна.

Упаковка с хорошим сжатием может сократить время передачи файла, в нашем случае - на полчаса.

Применение перспективных форматов ACE и 7Z вполне оправдано уже сейчас в виде самораспаковывающихся архивов. Это обстоятельство желательно учитывать распространителям программной продукции по сети Интернет.

Архиватор 7-ZIP является хорошей программой с высокой степенью сжатия и обладает необходимым минимумом пользовательских удобств. Можно, в частности, удалять и просматривать отдельные файлы без общей распаковки архива. При этом, файлы открываются ассоциативными приложениями системы. Можно дополнять архив отдельными файлами.

Заключение


Программы-архиваторы остаются незаменимым средством упаковки и сжатия цифровой информации. Обработанная информация существенно экономит место на хранителях и время передачи по каналам связи в сети. Наиболее популярными и применяемыми являются сейчас форматы упаковки ZIP и RAR. Другие форматы, например, ARJ, ICE, PAC, ARC и некоторые еще - постепенно вытеснились и подзабылись. Но технология упаковки не стоит на месте. Архиваторы - востребованы, поэтому программисты непрерывно ведут поиск более эффективных методов сжатия. Об этом свидетельствуют и результаты нашего эксперимента. Реально существуют, по крайней мере, два архивных формата (ACE и 7z), которые по сжатию существенно превосходят привычные ZIP и RAR. Применение этих форматов позволит заметно сократить время передачи файлов по сети Интернет, что соответствует интересам многочисленных пользователей...

Дополнение от 24 мая 2004 г.


В этом разделе мы рассмотрим влияние опции Solid на показатели работы архиваторов. Напомним, что упаковка с опцией Solid приводит к тому, что в архив нельзя добавить файл и нельзя из него извлечь отдельный файл, архив упаковывается и распаковывается только целиком. В общем случае это может вызывать определенные неудобства при использовании таких архивов. Но иногда такие неудобства могут иметь второстепенное значение в сравнении с преимуществами.

Дополнительное тестирование проделано в точности так, как это описано в основном разделе на тех же самых наборах материала. С учетом дополнительного тестирования таблица "Результаты тестирования формата RAR" основного текста стала выглядеть так...

Результаты тестирования формата RAR

 Режим Размер, Кбайт Время, мин.-сек. Сжатие Скорость, Кбайт/с
 Без сжатия 208893 - - -
 Store 209129 0-58 100.1% 3601
 Fastest 144017 6-00 68.9% 580
 Fast 143281 6-22 68.6% 547
 Normal 142830 6-40 68.4% 522
 Normal (Solid) 131664 9-14 63.0% 377
 Good 139826 6-58 66.9% 499
 Good (Solid) 129314 8-24 61.9% 414
 Best 140023 7-25 67.0% 469
 Best (Solid) 129527 8-36 62.0% 405
 Best (64kb) 140685 5-40 67.3% 614

Настройка архиватора WinRar включает в себя:

1. Выбор способа сжатия (Normal, Store, Fastest, Fast, Good, Best).

2. Выбор модификации:
- Add and replace files,
- Add and update files,
- Fresh existing files only,
- Syncronize axchive contents.

3. Выбор опции:
- Deleting files after archiving,
- Create SFX archive,
- Create solid archive,
- Put autohenlicity verification,
- Put recovery record,
- Test archived files,
- Lock archive.

Нетрудно заметить, что возможно более сотни комбинаций настроек, определяющих режим работы архиватора. Соответственно и диапазон результатов для этого формата и этого архиватора получился достаточно большим - степень сжатия: 61.9 - 68.9%, скорость: 377 - 614 Кбайт/сек.

Опцию Solid имеет также архиватор WinAce. Но в этом архиваторе опция (Make solid archive) включена постоянно (по умолчанию) и поэтому вошла в результаты тестирования. Таким образом, несправедливость была допущена только для формата RAR и архиватора WinRar.

С учетом новых обстоятельств таблица лидеров по степени сжатия выглядит так:

1. RAR (Good, Solid) - 61.9%.

2. 7-Zip (Максимум) - 62.2%.

3. ACE (Good) - 63.6%.

Дополненная таблица результатов упаковки реального дистрибутива программы Norton Antivirus ("Пример упаковки дистрибутива Norton Antivirus") стала выглядеть так...

Пример упаковки дистрибутива Norton Antivirus

 Формат архива Размер, Кбайт Время Сжатие Время загрузки, час.-мин.
 Без сжатия 47410 - - 4-53
 ZIP 29045 0-21 61.3% 2-59
 RAR 26619 1-15 56.1% 2-44
 RAR (Normal, Solid) 22745 1-21 48.0% 2-20
 RAR (Good, Solid) 22680 1-28 47.8% 2-20
 ACE 23838 1-30 50.3% 2-27
 7Z 22871 1-50 48.2% 2-21
 CAB 26804 2-22 56.5% 2-45
 EXE (RAR) 26671 1-15 56.3% 2-45
 EXE (RAR, Normal, Solid) 22797 1-29 48.1% 2-21
 EXE (ACE) 23903 1-30 50.4% 2-28
 EXE (7Z) 22941 1-52 48.4% 2-22

Результаты этой таблицы также подтверждают, что архиватор WinRar может обеспечить максимальное сжатие, и по этому показателю является лидером. В сравнении с форматом ZIP загрузка этого же дистрибутива в формате RAR может осуществлена на 39 минут короче...

В таблице с результатами тестирования формата 7z наш читатель Александр Рыхлов обнаружил ошибку в расчете показателя сжатия. Александру большое спасибо, а исправленная таблица "Результаты тестирования формата 7z" стала выглядеть так...

Результаты тестирования формата 7z

 Режим Размер, Кбайт Время, мин.-сек. Сжатие Скорость, Кбайт/с
 Без сжатия 208893 - - -
 Нормальный 130964 9-24 62.7% 362
 Максимальный 130000 13-51 62.2% 246
 Быстрый 141922 4-16 67.9% 797
 Ультра (1 Мб) 131392 8-47 62.9% 387
 Ультра (6 Мб) 130101 11-40 62.3% 291
 Ультра (12 мб) 129871 12-47 62.2% 266
 Ультра (24 мб) - - - -
 Ультра (Deflate) 141171 3-15 67.6% 1046
 Ультра (PPMd) 140171 8-45 67.1% 389
 Ультра (Bzip2) 135342 7-32 64.8% 451

Примечание: в режиме Ультра (LZMA) при задании размера Словаря в 24 мегабайт скорость снизилась настолько, что проведение теста стало невозможным.

Заключение


Назревавшая было сенсация о том, что архиватор WinRar не настолько хорош, как это считают многие пользователи, не состоялась. Наше тестирование подтвердило, что технические характеристики этого архиватора действительно на сегодняшний день самые высокие. Очень близкие показатели имеет архиватор 7-Zip, но по степени отработки и ползовательским качествам последний пока несколько уступает лидеру. Для получения максимального сжатия в архиваторе WinRar необходимо включать опцию Solid (по умолчанию она отключена), другие настройки (Normal, Good и т.д.) - имеют меньшее значение.

Сжатие

- сколько раз можно сжимать файл?

Переполнение стека
  1. Около
  2. Товары
  3. Для команд
  1. Переполнение стека Общественные вопросы и ответы
  2. Переполнение стека для команд Где разработчики и технологи делятся частными знаниями с коллегами
  3. Вакансии Программирование и связанные с ним технические возможности карьерного роста
  4. Талант Нанимайте технических специалистов и создавайте свой бренд работодателя
.

Все, что вы когда-либо хотели знать о степени сжатия

Мы здесь, чтобы ответить на несколько вопросов: что такое коэффициенты сжатия, как они влияют на создание цифровых фильмов и какое отношение они имеют к кодекам?

В этой статье мы разоблачим загадочную степень сжатия, разберем, как вы можете извлечь из нее полезный смысл, а затем покажем вам несколько приемов оценки кодеков, чтобы определить лучший вариант для вашей продукции.

Основы сжатия данных

Изображение предоставлено Avid.

Мы уже рассказывали об основах компрессии, так что здесь мы быстро их рассмотрим.

Все типы сжатия подразделяются на два типа: сжатие с потерями (которое отбрасывает информацию ради размера файла или скорости передачи данных) или сжатие без потерь (которое временно сжимает данные во время процесса кодирования, чтобы обеспечить полное или почти полное восстановление несжатый набор данных при декодировании). Кадры, записанные без использования какого-либо алгоритма сжатия, считаются несжатыми.

Теперь нам нужно немного рассказать о компьютерных науках 101, прежде чем углубляться в коэффициенты сжатия. (Обещаю, это будет быстро.)

Фундаментальная частица информационного мира называется «бит» и обозначается строчной буквой «b». (Да, дело важное). На этом уровне информация представлена ​​в самой простой двоичной форме - 1 или 0.

8 бит составляют «Байт» (произносится «укус»), представленный заглавной буквой «В». На этом и на каждом последующем уровне представляемые данные становятся более сложными.

Килобайт составляет 1000 байт. Его не следует путать с «килобитом» («Кбайт»), который составляет 1000 байт. Поскольку байты являются 8-битными единицами, килобайт фактически составляет 1024 бита.

Одна тысяча килобайт составляет мегабайт или МБ. (Опять же, не путать с «Мегабит» - «Мб.»)

Эта тенденция продолжается - тысяча мегабайт дает гигабайт и так далее, но это все, что нам нужно для этой статьи. Если вы хотите узнать больше, WhatsAByte.com - отличный ресурс.

А теперь перейдем к степени сжатия.


Степень сжатия

Коэффициенты сжатия - это простое числовое представление «мощности сжатия» конкретных кодеков или методов сжатия. Они являются бесценным сокращением, поскольку предлагают значительно упрощенное описание качества полученных данных, видеоматериалов или аудио, которые вы собираетесь сжать.

Так что это такое?

Изображение предоставлено Blackmagic.

Два числа в степени сжатия относятся к сжатому и сжатому сжатию.несжатый размер данных. Первое число представляет мощность сжатия, а второе (обычно просто «1») относится к общему размеру несжатых данных.

Если вы когда-нибудь захотите найти степень сжатия для любых данных, которые вы сжимаете, вот формула: Степень сжатия = размер без сжатия / размер со сжатым кодом

Если вам нужно знать экономию места на диске, предоставляемую данным кодеком, две простые корректировки формулы, и вы устанавливаете: Экономия места = 1 - (сжатый размер / несжатый размер)

Таким образом, файл размером 10 МБ сжимается до 2 МБ с использованием кодека X, что дает нам степень сжатия 5: 1 .Чтобы найти экономию, мы просто вводим наши значения в формулу.

Экономия места = 1 - (2/10) -> = 1 - (.2) -> = .08 -> .08 * 100 = 80

Итак, кодек X предлагает нам экономию памяти на 80 процентов по сравнению с несжатыми данными. Довольно изящно.

И что теперь?


Выбор кодека

Изображение предоставлено Apple.

Теперь, когда у нас есть основы, как вы решаете, какой кодек лучше всего подходит для вашего проекта? Давайте посмотрим на параметры, которые инженеры используют при разработке алгоритмов сжатия, но давайте подойдем к ним как к стрелкам и редакторам.

Вопросы о себе о проекте:

  • Скорость: каковы сроки реализации проекта?
  • Степень сжатия: вам нужны файлы более высокого качества или меньшего размера?
  • Сложность: будут ли дополнительные кодеки создавать ненужную сложность?
  • Space: Можете ли вы эффективно записывать, создавать резервные копии и архивировать то, что вам нужно?
  • Задержка: вы собираетесь воспроизводить в реальном времени?
  • Взаимодействие: Потребуется ли перекодирование кодека для вашей системы редактирования?

Теперь, когда мы получили представление о конкретных потребностях нашего производства, что еще нам нужно сделать перед выбором кодека?

Помимо оценки мощности сжатия кодека, мы можем использовать все, что мы узнали до сих пор, чтобы делать прогнозы для хранения данных, которые мы будем сжимать для всей съемки.Это дает множество преимуществ - от выбора между двумя кодеками одного класса до знания того, сколько жестких дисков вам понадобится для резервного копирования и архивирования.

Допустим, мы оценили потребности нашего производства и склоняемся к записи видео с использованием ProRes 422 HQ или DNxHD 145 для нашего проекта с разрешением 1920 × 1080, 29,97 кадров в секунду. При таком разрешении и частоте кадров ProRes 422 имеет скорость передачи данных 220 Мбит / с (мегабит в секунду), а у Avid DNxHD - 145 Мбит / с.

Итак, используя простую математику, мы можем предсказать, насколько большой будет наш 1-часовой видеоролик для интервью, прежде чем мы когда-либо начнем прокатиться.

Для ProRes:
220 Мбит / с = 220 000 000 бит в секунду
220 000 000 бит в секунду * 60 = 13 200 000 бит в минуту
13 200 000 бит в минуту * 60 = 792 000 000 000 бит в час.
792 000 000 000 бит / час / 8 = 99 000 000 000 байт / час
99 000 000 000 байтов / 1 000 = 99 000 000 мегабайт / час
99 000 000 мегабайт / 1 000 = 99 гигабайт / час

Для DNxHD:
145 Мбит / с = 145 000 000 бит в (/) секунду
145 000 000 бит / секунду * 60 = 8 700 000 000 бит / минуту
87 000 бит / минуту * 60 = 522 000 000 000 бит / час.
522000000000 бит / час / 8 = 65 250 000 000 байтов / час
65 250 000 000 байтов / 1000 = 65 250 000 мегабайт / час
65 250 000 мегабайт / 1000 = 65,25 гигабайт / час

Итак, наше часовое интервью приведет к получению файла размером примерно 99 гигабайт с ProRes 422 HQ и около 65 гигабайт для DNxHD 145.

Теперь наш выбор прост. Мы просто возвращаемся к вопросам, которые мы задали себе недавно о нашем конкретном производстве, чтобы решить, является ли экономия ~ 35 ГБ / час DNxHD более или менее важной, чем дает нам приблизительное увеличение скорости передачи данных 422 HQ на 50%.

Наше часовое интервью для 30-секундной веб-рекламы? Если это так, DNxHD должен предлагать качество изображения почти такое же, как 422 HQ, но после завершения он займет на 40 процентов меньше памяти, что делает его явным победителем в этом случае.

Что, если интервью - лишь одно из нескольких десятков полнометражных документальных фильмов, которые вы планируете продавать на фестивале? В этом случае вы должны сделать ставку на максимальное качество изображения по сравнению с хранилищем (в пределах заданных параметров), и более высокая скорость передачи данных ProRes 422 HQ на 50 процентов полностью соответствует вашим потребностям.

Имея лишь немного базовых знаний о науке, лежащей в основе методов сжатия, используемых в современных кодеках, мы можем оценить потребности нашей продукции, проверить кодеки на соответствие производственным потребностям, а затем принять обоснованное решение, основанное на масштабе проекта. Довольно удобный материал, если вы спросите меня.


Изображение на обложке с kayan_photo.

Ищете дополнительную информацию о данных и цифровом кинопроизводстве? Ознакомьтесь с этими статьями.

.

Сжатие данных | Что, как и почему

KS3 Ресурсы сжатия (14-16 лет)

  • Редактируемая презентация урока в PowerPoint
  • Редактируемые раздаточные материалы для исправлений
  • Глоссарий, охватывающий ключевые термины модуля
  • Тематические интеллектуальные карты для визуализации ключевых понятий
  • Карточки для печати, помогающие учащимся активнее вспоминать и повторять на основе уверенности
  • Викторина с сопровождающим ключом для проверки знаний и понимания модуля

A-Level Типы данных, структуры данных и алгоритмы (16-18 лет)

  • Редактируемая презентация урока в PowerPoint
  • Редактируемые раздаточные материалы для исправлений
  • Глоссарий, охватывающий ключевые термины модуля
  • Тематические интеллектуальные карты для визуализации ключевых понятий
  • Карточки для печати, помогающие учащимся активнее вспоминать и повторять на основе уверенности
  • Викторина с сопровождающим ключом для проверки знаний и понимания модуля

Что такое сжатие данных?

Сжатие данных используется везде.Многие типы файлов используют сжатые данные. Без сжатия данных 3-минутная песня была бы размером более 100 МБ, а 10-минутное видео было бы размером более 1 ГБ. Сжатие данных сжимает большие файлы в гораздо меньшие. Это достигается путем избавления от ненужных данных при сохранении информации в файле.

Сжатие данных можно выразить как уменьшение количества битов, необходимых для иллюстрации данных. Сжатие данных может сохранить емкость хранилища, ускорить передачу файлов и минимизировать затраты на аппаратное хранилище и емкость сети.

Как работает сжатие?

Сжатие выполняется программой, которая использует процедуру для определения того, как уменьшить размер данных.

Сжатие текста может быть выполнено путем удаления ненужных символов, встраивания повторяющегося символа для указания повторяющихся символов и замены часто встречающейся битовой строки на меньшую битовую строку. Сжатие данных может сократить текстовый файл до 50% или до процента, еще меньшего от его исходного размера.

Для передачи данных сжатие может выполняться для содержимого данных или для блока передачи в целом.Когда данные необходимо передать через Интернет, файлы большего размера можно отправлять в формате ZIP, GZIP или другом сжатом формате.

Какова цель сжатия?

Цель сжатия - уменьшить размер файла, сообщения или любого другого фрагмента данных. Сжатие данных может значительно уменьшить объем дискового пространства, занимаемого файлом. Если бы у нас был файл размером 10 МБ и мы могли бы уменьшить его до 5 МБ, мы бы сжали его со степенью сжатия 2, так как это половина размера исходного файла.Если бы мы сжали файл размером 10 МБ до 1 МБ, у него был бы коэффициент сжатия 10, потому что новый файл в 10 раз меньше оригинала. Чем выше степень сжатия, тем лучше сжатие. Благодаря сжатию администраторы экономят деньги и время, которые в противном случае были бы потрачены на хранение.

Сжатие улучшает работу хранилища резервных копий, а также влияет на сокращение объема данных основного хранилища. Сжатие продолжит играть важную роль в сокращении объема данных, поскольку объем данных продолжает свой экспоненциальный рост.

Практически любой тип файла можно сжать, но обязательно следовать передовым методам при выборе файлов для сжатия. Например, некоторые файлы уже сжаты, поэтому их сжатие не окажет существенного влияния.

Методы сжатия данных

Есть два вида сжатия: без потерь и с потерями.

Сжатие с потерями теряет данные, в то время как сжатие без потерь сохраняет все данные. Благодаря сжатию без потерь мы не избавляемся от данных.Вместо этого метод основан на поиске более разумных способов кодирования данных. При сжатии с потерями мы избавляемся от данных, поэтому нам нужно отличать данные от информации.

Сжатие без потерь позволяет восстановить исходный размер файла без потери единственного бита данных, когда файл не сжат. Сжатие без потерь - это обычный подход, применяемый к исполняемым файлам, а также к текстовым файлам и файлам электронных таблиц, где потеря слов или чисел может изменить информацию.Сжатие без потерь может сжимать данные при наличии избыточности. Следовательно, сжатие без потерь использует преимущества избыточности данных.

Сжатие с потерями безвозвратно удаляет лишние, незначительные или незаметные биты данных. Сжатие с потерями подходит для графики, аудио, видео и изображений, где удаление некоторых битов данных практически не влияет на иллюстрацию содержимого. При сжатии с потерями сообщения становятся более эффективными за счет избавления от нежелательных данных.Сжатие с потерями уменьшает размер данных, сохраняя при этом больше информации.

Сжатие графического изображения может быть с потерями или без потерь. Форматы файлов графических изображений обычно разрабатываются для сжатия информации, поскольку файлы обычно имеют большой размер. JPEG - это формат файла изображения, который способствует сжатию изображений с потерями. Такие форматы, как GIF и PNG, используют сжатие без потерь.

.

Как определить степень сжатия

Если вы создаете новый двигатель и вам нужна метрика, или вам интересно узнать, насколько эффективно ваш автомобиль расходует топливо, вы должны уметь рассчитать степень сжатия двигателя. Есть несколько уравнений, необходимых для расчета степени сжатия, если вы делаете это вручную. Сначала они могут показаться сложными, но на самом деле это всего лишь базовая геометрия.

Степень сжатия двигателя измеряет две вещи: соотношение объема газа в цилиндре, когда поршень находится в верхней точке хода (верхняя мертвая точка, или ВМТ), по сравнению с объемом газа, когда поршень находится в верхней мертвой точке. нижняя часть хода (нижняя мертвая точка или BDC).Проще говоря, степень сжатия - это измерение от сжатого газа до несжатого газа или насколько плотно смесь воздуха и газа помещается в камеру сгорания до того, как она воспламенится свечой зажигания. Чем плотнее эта смесь подходит, тем лучше она горит и тем больше энергии преобразуется в мощность для двигателя.

Есть два метода, которые вы можете использовать для расчета степени сжатия двигателя. Первая - это ручная версия, которая требует от вас как можно точнее выполнять все вычисления, а вторая - и, вероятно, самая распространенная - требует манометра, установленного в пустое гнездо свечи зажигания.

Метод 1 из 2: вручную измерить степень сжатия

Этот метод требует очень точных измерений, поэтому важно иметь очень точные инструменты, чистый двигатель и дважды или трижды проверять свою работу. Этот метод идеально подходит для тех, кто либо строит двигатель и имеет под рукой инструменты, либо для тех, у кого двигатель уже разобран. Разборка двигателя для использования этого метода займет очень много времени. Если у вас уже собран двигатель, прокрутите вниз и используйте метод 2 из 2.

Необходимые материалы

  • Калибр
  • Калькулятор
  • Обезжириватель и чистые тряпки (при необходимости)
  • Инструкция производителя (или автомобильная инструкция)
  • Микрометр
  • Блокнот, ручка и бумага
  • Линейка или рулетка (с точностью до миллиметра)

Шаг 1: Очистите двигатель Тщательно очистите цилиндры и поршни двигателя обезжиривателем и чистой тряпкой.

Шаг 2: Найдите размер отверстия .Циферблатный калибр используется для измерения диаметра отверстия или, в данном случае, цилиндра. Сначала определите приблизительный диаметр цилиндра и откалибруйте индикатор внутреннего диаметра с помощью микрометра. Вставьте калибр в цилиндр и несколько раз измерьте отверстие в разных местах цилиндра и запишите измерения. Сложите свои измерения и разделите на то, сколько вы взяли (обычно трех или четырех достаточно), чтобы получить средний диаметр. Разделите это измерение на 2, чтобы получить средний радиус отверстия.

Шаг 3: Рассчитайте размер цилиндра . Используя точную линейку или рулетку, измерьте высоту цилиндра. Измерьте расстояние от самого низа до самого верха, убедившись, что ваша линейка выровнена. Это число рассчитывает ход или площадь, с которой поршень перемещается вверх или вниз по цилиндру один раз. Для расчета объема цилиндра используйте эту формулу: V = π r 2 h

Шаг 4: Определите объем камеры сгорания .Найдите объем камеры сгорания в руководстве по эксплуатации вашего автомобиля. Объем камеры сгорания измеряется в кубических сантиметрах (CCs) и определяет, сколько вещества требуется для заполнения отверстия камеры сгорания. Если вы собираете двигатель, обратитесь к руководству производителя. В противном случае обратитесь к руководству по эксплуатации автомобиля.

Шаг 5: Найдите высоту сжатия поршня . В инструкции найдите высоту сжатия поршня. Это измерение представляет собой расстояние между центральной линией отверстия под палец и верхом поршня.

Шаг 6: Измерьте объем поршня . Снова в руководстве найдите объем купола или тарелки поршня, также измеренный в кубических сантиметрах. Поршень с положительным значением CC всегда называют «куполом», который выступает над высотой сжатия поршня, в то время как «тарелка» - это отрицательное значение, которое учитывает карманы клапана. Обычно поршень имеет как купол, так и тарелку, а окончательный объем представляет собой сумму обеих характеристик (купол минус тарелка).

Шаг 7: Найдите зазор между поршнем и декой .Рассчитайте зазор между поршнем и декой с помощью следующего расчета: (Диаметр цилиндра [измерение из шага 2] + Диаметр цилиндра × 0,7854 [константа, которая преобразует все в кубические дюймы] × расстояние между поршнем и платформой в верхней мертвой точке [ВМТ]).

Шаг 8: Определите объем прокладки . Измерьте толщину прокладки головки и диаметр отверстия, чтобы определить объем прокладки. Сделайте это почти так же, как и зазор деки (шаг 7): (Диаметр отверстия [измерение из шага 8] + отверстие × 0,7854 × толщина прокладки).

Шаг 9: Рассчитайте степень сжатия . Рассчитайте степень сжатия, решив это уравнение:

Если вы получите число, скажем, 8,75, степень сжатия будет 8,75: 1.

  • Совет : Если вы не хотите вычислять числа самостоятельно, в Интернете есть несколько калькуляторов степени сжатия, которые помогут решить эту проблему; кликните сюда.

Метод 2 из 2: используйте манометр

Этот метод идеален для тех, у кого двигатель собран, и кто хочет проверить степень сжатия автомобиля через гнезда свечей зажигания.Вам понадобится помощь друга.

Необходимые материалы

  • Манометр
  • Ключ для свечей зажигания
  • Рабочие перчатки

Шаг 1. Прогрейте двигатель . Дайте двигателю поработать, пока он не прогреется до нормальной температуры. Вы не хотите пробовать это, когда двигатель холодный, потому что вы не получите точных показаний.

Шаг 2: Снимите свечи зажигания . Полностью выключите зажигание и отсоедините одну из свечей зажигания от кабеля, соединяющего ее с распределителем.Откручиваем свечу зажигания.

  • Совет Если ваши свечи зажигания грязные, вы можете использовать это как возможность их почистить.

Шаг 3: Вставьте манометр . Вставьте патрубок манометра в отверстие, где была закреплена свеча зажигания. Важно, чтобы сопло было полностью вставлено в камеру.

Шаг 4: Проверить цилиндр . Пока вы держите манометр, попросите друга запустить двигатель и разогнать автомобиль примерно на пять секунд, чтобы вы могли получить правильные показания.Заглушите двигатель, выньте сопло манометра и установите свечу зажигания с надлежащим крутящим моментом, указанным в руководстве. Повторяйте эти шаги, пока не проверите каждый цилиндр.

Шаг 5: Проведите проверку давления . В каждом цилиндре должно быть одинаковое давление, и они должны совпадать с номером в руководстве.

Шаг 6: Рассчитайте отношение PSI к степени сжатия . Рассчитайте отношение PSI к степени сжатия. Например, если у вас показание манометра около 15, а ваша степень сжатия должна быть 10: 1, тогда ваш PSI должен быть 150 или 15 × 10/1.

.Сжатие

- btrfs Wiki

Btrfs поддерживает прозрачное сжатие файлов. Доступны три алгоритма: ZLIB, LZO и ZSTD (начиная с v4.14). Как правило, сжатие выполняется пофайловым образом. У вас может быть одна точка монтирования btrfs, в которой есть файлы, которые не сжаты, некоторые сжаты с помощью LZO, некоторые с ZLIB, например (хотя вы, возможно, не хотите, чтобы был таким образом, он поддерживается).

Крепление с -o сжатием или -o сжимающим усилием .Затем напишите (или перезапишите) файлы, и они будут прозрачно сжаты. Некоторые файлы могут не сжиматься очень хорошо, и они, как правило, не сжимаются повторно, а записываются без сжатия. Посмотрите, что происходит с несжимаемыми файлами? раздел ниже.

Какой метод сжатия используется по умолчанию?

ZLIB. «По умолчанию» означает, если он указан опцией монтирования «сжать» или 'compress-force', или через chattr + c, или дефрагментацию файловой системы btrfs -c.

Могу ли я установить уровень сжатия?

Поддержка уровней ZLIB была добавлена ​​в v4.14, LZO не поддерживает уровни (реализация ядра предоставляет только один), поддержка уровня ZSTD была добавлена ​​в v5.1.

Поддерживается 9 уровней ZLIB (от 1 до 9), отображение 1: 1 от опции монтирования на уровень, определенный алгоритмом. По умолчанию установлен уровень 3, который обеспечивает максимальную степень сжатия и при этом достаточно высокую скорость. Разница в усилении компрессии на уровнях 7, 8 и 9 сопоставима, но более высокие уровни требуют больше времени. Уровень можно указать в качестве параметра монтирования, например «compress = zlib: 1».Уровень 0 соответствует значению по умолчанию. Поддержка ZSTD включает до 15 уровней.

Есть компромисс между скоростью и соотношением:

  • ZLIB - медленнее, выше степень сжатия (используется настройка zlib level 3, вы можете увидеть разницу уровней zlib между 1 и 6 в исходных файлах zlib).
  • LZO - более быстрое сжатие и распаковка, чем zlib, худшая степень сжатия, разработано, чтобы быть быстрым
  • ZSTD - (начиная с v4.14) сжатие сопоставимо с zlib с более высокими скоростями сжатия / распаковки и различными уровнями соотношения (подробности)

Различия зависят от фактического набора данных и не могут быть выражены одним числом или рекомендацией.Сделайте свои собственные тесты. LZO дает удовлетворительные результаты для общего использования.

Поддерживаются ли другие методы сжатия?

В настоящее время нет, а с ZSTD дальнейших планов по добавлению нет. Алгоритм LZ4 рассматривался, но не принес существенных результатов.

Поддержка Snappy (сжимает медленнее, чем LZ0, но распаковывает намного быстрее) также была предложена.

Была проделана некоторая работа по добавлению поддержки lzma (очень медленное, сильное сжатие).Текущий статус «больше не рассматривается».

Можно ли сжать данные файла разными методами?

Да. Алгоритм сжатия сохраняется для каждого экстента. Установка метода сжатия повлияет на вновь записанные данные, поэтому в файле можно использовать все типы сжатия.

compsize берет список файлов в файловой системе btrfs и измеряет используемые типы сжатия и эффективную степень сжатия: https://github.com/kilobyte/compsize

Есть патч, добавляющий поддержку, который в настоящее время не объединен.Вы можете угадать его сжатый размер, сравнив вывод команды df до и после записи файла, если он вам доступен.

Почему du не сообщает о сжатом размере?

Традиционно файловые системы UNIX / Linux не поддерживали сжатие, и в структуре данных stat не было элемента, выделенного для аналогичной цели. Есть размер файла, который обозначает номинальный размер файла независимо от фактически выделенного размера на диске.Для этого элемент stat.st_blocks содержит значение, соответствующее количеству выделенных блоков, т.е. в случае разреженных файлов. Однако при сжатии фактически выделенный размер может быть меньше номинального, хотя файл не является разреженным.
Существуют утилиты, которые определяют разреженность файла путем сравнения номинального размера и размера, выделенного блоком. Такое поведение может вызвать ошибки, если st_blocks содержал размер после сжатия.
Еще одна проблема с обратной совместимостью заключается в том, что до сих пор st_blocks всегда содержал несжатое количество блоков.Непонятно, что будет, если будут файлы со смешанными типами значений. Предлагаемое решение - добавить для этого еще один специальный вызов (через ioctl ), но это может быть не идеальным решением.

Не напрямую, но это возможно из пользовательского инструмента без какой-либо специальной поддержки ядра (код просто не был написан).

Да. Утилита chattr поддерживает установку атрибута файла c , который отмечает индексный дескриптор для сжатия вновь записанных данных. Установка свойства сжатия для файла с помощью набора свойств btrfs <файл> сжатие заставит принудительно использовать сжатие для этого файла с использованием указанного алгоритма.

Можно отключить сжатие новых экстентов в файле с помощью команды btrfs property set <файл> сжатие "" . Это установит флаг «без сжатия» для файла, и вновь записанные экстенты не будут сжиматься до тех пор, пока этот флаг не будет сброшен либо с помощью chattr + c , либо с помощью свойства сжатия для определения алгоритма. Флаг можно удалить с помощью команды chattr -c . Уже записанные экстенты не будут перезаписаны.

В настоящее время нет, это планируется.Вы можете смоделировать это, включив сжатие в каталоге вложенного тома, и файлы / каталоги унаследуют флаг сжатия.

Сжатие вновь записанных данных происходит:

  1. всегда - если файловая система смонтирована с -o compress-force
  2. никогда - если для файла / каталога установлен флаг NOCOMPRESS
  3. , если возможно - если установлен флаг COMPRESS для каждого файла (он же chattr + c ), но он может быть преобразован в NOCOMPRESS в конечном итоге
  4. если возможно - если указана опция крепления -o compress

Обратите внимание, что при установке с -o compress не будет установлен атрибут файла + c .

Используйте команду дефрагментации файловой системы btrfs, опция -r будет рекурсивно обрабатывать файлы в каталоге. Это не зависит от крепления опции сжимаем или сжимаем-силу , а с помощью опции -c вы можно установить алгоритм сжатия.

В настоящее время (v4.14) невозможно выбрать "без сжатия", используя команда дефрагментации. Это может измениться в будущем.

Сжатие не работает с прямым вводом-выводом (DIO), работает с COW (по умолчанию) и не работает для файлов NOCOW.Если файл открыт в режиме DIO, он вернется к буферизованному вводу-выводу.

Есть ли штрафы за скорость при произвольном доступе к сжатому файлу?

Да. Сжатие обрабатывает диапазоны файлов размером не более 128 КиБ и сжимает каждый блок размером 4 КиБ (или размером страницы) отдельно. Для доступа к байту в середине заданного диапазона 128 КиБ требуется распаковать весь диапазон. Это не оптимально и подлежит оптимизации и доработке.

Существует простая логика принятия решения: если первая часть сжимаемых данных не меньше исходной, сжатие файла отключается - если файловая система не смонтирована с -o compress-force .В этом случае всегда будут предприниматься попытки сжатия файла только для последующего удаления. Это не оптимально и подлежит оптимизации и дальнейшему развитию.

Это означает, что много раз, даже если у вас включено сжатие, если первая часть файла не сжимается должным образом, а остальная * сжимает *, остальная часть все равно не сжимается. Рекомендуется использовать -o compress-force , если вы действительно хотите, чтобы сжатие было включено в смонтированной файловой системе, хотя, если у вас много файлов разных типов, тогда вам может подойти -o compress .

.

NDG Linux Essentials 2.0 Глава 9 Ответы на экзамен

Последнее обновление: 13 мая 2019 г., автор: Admin

NDG Linux Essentials 2.0 Глава 9 Ответы на экзамен

  1. Сжатие файла работает:

    • Устранение пропусков внутри файла
    • Объединение нескольких файлов в один
    • Удаление избыточной информации
    • Сохранение большей части данных на съемных носителях и просто оставление указателя
    • Удаление старшего бита из каждого байта
  2. В общем, для чего из следующего вы бы хотели использовать сжатие без потерь?

    • Аудиофайл в формате mp3
    • Зашифрованное электронное письмо
    • Изображение JPEG
    • Файл журнала
    • Фильм
  3. Сжатие с потерями:
    (выберите три)

    • Обычно дает лучшее сжатие, чем без потерь
    • Часто используется с изображениями
    • Часто используется с документами
    • Распаковывается до версии, идентичной исходной
    • Некоторые жертвуют качеством
  4. Вы набираете gzip myfile.tar . Что происходит?

    (выберите два)

    • myfile.tar разархивирован в текущий каталог
    • Ошибка; вы забыли передать имя выходного файла
    • myfile.tar.gz содержит сжатую версию myfile.tar
    • Ошибка; вы забыли указать файл с -f
    • myfile.tar удален
  5. Как получить результат, подобный следующему?

     коэффициент сжатия без сжатия uncompressed_name 278168 1016950 72.6% теги 
    • gzip –l теги
    • gunzip –t теги
    • тегов файлов
  6. Какую команду вы бы использовали для архивации каталога Documents и сжатия его с помощью сжатия bzip2 ?

    • tar –fzc Documents documents.tbz
    • tar –cf Документы documents.tbz
    • tar –cjf Документы
    • tar –cjf documents.tbz Documents
    • tar –czf documents.tbz
  7. Какой флаг вы передали бы в tar , чтобы он создал новый архив?

  8. Какая команда покажет, что находится внутри сжатого архива с именем foo.tar.gz ?

    • tar –tjf foo.tar.gz
    • tar –lf foo.tar.gz
    • tar –tf foo.tar.gz
    • tar –xf foo.tar.gz
    • tar –tzf foo.tar.gz
  9. В команде tar -cvjf foo.tbz a b c , что такое a , b и c ?

    • ничего; -cvjf ожидает только один параметр
    • Имена файлов для добавления в архив
    • a - это каталог, который будет добавлен к файлам; b и c файлы внутри него
    • Операторы сопоставления; все, что начинается с a, b или c, будет добавлено
    • Дополнительные флаги переданы tar
  10. Дана команда tar –cvjf homedirs.tbz / home , что из перечисленного верно?

    (выберите два)

    • Из архива будут извлечены только файлы, начинающиеся с / home.
    • Команда будет распечатывать каждое имя файла по мере его обработки
    • Каталог / home будет восстановлен с содержимым homedirs.tbz
    • Файлы, которые присутствуют в архиве, могут перезаписывать файлы в / home
    • Выходной файл будет сжат
  11. Вы заархивировали каталоги пользователей в файл под названием backup.tar.gz . Затем вы просматриваете архив и видите, что имена файлов соответствуют этому соглашению:

     главная / имя пользователя / somefile 

    Как вы будете извлекать только файлы для пользователя с именем fred ?

    • tar –xzf backup.tar.gz home / fred /
    • tar –tjf backup.tar.gz / home / fred
    • tar –xjf backup.tar.gz home / fred /
    • tar –xzf backup.tar.gz fred
    • tar –tzf / home / fred
  12. Какая из следующих команд создаст zip-файл с содержимым вашего каталога Documents ?

    • zip –f mydocs.zip Документы
    • zip -r mydocs.zip Документы
    • zip –c mydocs.zip Документы
    • zip mydocs.zip Документы
    • zip -cf mydocs.zip Документы
  13. Если у вас есть файл с именем documents.zip , как вы можете увидеть, что в нем, не распаковывая файлы?

    • zip -lf documents.zip
    • распаковать -l documents.zip
    • unzip –list documents.zip
    • zip -l documents.zip
    • документов showzip.молния
  14. Если у вас есть файл documents.zip , как вы можете извлечь только файлы из ProjectX?

    • разархивировать documents.zip ProjectX / *
    • unzip documents.zip | grep ProjectX
    • разархивировать documents.zip ProjectX
    • zip -x documents.zip ProjectX
    • распаковать -t documents.zip ProjectX
  15. Вы пытаетесь сжать уже сжатый файл. Какие из следующих утверждений верно?

    • Файл не будет сжат дальше, чем это было
    • Алгоритм сжатия должен быть установлен в режим «текущее сжатие» для дальнейшего сжатия.
    • Файл был изменен во время сжатия
    • Файл будет удален
    • Файл будет ac
.

Смотрите также