Вашему вниманию предоставляется не совсем новогодняя история, в которой есть завязка, интрига, детективное расследование, погоня, коварство, мудрость древних и счастливый финал. Под катом вас ожидают археологические раскопки Хабра эпохи перестройки и щепотка ассемблера x86 по вкусу.
Читать полностью »
Рубрика «сжатие данных» - 8
Сказ о компрессоре, который можно называть, но не помню, как
2016-01-03 в 6:53, admin, рубрики: dos, LZ, reverse engineering, обратная разработка, реверс-инжиниринг, сжатие без потерь, сжатие данных, старые игры, метки: LZКак сжать плоского кота
2015-12-14 в 8:32, admin, рубрики: C, Алгоритмы, встраиваемые системы, обработка изображений, сжатие без потерь, сжатие данныхОднажды в студеную зимнюю пору… ровно год назад, у нас появилась нетривиальная задача. Есть экран на электронных чернилах, есть процессор 16МГц (да-да, во встраиваемой электронике, особенно сверхнизкого энергопотребления, встречаются и такие) и совсем нет памяти. Ну, т.е. килобайтов 8 RAM и 256 Flash. Килобайтов, Карл. И в эти унылые килобайты необходимо запихнуть несколько изображений 800х600 в четырех оттенках серого. Быстро перемножив в уме 800 на 600 и на 2 бита на пиксель получаем 120 тысяч байтов. Несколько не влезает. Надо сжимать.
Так перед нами появилась задача: «как сжать плоского кота»? Почему кота? Да потому, что на котиках тестировали, на чем же еще черно-белые картинки проверять. Не на долларовых банкнотах же.
Читать полностью »
GZIP недостаточно. Видео от компании Google с субтитрами на русском
2015-04-13 в 0:20, admin, рубрики: gzip, Веб-разработка, сжатие данных Сжатие имеет большое значение! «Тяжелые» страницы вредят компании (в процессе передачи данных) и пользователям (в процессе скачивания).
С широким распространением мобильных устройств, особенно в странах с низкой скоростью соединения, уменьшения размера страницы особенно важно для успеха их использования. В этой беседе Colt расскажет о множестве исследований об альтернативных способах сжатия, минификации, внесении изменений в файл и расскажет о данных CSS, JSON, HTML, XML и Javascript в интернете; и как GZIP иногда помогает, и как нередко может помешать. В этом видео вы узнаете о ряде способов для уменьшения размера передачи страниц и об идеях как интегрировать предмет обсуждения в процесс продаж их разработок.
Путь к бесконечному сжатию данных
2015-04-03 в 7:07, admin, рубрики: AIC, ILIN, Алгоритмы, Алгоритмы кодирования, бесконечное сжатие, кодирование данных, сжатие без потерь, сжатие данных, хаос, Шеннон, энтропия, метки: Алгоритмы кодирования, бесконечное сжатие, кодирование данных 
Всякий, знакомый с проблематикой кодирования информации, периодически сталкивался с идеями алгоритмов «суперсжатия» данных без потерь. Зачастую предлагается использование хеш-сумм, генераторов случайных чисел (зачем?), или просто различных комбинаций повторного сжатия данных при помощи архиваторов. После очередного бурного обсуждения, как правило, эксперты в очередной раз советуют первооткрывателям ознакомиться с азами теории информации. Особо упертым предлагают просто написать программу сжатия данных на один бит файла со случайными данными. После этого доселе бурно проходящее обсуждение «революционной технологии» постепенно сходит на нет.
Проблематика завлекает
Много лет назад, в ходе работы над программой анализа текстов, я также заинтересовался этой темой. В результате изучения фундаментальных основ современной теории информации, стало понятно, об какие камни спотыкались многочисленные первопроходцы, пытавшиеся с наскока решить эту проблему.
Читать полностью »
Google без шума запустила сервис сжатия данных для десктопной версии Chrome
2015-03-28 в 8:58, admin, рубрики: android, chrome, Data Saver, Google, безопасность, браузеры, информационная безопасность, сжатие данных 
Сервис Data Saver для десктопной версии браузера Google Chrome сокращает трафик, получаемый при загрузке страниц, с помощью серверов Google: при включенном расширении серверы Google сжимают данные перед загрузкой веб-страниц и проверяют их на вирусы. Data Saver работает в режиме тестирования и доступен для скачивания.
Читать полностью »
Оптимальная сортировка непрерывного архива
2015-03-17 в 14:53, admin, рубрики: 7-zip, nanozip, open source, winrar, архивация, КодоБред, сжатие данных, сжатие информации Воплощение одной идеи – расположить файлы так, чтобы размер архива был минимальным.
Программа проверяет сжимаемость файлов в паре и затем сортирует список для сжатия архиватором.
sourceforge.net/projects/saro-vks/
Если кому надо – берите.
Читать полностью »
Обработка больших запакованных файлов на Mac и не только
2015-02-19 в 0:41, admin, рубрики: linux, mac, named pipes, unar, unzip, архивирование, большие файлы, Разработка под OS X, сжатие данных, системное администрирование, метки: named pipes Возникла у меня как-то задача обработать файл с логами. В принципе, задача банальная, я для этого использую Perl и в Linux и в Windows. Но дело в том, что всё это происходит на Mac, файл находится в архиве и он большой. Распакованным, он занимает около 20 ГБ.
Какое будет обычное решение?
Читать полностью »
Обзор алгоритмов сжатия графов
2014-12-23 в 11:13, admin, рубрики: big data, boldi, compresion, grabowski, navarro, vigna, веб-аналитика, математика, сжатие данныхДанная работа описывает способы сжатия прежде всего социальных(графы связей между пользователями в социальных сетях) и Web-графов(графы ссылок между сайтами).
Большинство алгоритмов на графах хорошо изучены и спроектированы из расчета того, что возможен произвольный доступ к элементам графа, на данный момент размеры социальных графов превосходят RAM среднестатистической машины по размеру, но в тоже время легко умещаются на жестком диске. Компромисным вариантом являтся сжатие данных с возможностью быстрого доступа к ним определенных запросов. Мы сконцентрируемся на двух:
а) получить список ребер для определенной вершины
б) узнать соединяются ли 2 вершины.
Читать полностью »
Распознавание гильоширных элементов на примере паспорта РФ
2013-12-03 в 12:00, admin, рубрики: Алгоритмы, архивация, Блог компании Cognitive Technologies, оцифровка, распознование текста, сжатие данных, метки: Алгоритмы, архивация, оцифровка, распознование текста, сжатие данныхГильош – это специальная технология защиты банкнот, документов, ценных бумаг и других видов полиграфической продукции (билетов, акцизных марок, сертификатов и многих других документов государственного масштаба).
Защита документов обеспечивается путем нанесения на бланки сложных композиций различных гильоширных элементов. Гильоширный элемент представляет собой замысловатый рисунок из множества многократно пересекающихся тончайших кружевных линий (рисунок 1). Обычно такие элементы представлены разного рода защитными сетками, розеттами, бордюрами, виньетками и уголками. Гильош может быть как симметричным, так и асимметричным по своему дизайну.
Согласно существующим нормативам, гильоширные элементы должны занимать не менее 70% площади ценных бумаг.
Причем из этой площади большая часть должна содержать многоцветные гильоширные композиции.
Cognitive PDF/A – технология оцифровки текстовых документов для публикации в интернете и долговременного архивного хранения
2013-11-25 в 12:42, admin, рубрики: Алгоритмы, архивация, Блог компании Cognitive Technologies, оцифровка, распознование текста, сжатие данных, метки: Алгоритмы, архивация, оцифровка, распознование текста, сжатие данныхПривет!
Мы продолжаем публикации о технологиях оптического распознавания (OCR, ICR) и понимания документов, разработанных специалистами компании Cognitive Technologies. Сегодня наш рассказ о технологиях оцифровки текстовых документов Cognitive PDF/A.
В бизнес-сфере достаточно часто приходится сканировать бумажные документы с целью последующей пересылки по электронной почте или архивного хранения. При качественном сканировании получившиеся изображения-образы зачастую оказываются достаточно большого размера. Например, документ формата А4, отсканированный в цветном режиме при разрешении 300 DPI, имеет размер порядка 25 Мб. Использование файлов таких больших размеров неэффективно в электронных архивах, поэтому все больший интерес обретают технологии сжатия получившихся электронных образов. Классические технологии сжатия изображений (JPEG, RLE, Deflate и т.п.) не применимы, так как в общем случае документы могут содержать как монохромный текст, так и полноцветные графические области. Алгоритмы сжатия изображений без потерь, результативные для монохромных текстов, неэффективны для полноцветной графики, в то время как сжатие с потерями демонстрирует высокие показатели для цветных изображений, однако сильно искажает текстовую информацию (Рис. 1). Поэтому обычно для сжатия изображений такого типа используют комбинированный подход.
