Сжатие имеет большое значение! «Тяжелые» страницы вредят компании (в процессе передачи данных) и пользователям (в процессе скачивания).
С широким распространением мобильных устройств, особенно в странах с низкой скоростью соединения, уменьшения размера страницы особенно важно для успеха их использования. В этой беседе Colt расскажет о множестве исследований об альтернативных способах сжатия, минификации, внесении изменений в файл и расскажет о данных CSS, JSON, HTML, XML и Javascript в интернете; и как GZIP иногда помогает, и как нередко может помешать. В этом видео вы узнаете о ряде способов для уменьшения размера передачи страниц и об идеях как интегрировать предмет обсуждения в процесс продаж их разработок.
Рубрика «сжатие данных» - 9
GZIP недостаточно. Видео от компании Google с субтитрами на русском
2015-04-13 в 0:20, admin, рубрики: gzip, Веб-разработка, сжатие данныхПуть к бесконечному сжатию данных
2015-04-03 в 7:07, admin, рубрики: AIC, ILIN, Алгоритмы, Алгоритмы кодирования, бесконечное сжатие, кодирование данных, сжатие без потерь, сжатие данных, хаос, Шеннон, энтропия, метки: Алгоритмы кодирования, бесконечное сжатие, кодирование данных 
Всякий, знакомый с проблематикой кодирования информации, периодически сталкивался с идеями алгоритмов «суперсжатия» данных без потерь. Зачастую предлагается использование хеш-сумм, генераторов случайных чисел (зачем?), или просто различных комбинаций повторного сжатия данных при помощи архиваторов. После очередного бурного обсуждения, как правило, эксперты в очередной раз советуют первооткрывателям ознакомиться с азами теории информации. Особо упертым предлагают просто написать программу сжатия данных на один бит файла со случайными данными. После этого доселе бурно проходящее обсуждение «революционной технологии» постепенно сходит на нет.
Проблематика завлекает
Много лет назад, в ходе работы над программой анализа текстов, я также заинтересовался этой темой. В результате изучения фундаментальных основ современной теории информации, стало понятно, об какие камни спотыкались многочисленные первопроходцы, пытавшиеся с наскока решить эту проблему.
Читать полностью »
Google без шума запустила сервис сжатия данных для десктопной версии Chrome
2015-03-28 в 8:58, admin, рубрики: android, chrome, Data Saver, Google, безопасность, браузеры, информационная безопасность, сжатие данных 
Сервис Data Saver для десктопной версии браузера Google Chrome сокращает трафик, получаемый при загрузке страниц, с помощью серверов Google: при включенном расширении серверы Google сжимают данные перед загрузкой веб-страниц и проверяют их на вирусы. Data Saver работает в режиме тестирования и доступен для скачивания.
Читать полностью »
Оптимальная сортировка непрерывного архива
2015-03-17 в 14:53, admin, рубрики: 7-zip, nanozip, open source, winrar, архивация, КодоБред, сжатие данных, сжатие информации Воплощение одной идеи – расположить файлы так, чтобы размер архива был минимальным.
Программа проверяет сжимаемость файлов в паре и затем сортирует список для сжатия архиватором.
sourceforge.net/projects/saro-vks/
Если кому надо – берите.
Читать полностью »
Обработка больших запакованных файлов на Mac и не только
2015-02-19 в 0:41, admin, рубрики: linux, mac, named pipes, unar, unzip, архивирование, большие файлы, Разработка под OS X, сжатие данных, системное администрирование, метки: named pipes Возникла у меня как-то задача обработать файл с логами. В принципе, задача банальная, я для этого использую Perl и в Linux и в Windows. Но дело в том, что всё это происходит на Mac, файл находится в архиве и он большой. Распакованным, он занимает около 20 ГБ.
Какое будет обычное решение?
Читать полностью »
Обзор алгоритмов сжатия графов
2014-12-23 в 11:13, admin, рубрики: big data, boldi, compresion, grabowski, navarro, vigna, веб-аналитика, математика, сжатие данныхДанная работа описывает способы сжатия прежде всего социальных(графы связей между пользователями в социальных сетях) и Web-графов(графы ссылок между сайтами).
Большинство алгоритмов на графах хорошо изучены и спроектированы из расчета того, что возможен произвольный доступ к элементам графа, на данный момент размеры социальных графов превосходят RAM среднестатистической машины по размеру, но в тоже время легко умещаются на жестком диске. Компромисным вариантом являтся сжатие данных с возможностью быстрого доступа к ним определенных запросов. Мы сконцентрируемся на двух:
а) получить список ребер для определенной вершины
б) узнать соединяются ли 2 вершины.
Читать полностью »
Распознавание гильоширных элементов на примере паспорта РФ
2013-12-03 в 12:00, admin, рубрики: Алгоритмы, архивация, Блог компании Cognitive Technologies, оцифровка, распознование текста, сжатие данных, метки: Алгоритмы, архивация, оцифровка, распознование текста, сжатие данныхГильош – это специальная технология защиты банкнот, документов, ценных бумаг и других видов полиграфической продукции (билетов, акцизных марок, сертификатов и многих других документов государственного масштаба).
Защита документов обеспечивается путем нанесения на бланки сложных композиций различных гильоширных элементов. Гильоширный элемент представляет собой замысловатый рисунок из множества многократно пересекающихся тончайших кружевных линий (рисунок 1). Обычно такие элементы представлены разного рода защитными сетками, розеттами, бордюрами, виньетками и уголками. Гильош может быть как симметричным, так и асимметричным по своему дизайну.
Согласно существующим нормативам, гильоширные элементы должны занимать не менее 70% площади ценных бумаг.
Причем из этой площади большая часть должна содержать многоцветные гильоширные композиции.
Cognitive PDF/A – технология оцифровки текстовых документов для публикации в интернете и долговременного архивного хранения
2013-11-25 в 12:42, admin, рубрики: Алгоритмы, архивация, Блог компании Cognitive Technologies, оцифровка, распознование текста, сжатие данных, метки: Алгоритмы, архивация, оцифровка, распознование текста, сжатие данныхПривет!
Мы продолжаем публикации о технологиях оптического распознавания (OCR, ICR) и понимания документов, разработанных специалистами компании Cognitive Technologies. Сегодня наш рассказ о технологиях оцифровки текстовых документов Cognitive PDF/A.
В бизнес-сфере достаточно часто приходится сканировать бумажные документы с целью последующей пересылки по электронной почте или архивного хранения. При качественном сканировании получившиеся изображения-образы зачастую оказываются достаточно большого размера. Например, документ формата А4, отсканированный в цветном режиме при разрешении 300 DPI, имеет размер порядка 25 Мб. Использование файлов таких больших размеров неэффективно в электронных архивах, поэтому все больший интерес обретают технологии сжатия получившихся электронных образов. Классические технологии сжатия изображений (JPEG, RLE, Deflate и т.п.) не применимы, так как в общем случае документы могут содержать как монохромный текст, так и полноцветные графические области. Алгоритмы сжатия изображений без потерь, результативные для монохромных текстов, неэффективны для полноцветной графики, в то время как сжатие с потерями демонстрирует высокие показатели для цветных изображений, однако сильно искажает текстовую информацию (Рис. 1). Поэтому обычно для сжатия изображений такого типа используют комбинированный подход.
Shortest Common Superstring Problem
2013-11-11 в 8:46, admin, рубрики: java, scss, Алгоритмы, биоинформатика, сжатие данных, строки, метки: java, scss, Алгоритмы, биоинформатика, сжатие данных, строкиПроблема кратчайшей общей надстроки формулируется следующим образом: найти кратчайшую строку, такую, что каждая строка из заданного набора являлась бы её подстрокой. Эта проблема имеет место как в биоинформатике (задача сборки генома в общем случае) так и в сжатии данных (вместо данных хранить их надстроку и последовательность пар, вида (индекс вхождения, длина)).
Когда я искал в сети информацию по этой проблеме и её решению на русском языке — находилась лишь пара постов про биоинформатике, где вскользь упоминаются эти слова. Кода (кроме жадного алгоритма), конечно же, тоже не было. Разобравшись в проблеме, этот факт сподвиг на статью здесь.
Осторожно, 4 мегабайта!
Читать полностью »
Сжатие данных при передаче от браузера к серверу
2013-07-10 в 11:24, admin, рубрики: ajax, Deflate, javascript, lzma, lzw, php, workers, браузеры, клиент-сервер, передача данных, сжатие данных, метки: Deflate, javascript, lzma, lzw, PHP, workers, клиент-сервер, передача данных, сжатие данных 
Обрабатываете много данных в браузере?
Хотите отправлять их обратно на сервер?
Да так, чтобы отправлялось побыстрее и помещалось в один http запрос?
В статье я покажу как мы решили эту задачу в новом проекте, используя сжатие и современные возможности javascript.