Рубрика «энтропия» - 3

Добрый день, земляне!

В случае каких-либо недоразумений/недопониманий, прошу считать этот пост чисто пятничным флеймом. Сразу уточню, что в этом посте нет ответа на вопрос. Я сам его ищу – поисковики не помогают – и тут лишь озвучиваю сам вопрос. Надеюсь на помощь зала.

image

Есть ли какие-то исследования/теории/гипотезы/whatever на тему того, чем является информация с точки зрения фундаментальной физики? С математической точки зрения тут всё ясно – есть биты, их комбинации, алгоритмы по хранению и изменению этих битов и т.д. – по-сути, вся IT-сфера как раз этим и занимается.
Читать полностью »

Как может показаться, анализ сигналов и данных — тема достаточно хорошо изученная и уже сотни раз проговоренная. Но есть в ней и некоторые провалы. В последние годы словом «энтропия» бросаются все кому не лень, толком и не понимая, о чем говорят. Хаос — да, беспорядок — да, в термодинамике используется — вроде тоже да, применительно к сигналам — и тут да. Хочется хотя бы немного прояснить этот момент и дать направление тем, кто захочет узнать чуть больше об энтропии. Поговорим об энтропийном анализе данных.
Читать полностью »

Security Week 20: случайные числа, уязвимость в 7-Zip, Microsoft выключает WiFi Sense - 1Хотите поговорить об энтропии? Я не хочу, но надо, так как одна из самых важных новостей недели (и, что удивительно, самая популярная новость на Threatpost) как раз про нее. Точнее — про впечатляющий (если потом не опровергнут) прорыв в решении проблемы генерации случайных чисел. Научная работа исследователей Дэвида Цукермана и Эшана Чаттопадхья из Техасского университета доказывает возможность генерации случайных чисел высокого качества на основе двух источников более низкого качества. Если еще точнее, то такая возможность была и раньше — например, около 10 лет назад это показал бельгийский математик Жан Бургейн. Проблема в работе Бургейна заключалась в том, что к этим самым «не очень качественным» источникам на самом деле предъявлялись довольно высокие требования по части энтропии, соответственно его исследования имели чисто научную ценность.

А вот в данном случае ценность может быть вполне практическая: если просто, то новая работа позволит получать случайные числа быстро и дешево, уменьшит шансы на, скажем, взлом зашифрованной переписки из-за уязвимости алгоритма генерации. Основное требование к двум источникам — это отсутствие корреляций между ними. В общем, хорошая (хотя и чрезвычайно сложная для понимания) новость с научного фронта, которая вполне может найти применение в криптографии, и не только в ней. Отзывы на научную работу в целом весьма положительные, но, как правильно отмечается в этой статье BBC, исследование не предлагает ничего принципиально нового. Но качество и скорость существующих методов генерации случайных чисел могут быть улучшены.

Предыдущие выпуски дайджеста доступны по тегу.
Читать полностью »

Любознательный пользователь Артём Дашинский (Artiom Dashisnky) задался вопросом: а можно ли использовать эмодзи в пароле для OS X Yosemie?

Оказалось — можно.

После этого у Артёма возникла другая проблема. Выяснилось, что на экране авторизации присутствуют только нативные клавиатуры — и никаких эмодзи. Как же ввести свой пароль? С таким вопросом пользователь обратился к программистской аудитории StackExchange.
Читать полностью »

Многие сайты пытаются помочь пользователям установить более сложные пароли. Для этого устанавливают базовые правила, которые требуют обычно указать хотя бы одну прописную букву, одну строчную букву, одну цифру и так далее. Правила обычно примитивные вроде таких:

'password' => [
    'required',
    'confirmed',
    'min:8',
    'regex:/^(?=S*[a-z])(?=S*[A-Z])(?=S*[d])S*$/',
];

К сожалению, такие простые правила означают, что пароль Abcd1234 будет признан хорошим и качественным, так же как и Password1. С другой стороны, пароль mu-icac-of-jaz-doad не пройдёт валидацию.

Некоторые специалисты говорят, что это не лучший вариант.
Читать полностью »

image

Всякий, знакомый с проблематикой кодирования информации, периодически сталкивался с идеями алгоритмов «суперсжатия» данных без потерь. Зачастую предлагается использование хеш-сумм, генераторов случайных чисел (зачем?), или просто различных комбинаций повторного сжатия данных при помощи архиваторов. После очередного бурного обсуждения, как правило, эксперты в очередной раз советуют первооткрывателям ознакомиться с азами теории информации. Особо упертым предлагают просто написать программу сжатия данных на один бит файла со случайными данными. После этого доселе бурно проходящее обсуждение «революционной технологии» постепенно сходит на нет.

image
Проблематика завлекает

Много лет назад, в ходе работы над программой анализа текстов, я также заинтересовался этой темой. В результате изучения фундаментальных основ современной теории информации, стало понятно, об какие камни спотыкались многочисленные первопроходцы, пытавшиеся с наскока решить эту проблему.
Читать полностью »

Я решил представить на суд уважаемого хабрасообщества свою разработку — метод фрагментарного сжатия видеопотока. Особенностью предлагаемого метода является полное соответствие сжатого видеопотока исходному, то есть метод осуществляет сжатие без потерь.
Читать полностью »

Этот пост является вольным переводом ответа, который Mark Eichenlaub дал на вопрос What's an intuitive way to understand entropy?, заданный на сайте Quora

Энтропия. Пожалуй, это одно из самых сложных для понимания понятий, с которым вы можете встретиться в курсе физики, по крайней мере если говорить о физике классической. Мало кто из выпускников физических факультетов может объяснить, что это такое. Большинство проблем с пониманием энтропии, однако, можно снять, если понять одну вещь. Энтропия качественно отличается от других термодинамических величин: таких как давление, объём или внутренняя энергия, потому что является свойством не системы, а того, как мы эту систему рассматриваем. К сожалению в курсе термодинамики её обычно рассматривают наравне с другими термодинамическими функциями, что усугубляет непонимание.
энтропия
Читать полностью »

Несколько дней назад на Хабре была опубликована статья Энтропия и WinRAR. В ней замечены некоторые неточности, на которые хочется дать развернутый ответ.

Начну с простого — картинка «степень сжатия различных данных». Вот она:

image

Удивительно, что случайная последовательность чисел сжимается где-то до 60% от исходного объема. Я точно помню, в молодости пытался зиповать сжатое видео и картинки в jpg. Архивы получались практически такого же объема, как оригинал, а иногда и на пару процентов больше! К сожалению, автор статьи не очень подробно описал, как именно он получил свой результат. Степень сжатия его последовательности случайных чисел подозрительно похожа на отношение 10/16 = 0.625.

Я попробовал воспроизвести эксперимент своими силами. Я генерировал файл со случайными символами, а потом сжимал его тем самым winRar’ом, упомянутым в заголовке. Результат таков:
Читать полностью »

Деревья принятия решений являются удобным инструментом в тех случаях, когда требуется не просто классифицировать данные, но ещё и объяснить почему тот или иной объект отнесён к какому-либо классу.

Давайте сначала, для полноты картины, рассмотрим природу энтропии и некоторые её свойства. Затем, на простом примере, увидим каким образом использование энтропии помогает при создании классификаторов. После чего, в общих чертах сформулируем алгоритм построения дерева принятия решений и его особенности.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js