Достойная пятницы история приключилась с американским исследователем в области безопасности Джозефом Тартаро (Joseph Tartaro). Захотелось ему выделиться, заказав не просто индивидуальный номер на авто, но и связав его со своим ремеслом. Первой мыслью было поиграться с SEGFAULT или чем-то вроде этого. Но в итоге он остановился на номере NULL для своей машины и VOID для своей жены. Почуяли неладное? О том, чем обернулась для него невинная шалость, о ещё одном курьёзном мистере Null и о поучительных багах при проверке типов данных в пользовательском вводе, читайте под катом.
Рубрика «хранение данных» - 29
Не шутите с NULL
2019-08-16 в 6:45, admin, рубрики: null, Блог компании ua-hosting.company, Курьезы, обработка пользовательского ввода, Программирование, Проектирование и рефакторинг, Развитие стартапа, типизация, хранение данных
Утечка данных системы BioStar 2 выдала личную информацию миллиона человек
2019-08-15 в 12:57, admin, рубрики: защита данных, информационная безопасность, утечка информации, хранение данных, хранилища данных
Компания vpnMentor опубликовала сообщение об обнаружении в открытом доступе базы данных, которая содержала почти 28 миллионов записей, включая пароли, фото, данные мобильных устройств и личную информацию пользователей биометрической системы Biostar 2. Кроме того, в базе данных находились отсканированные отпечатки пальцев около миллиона человек.
Biostar 2 на сегодня насчитывает около полутора миллионов установок. Система интегрирована в платформу AEOS, с которой работает более 5,7 тысяч предприятий в 83 странах, среди которых США, Великобритания, Индонезия, ОАЭ, Индия и Шри-Ланка. Список организаций включает в себя как коммерческие предприятия, так и государственные учреждения, например, полицейские участки и даже Скотланд-Ярд.
Читать полностью »
Как было устроено хранилище DWH в TELE2
2019-08-11 в 15:54, admin, рубрики: apex, big data, database design, dwh, edw, oracle, oracle application express, Tele2 Россия, архитектура, база дынных, биллинг, биллинговая система, биллинговые системы, теле2, телекоммуникации и связь, хранение данных, хранилища данных, хранилище данныхЗдравствуйте, дорогие друзья.
Сегодня хочу поделиться историей из жизни, как было устроено хранилище DWH в Tele2 до внедрения КХД (EDW). А в следующих статьях рассказать, как внедрялись ETL-инструменты, EDW и BI решения в Tele2.
Поступил я в ИТ подразделение Tele2 в 2012 в отдел по системам отчетности. На тот момент в компании уже было создано хранилище DWH, на котором уже крутилось много процессов по предоставлению отчетности и не только.
Немного по поводу технического стека, который там использовался на тот момент. Для хранилища использовалась Оракловая база объемом 60-100 Тб сервер T4-4 c оперативой под 1 Тб. Туда загружались данные из различных источников. Но основными из них были 4 оракловые биллинговые базы, которые были по сути платформой тарификации. И был отдел ЕРЦ (Единый расчетный центр), который занимался поддержкой этих баз и предоставлением сервисов. Разделение этих баз было по макрорегионам. Причина: слишком большие объемы. Т.е если абонент звонит, скажем, из Московской сим-карты то и расчет стоимости звонка производится в соответствующем биллинге.
Habr Weekly #13 – Под угрозой 1,5 млн пользователей дейтингового сервиса, расследование «Медузы», деанон россиян
2019-08-09 в 16:25, admin, рубрики: 3fun, habr weekly, анонимость в интернете, Блог компании Хабр, деанонимизация, дейтинг-приложения, Законодательство в IT, защита данных, знакомства, информационная безопасность, Медуза, мобильные приложения, подкасты, хабр, хранение данныхСнова рассуждаем о приватности. Эту тему мы так или иначе обсуждаем с начала подкаста и, кажется, к этому выпуску нам удалось сделать несколько выводов: нас все-таки парит наша приватность; важно не что скрывать, а от кого; мы — это наши данные.
Поводом к обсуждению послужило два материала: об уязвимости в дейтинговом приложении, которая раскрывала данные 1,5 млн человек; и о сервисах, которые могут деанонимизировать любого россиянина. Внутри поста ссылки на материалы и площадки, где еще можно послушать наш подкаст.
Читать полностью »
Уязвимость дейтинг-приложения раскрыла данные 1,5 млн пользователей — в том числе в Белом доме США
2019-08-09 в 8:37, admin, рубрики: дейтинг-приложения, защита данных, информационная безопасность, мобильные приложения, хранение данных
Проект Pen Test Partners опубликовал результаты исследования одного из популярных дейтинг-приложений. Речь идёт о приложении по поиску партнёров для группового секса 3fun с базой в полтора миллиона пользователей. Исследование показало, что система безопасности приложения не выдерживает никакой критики.
«За последние годы мы встречали много слабых мест в безопасности приложений для знакомств. Нарушения обработки персональных данных, утечка информации о местоположении пользователей и многое другое. Но это приложение срывает куш: у него, вероятно, худшее обеспечение безопасности из всех приложений для знакомств, которые мы когда-либо видели», — пишут Pen Test Partners.
По информации исследователей, приложение показывает местоположение практически любого пользователя в режиме реального времени — на работе, дома, в дороге, где угодно. Оно показывает даты рождения пользователей, их сексуальные предпочтения и данные чата. Также с его помощью можно найти личные фото пользователей.
«Это крушение поезда конфиденциальности. Сколько отношений или карьер может рухнуть из-за раскрытия этих данных?» — отмечают в Pen Test Partners.
Читать полностью »
ГИБДД, ЦОДД Москвы и РСА начали проверять наличие полиса ОСАГО с помощью дорожных камер
2019-08-07 в 12:11, admin, рубрики: автомобиль, базы даных, Гибдд, Законодательство в IT, обработка изображений, ОСАГО, полис, Работа с видео, транспорт, фиксация, хранение данных, ЦОДД, штраф
Выявленных в автоматическом тестовом режиме путем анализа данных видеофиксации нарушителей пока не штрафуют. Автовладельцам, не оформившим ОСАГО, столичное ГИБДД отправляет письма с рекомендацией приобрести полис. По окончании тестирования водители получат штраф в размере 800 рублей. Первые письма направили уже 5,5 тысячи нарушителей, причем отсутствие у них полиса было выявлено еще 21 мая. Общее число выявленных нарушений за три месяца тестирования системы — более 700 тысяч будущих штрафов.
Читать полностью »
Создаем конвейер потоковой обработки данных. Часть 2
2019-08-05 в 14:52, admin, рубрики: big data, data science, Google Cloud Platform, programming, python, Towards Data Science, Блог компании OTUS. Онлайн-образование, хранение данныхВсем привет. Делимся переводом заключительной части статьи, подготовленной специально для студентов курса «Data Engineer». С первой частью можно ознакомиться тут.
Apache Beam и DataFlow для конвейеров реального времени
Настройка Google Cloud
Примечание: Для запуска конвейера и публикации данных пользовательского лога я использовал Google Cloud Shell, поскольку у меня возникли проблемы с запуском конвейера на Python 3. Google Cloud Shell использует Python 2, который лучше согласуется с Apache Beam.
Чтобы запустить конвейер, нам нужно немного покопаться в настройках. Тем из вас, кто раньше не пользовался GCP, необходимо выполнить следующие 6 шагов, приведенных на этой странице.Читать полностью »
Huawei вдвое увеличила выручку в России за счет смартфонов и импортозамещения
2019-08-04 в 11:49, admin, рубрики: Honor, huawei, гаджеты, мобильные устройства, Настольные компьютеры, планшеты, смартфоны, хранение данныхЗа 2018 год компания Huawei увеличила выручку в России с 61,7 млрд рублей до 132,3 млрд рублей. Чистая прибыль российской дочерней компании китайского бренда, ООО «Техкомпания Хуавэй», по данным СПАРК, выросла в 2,4 раза — до 3,35 млрд рублей. Выручка за прошлый год – рекордная для компании на российском рынке, пишет РБК. На высокие финансовые показатели повлияли хорошие продажи мобильных устройств Huawei.
За год доля продуктов Huawei в количестве проданных смартфонов в России увеличилась с 11% до 20%. За счет этого китайская компания обогнала Apple, оказавшись на втором месте. Лидером по продажам устройств в России за прошедший год оказалась компания Samsung.
Dat — что это за протокол, и кто его использует
2019-08-03 в 10:06, admin, рубрики: Dat, IT-стандарты, vas experts, Блог компании VAS Experts, обмен данными, протоколы, хранение данныхГоворим о принципах работы этого P2P-протокола и проектах, построенных на его основе.
Обходим лимит поиска LinkedIn, играя с API
2019-08-01 в 10:41, admin, рубрики: api, javascript, limit, linkedin, reverse engineering, реверс-инжиниринг, Социальные сети и сообщества, хранение данныхЛимит
Есть на LinkedIn такое ограничение — Лимит коммерческого использования. Крайне вероятно, что вы, как и я до недавнего времени, никогда не сталкивались и не слышали о нем.
Суть лимита в том, что если вы используете поиск людей вне ваших контактов слишком часто (точных метрик нет, решает алгоритм, на основе ваших действий — как часто и много искали, добавляли людей), то результат поиска будет ограничен тремя профилями, вместо 1000 (по умолчанию 100 страниц, по 10 профилей на страницу). Лимит сбрасывается в начале каждого месяца. Естественно, премиум аккаунты такого ограничения не имеют.
Но не так давно, для одного пет-проекта, я начал много играться с поиском на LinkedIn и внезапно получил это ограничение. Естественно, такое мне не очень понравилось, ведь я не использовал его в каких-либо коммерческих целях, поэтому первой мыслью было изучить ограничение и попытаться его обойти.
Читать полностью »