Рубрика «хранение данных» - 28

Как благодаря Kubernetes и автоматизации мигрировать в облако за два часа - 1

Компания «УРУС» попробовала Kubernetes в разных видах: самостоятельный деплоймент на bare metal, в Google Cloud, а затем перенесла свою платформу в облако Mail.ru Cloud Solutions (MCS). Как выбирали нового облачного провайдера и как удалось мигрировать к нему за рекордные два часа рассказывает Игорь Шишкин, старший системный администратор «УРУС».
Читать полностью »

В некоторых процессорах Intel нашли уязвимость NetCAT — она позволяет красть данные по SSH - 1

Механизм повышения производительности процессоров Intel под названием Direct Data I/O (DDIO) оказался связан с критической уязвимостью NetCAT, которая позволяет злоумышленникам перехватывать нажатия клавиш во время подключения по SSH.

Уязвимость обнаружили исследователи в сфере кибербезопасности из Vrije Universiteit Amsterdam и ETH Zurich. Они опубликовали работу, в которой описали найденную ими критическую уязвимость NetCAT (сокращенно от Network Cache Attack), которая оказалась возможна благодаря поддержке Data-Direct I/O Technology.

При помощи этой технологии периферийные устройства могут получить прямой доступ для записи данных в кэш процессора вместо оперативной памяти. Этот механизм полезен для работы крупных дата-центров, где оперативной памяти может не хватать. Функция DDIO по умолчанию включена на всех серверных процессорах Intel (включая Intel Xeon E5, E7 и SP) с 2012 года.
Читать полностью »

При удалении сообщений в Telegram изображения оставались на смартфонах всех участников чата - 1

Telegram исправил ошибку, которая нарушила одну из ключевых функций конфиденциальности приложения чата — возможность удалять ваши сообщения.

Telegram заявлял, что приложение может отзывать сообщения, отправленные вашим друзьям. Отозванные чаты должны быть удалены с устройства собеседника.

Тем не менее, баг-хантер Дирадж Мишра заявил изданию The Register, что, хотя текстовое содержание сообщений будет удалено, все прикрепленные изображения останутся на телефоне.

«Предположим, что Боб отправляет изображение, и отправляет его по ошибке Алисе. Боб удаляет сообщение, используя функцию Telegram, известную как «Также удалить для Алисы», которая, по сути, удаляет сообщение для Алисы, — рассказывает Мишра, который нашел ошибку и в частном порядке сообщил об этом Telegram. — Очевидно, эта функция не работает должным образом, так как Алиса все равно сможет видеть изображение, хранящееся в папке Telegram Images. Функция удаляет изображение только из окна чата».
Читать полностью »

На дворе XXI век, а мы продолжаем голосовать «камешками». Давайте это менять. Тем более, что «цифровых» инструментов для этого становится всё больше и больше.
Читать полностью »

Kafka и микросервисы: обзор - 1

Всем привет. В этой статье я расскажу, почему мы в Авито девять месяцев назад выбрали Kafka, и что она из себя представляет. Поделюсь одним из кейсов использования — брокер сообщений. И напоследок поговорим о том, какие плюсы мы получили от применения подхода Kafka as a Service.

Читать полностью »

Эксперт по безопасности Саньям Джейн обнаружил на незащищенном сервере несколько баз данных, содержащих в общем 419 млн телефонных номеров пользователей Facebook, сообщает издание TechCrunch.

Кроме номеров телефонов в базе оказались и другие данные: ID профилей Facebook, имена, пол, информация о стране проживания. Согласно последней в базы попали данные 133 млн пользователей США, 18 млн британцев и 50 млн жителей Вьетнама.
Читать полностью »

Архитектура и возможности Tarantool Data Grid - 1

В 2017 году мы выиграли конкурс на разработку транзакционного ядра инвестиционного бизнеса Альфа-Банка и приступили к работе (на HighLoad++ 2018 с докладом о ядре инвестиционного бизнеса выступал Владимир Дрынкин, руководитель направления транзакционного ядра инвестиционного бизнеса Альфа-банка). Эта система должна была агрегировать данные о сделках из разных источников в различных форматах, приводить данные к унифицированному виду, сохранять их и предоставлять к ним доступ.

В процессе разработки система эволюционировала и обрастала функционалом, и в какой-то момент мы поняли, что у нас кристаллизуется что-то намного большее, чем просто прикладное ПО, созданное для решения строго определенного круга задач: у нас получилась система для построения распределенных приложений с персистентным хранилищем. Полученный нами опыт лег в основу нового продукта — Tarantool Data Grid (TDG).

Я хочу рассказать об архитектуре TDG и о тех решениях, к которым мы пришли в процессе разработки, познакомить вас с основным функционалом и показать, как наш продукт может стать базой для построения законченных решений.
Читать полностью »

Upgrade компа серверным SATA SSD на 1.92TB с ресурсом записи от 2PB и выше - 1

Есть люди, которые любят использовать качественные комплектующие из корпоративного сегмента в быту. Они хотят быть уверенными в том, что их SSD не накроется внезапно из-за write amplification при ежедневном скачивании огромных 4K-торрентов на фрагментированый NTFS-раздел с размером кластера 4K или при очередной компиляции Gentoo из исходников.

Конечно, такие опасения редко сбываются на практике, однако очень приятно пользоваться SSD, который не имеет практически достижимого потолка по износостойкости. И даже когда ёмкость его станет малой для текущих задач, то он всё равно может быть использован как флэшка или как дополнительный диск, подарен или продан.

В этой статье приведён список корпоративных SSD ёмкостью 1.92ТБ, которые сейчас подешевели до уровня потребительских SSD (< $300), но обладают ресурсом записи от 2 Петабайт и выше.
Читать полностью »

«Лучшее, что я сделал в своей карьере — послал работу к черту». Крис Дэнси о превращении всей жизни в данные - 1

У меня вызывает лютое отторжение все, что связано с «саморазвитием» — лайф-коучи, гуру, болтуны-мотиваторы. Мне хочется демонстративно жечь «сэлф-хэлп» литературу на большом костре. Меня без капли иронии бесят Дейл Карнеги и Тони Роббинс — сильнее чем экстрасенсы и гомеопаты. Мне физически больно видеть как какое-нибудь «Тонкое искусство пофигизма» становится супер-бестселлером, и чертов Марк Мэнсон пишет уже вторую книгу ниочем. Я необъяснимо ее ненавижу, хотя не открывал и не собираюсь.

Когда я готовился к интервью с героем этой статьи, долго боролся со своим раздражением — потому что сходу записал его во враждебный лагерь. Крис Дэнси — человек, которого журналисты уже пять лет называют «The most connected man on earth», делает свою жизнь лучше с помощью сбора данных и учит этому других.

На деле, конечно, все всегда оказывается иначе. Крис, бывший программист, уже почти десять лет фиксирует абсолютно все, что делает, все, что его окружает, анализирует и находит совершенно неочевидные и по-настоящему любопытные связи, которые позволяют разглядеть жизнь со стороны. Инженерный подход даже «саморазвитие» превращает из наивной болтовни в нечто дельное.

Мы поговорили в рамках подготвки Криса к выступлению на Rocket Science Fest 14 сентября в Москве. После нашего разговора я все еще хочу показать средний палец Марку Мэнсону и Тони Роббинсу, но вот на Google Calendar поглядываю с любопытством.
Читать полностью »

Time series данные или временные ряды — это данные, которые изменяются во времени. Котировки валют, телеметрия перемещения транспорта, статистика обращения к серверу или нагрузки на CPU — это time series данные. Чтобы их хранить требуются специфичные инструменты — темпоральные базы данных. Инструментов — десятки, например, InfluxDB или ClickHouse. Но даже у самых лучших решений для хранения временных рядов есть недостатки. Все time series хранилища низкоуровневые, подходят только для time series данных, а обкатка и внедрение в текущий стек — дорого и больно.

Time series данные в реляционной СУБД. Расширения TimescaleDB и PipelineDB для PostgreSQL - 1

Но, если у вас стек PostgreSQL, то можете забыть о InfluxDB и всех остальных темпоральных БД. Ставите себе два расширения TimescaleDB и PipelineDB и храните, обрабатываете и проводите аналитику time series данных прямо в экосистеме PostgreSQL. Без внедрения сторонних решений, без недостатков темпоральных хранилищ и без проблем их обкатки. Что это за расширения, в чем их преимущества и возможности, расскажет Иван Муратов (binakot) — руководитель отдела разработки в «Первой Мониторинговой Компании».
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js