Рубрика «хранилища данных» - 22

в 10:45, , рубрики: Блог компании VPS.house, виртуализация, виртуальный рабочий стол, виртуальный сервер, дата-центр, Облачные вычисления, облачные технологии, перевод с английского, публичные облака, Серверная оптимизация, хранилища данных

Что такое виртуализация и как работает виртуальный сервер - 1

Важность и применение виртуализации простирается далеко за пределы виртуальных машин.

Ни одно из достижений в области информационных технологий за последние шестьдесят лет не имела столь огромной ценности как виртуализация. Многие ИТ-специалисты думают о виртуализации с точки зрения виртуальных машин (VM) и связанных с ними гипервизоров и операционных систем, но это только вершина айсберга. Все более широкий спектр технологий, стратегий и возможностей виртуализации переопределяет основные элементы ИТ в организациях по всему миру.
Читать полностью »

в 10:42, , рубрики: clickhouse, devops, graphite, monitoring, Блог компании Avito, системное администрирование, хранилища данных

Всем привет! В своей прошлой статье я писал об организации модульной системы мониторинга для микросервисной архитектуры. Ничего не стоит на месте, наш проект постоянно растёт, и количество хранимых метрик — тоже. Как мы организовали этот переход в условиях высоких нагрузок, об ожиданиях от него и результатах миграции читайте под катом.

Хранение метрик: как мы перешли с Graphite+Whisper на Graphite+ClickHouse - 1

Читать полностью »

в 7:01, , рубрики: compel, CRIU, kernel, linux, virtuozzo, Блог компании Virtuozzo, виртуализация, живая миграция, патчинг, Программирование, Разработка под Linux, хранилища данных

В последнее время мы много говорим про CRIU – систему живой миграции контейнеров. Но сегодня речь пойдет о еще более любопытной разработке: живом патчинге приложений, а также о библиотеке Compel, которая позволяет вытворять все эти безобразия, придавая гиперконвергентным системам новый уровень гибкости.

image
Читать полностью »

в 11:31, , рубрики: big data, meetup, Блог компании Avito, конференции, продуктовая аналитика, Управление продуктом, хранилища данных

Компании собирают всё больше информации о пользователях. Но мало её получить, важно понимать, какие именно данные и как будут использоваться. Приглашаем продуктовых и data-аналитиков на Avito Product Analytics Meetup. Поговорим о том, как работать с хранилищем данных и масштабировать его для высоких нагрузок, о персонализации сайта для пользователей на основе customer journey map и об измерении удовлетворенности пользователей. Под катом — тезисы докладов, ссылки на регистрацию и прямую трансляцию.

Avito Product Analytics Meetup 9 декабря: анонс - 1

Читать полностью »

в 6:48, , рубрики: AmBAR, FTP, share, smb, именованные сущности, поиск, полнотекстовый поиск, теги, хранение данных, хранилища данных, шара

От поиска к исследованию документов в сетевых шарах и файловых помойках - 1

В предыдущей статье мы рассказали про наш open-source продукт для поиска данных по шарам и файло-помойкам. С тех пор мы доработали продукт и значительно усовершенствовали поиск, добавив именованные сущности, теги, статистику по запросу и структуру папок. Эти улучшения позволяют переходить от поиска к анализу данных, в статье рассмотрим все это подробней.

Читать полностью »

в 11:27, , рубрики: Алгоритмы, базы данных, Блог компании ВКонтакте, Вконтакте, высокая производительность, структуры данных, хайлоад, хранение данных, хранилища данных

Наши пользователи пишут друг другу сообщения, не зная усталости.

Переписать базу сообщений ВКонтакте с нуля и выжить - 1

Это довольно много. Если бы Вы задались целью прочитать все сообщения всех пользователей, это бы заняло больше 150 тысяч лет. При условии, что Вы довольно прокачанный чтец и тратите на каждое сообщение не больше секунды.

При таком объёме данных критически важно, чтобы логика хранения и доступа к ним была построена оптимально. Иначе в один не такой уж и прекрасный момент может выясниться, что скоро всё пойдёт не так.

Для нас этот момент наступил полтора года назад. Как мы к этому пришли и что получилось в итоге — рассказываем по порядку.Читать полностью »

в 7:11, , рубрики: big data, dataline, ilikedataline, NetApp, netapp insight, анонс, Блог компании DataLine, виртуализация, данные, конференции, репортаж с netapp insight 2017, СХД, управление данными, хранение данных, хранилища данных

Топ-3 анонсов с NetApp Insight 2017 - 1

Привет! На этой неделе я в Берлине на конференции NetApp Insight и подготовил для вас репортаж о том, что успел увидеть и пощупать.

NetApp Insight традиционно проходит в Европе в середине ноября. Это большая конференция, на которой компания NetApp представляет свое видение технологий работы с данными и анонсирует обновления линеек продуктов. Каждый день проходят сотни (!) технологических сессий с детальной информацией из первых рук. Можно сравнить эту конференцию с VMWorld, а из проходящих в России – с Highload++.

В конференции принимают участие тысячи людей – покупатели, партнеры, сотрудники NetApp из разных стран. В этом году здесь представлено 80 стран.
Читать полностью »

в 14:24, , рубрики: intel raid, powershell, windows core, мониторинг raid, хранилища данных

image

Всем привет!

За последние годы мы привыкли что можно и нужно все мониторить, множество инструментов начиная от простых логов, заканчивая Zabbix и все можно связать. Microsoft в свою очередь тоже дала нам отличный инструмент WinRM, с помощью которого мы можем отслеживать состояние операционных систем и не только. Но как всегда есть ложка дегтя, собственно об «обходе» этой ложки дегтя и пойдет речь.

Как выше было сказано, мы имеем все необходимые инструменты для мониторинга IT структуры, но так сложилось что мы не имеем «автоматизированный» инструмент для мониторинга состояния Intel raid массивов в Windows core. Обращаю Ваше внимание на то, что речь идет об обычном «желтом железе».
Читать полностью »

в 12:07, , рубрики: Анализ и проектирование систем, артем денисов, архитектура, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, масштабируемость, Серверная оптимизация, системы хранения данных, хранилища данных

Архитектура хранения и отдачи фотографий в Badoo - 1

Артем Денисов ( bo0rsh201, Badoo)

Badoo — это крупнейший в мире сайт знакомств. На данный момент у нас зарегистрировано порядка 330 миллионов пользователей по всему миру. Но, что гораздо более важно в контексте нашего сегодняшнего разговора, — это то, что мы храним около 3 петабайт пользовательских фотографий. Каждый день наши пользователи заливают порядка 3,5 миллионов новых фотографий, и нагрузка на чтение составляет порядка 80 тысяч запросов в секунду. Это достаточно много для нашего бэкенда, и с этим иногда бывают трудности.

image

Я расскажу про дизайн этой системы, которая хранит и отдает фотки в целом, и приведу на нее взгляд с точки зрения разработчика. О том, как она развивалась, будет краткая ретроспектива, где я основные вехи обозначу, но уже более подробно буду говорить только о тех решениях, которые мы сейчас используем.
Читать полностью »

в 15:59, , рубрики: driver, dual boot, exchange, exfat, ext4, fat32, file systems, HFS+, kernel, linux, mac os, ntfs, tripple boot, UDF, windows, Настройка Linux, хранение данных, хранилища данных

Всем привет. Недавно я задался вопросом как организовать обмен файлами между операционными системами. Предположим, я хочу установить сразу три основные ос на своём ноутбуке: линукс, виндовз и хакинтош. Каждая ос предназначается для своих задач: Линукс — для работы и программирования, винда — для игр и хак — просто для разных экспериментов.

Поскольку я создаю обучающие видео ролики о линуксе, мне удобнее работать именно на нём. Но монтировать хочется попробовать в «финальном вырезе». Уж очень мне приглянулась идея магнитной ленты времени.

Выбираем файловую систему независимую от ОС - 1

Так вот, задача стоит такая: нужен раздел на системном накопителе, причём с такой файловой системой, которая поддерживается на чтение и запись всеми перечисленными операционками. На этом разделе будут храниться скачанные из интернета файлы и меж-операционные проекты.
Читать полностью »

1...10...212223...30...37
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js