Рубрика «хранение данных» - 53

По мнению агентства Transparency Market Research, уже к 2022 году общий оборот рынка видеонаблюдения достигнет 71 миллиарда долларов США и будет увеличиваться как минимум на 16,5% ежегодно. Хотя в настоящее время спрос подогревается такими факторами, как возросшая опасность террористических атак и продолжающееся ужесточение законодательных требований к инфраструктуре безопасности и контроля доступа, в ближайшем будущем акценты сместятся в такие отрасли, как ретейл, промышленность, здравоохранение и другие. Причиной подобных изменений становится стремительное развитие интеллектуальных систем видеоаналитики, способных существенно расширить функционал привычных IP-камер.
Читать полностью »

Привет!

Давайте вернемся к периодически затрагиваемой у нас теме машинного обучения и нейронных сетей. Сегодня речь пойдет об основных типах рекомендательных систем, их достоинствах и недостатках. Под катом — интересная статья Тоби Дейгла с кодом на Python,

Над катом — ссылка на большую презентацию нашего замечательного автора Сергея Николенко, чью книгу "Глубокое обучение. Погружение в мир нейронных сетей", написанную в соавторстве с Артуром Кадуриным и Екатериной Архангельской, мы просто не успеваем допечатывать. В презентации описаны основные типы рекомендательных систем и принципы их работы.

Читаем и комментируем!
Читать полностью »

Apache Ignite – распределенная база данных в памяти, подобные БД получают распространение и хочется сравнить с тем что уже есть и зарекомендовало себя, например реляционная СУБД Oracle. Ignite имеет широкие возможности распределенных вычислений, также есть поддержка SQL на уровне ANSI-99, в производительности SQL и хочется сделать некоторое сравнение. Настройка БД будет в обоих случаях во многом по умолчанию, в случае Oracle это XE, а в случае Ignite это два узла(node) на одном компьютере. Компьютер i5 7400 (4-ядра) 3.5Ггц, 8Гб ОЗУ, SSD диск.
В качестве тестовых данных буду использовать данные КЛАДР (~223 тыс. записей) в качестве среды выполнения запросов DBeaver в котором настроены два подключения к Ignite и Oracle. И первое что сделаю импортирую данные в таблицы, Данные КЛАДР из DBF переведу в CSV, а затем средствами DBeaver выполню импорт в таблицы.
Читать полностью »

Redux — это интересный шаблон, и, по своей сути, он очень прост. Но почему его сложно понять? В этом материале мы рассмотрим базовые концепции Redux и разберёмся с внутренними механизмами хранилищ. Поняв эти механизмы, вы сможете освоиться со всем тем, что происходит, что называется, «под капотом» Redux, а именно — с тем, как работают хранилища, редьюсеры и действия. Это поможет вам вывести на новый уровень отладку приложений, поможет писать более качественный код. Вы будете точно знать, какие именно функции выполняет та или иная строка вашей программы. Мы будем идти к пониманию Redux через практический пример, который заключается в создании собственного хранилища с использованием TypeScript.

Этот материал основан на исходном коде хранилища Redux, написанном на чистом TypeScript. Автор предлагает всем желающим взглянуть на этот код и разобраться с ним. Однако, он указывает на то, что этот проект предназначен для учебных целей.
Читать полностью »

Компания Seagate представила новую технологию для жестких дисков Multi Actuator, которая удвоила скорость чтения/записи HDD. Для этого инженеры разделили актуатор, перемещающий магнитные головки, на два независимых блока.

Какими достоинствами обладает решение, расскажем далее.

Удвоена производительность жестких дисков: технология Multi Actuator - 1Читать полностью »

Мы уже рассказывали о том, почему секционирование баз данных очень важно для производительности DLP-системы и как мы реализовывали его в PostgreSQL. В этой статье речь пойдет об Oracle.

Специфика использования СУБД в DLP-решениях состоит в том, что объем данных прирастает очень быстро. Их невозможно держать в оперативном архиве, и долговременное хранение – это необходимость в компании численностью свыше хотя бы 50 человек. При этом оперативный архив наполняется так быстро, что отдавать информацию в долгосрочный архив приходится раз в 2 недели или чаще. Использование только встроенных средств СУБД требует знаний и опыта. Это главная сложность, и она, в общем-то, очевидна «на берегу».

Кроме того, возникают проблемы, не очевидные сразу. Как вернуть из долгосрочного архива партицию с данными более старой версии приложения и прицепить к более свежей? Что делать, если у них разных формат хранения данных? Что делать, если подключение секции было прервано, и она «зависла» между долговременным и оперативным архивом?

Как управлять секциями в БД Oracle и не сойти с ума - 1
Читать полностью »

Международный рынок гипермасштабируемых дата-центров растет с ежегодными темпами в 11%. Основные «драйверы» — предприятия, подключенные устройства и пользователи — они обеспечивают постоянное появление новых данных. Вместе с объемом рынка растут и требования к надежности хранения и уровню доступности данных.

Ключевой фактор, влияющий на оба критерия — системы хранения. Их классификация не ограничивается типами оборудования или брендами. В этой статье мы рассмотрим разновидности хранилищ — блочное, файловое и объектное — и определим, для каких целей подходит каждое из них.

Как устроены хранилища данных: обзор для новичков - 1 Читать полностью »

Современные жесткие диски являются сложнейшими высокотехнологичными приборами. Только представьте: размер пишущей части магнитной головки составляет всего 120 нанометров, а считывающей — лишь 70 нанометров. Чтобы вообразить подобный масштаб, достаточно посмотреть на то, как выглядит блок головок под 39-кратным увеличением на фоне монеты достоинством в 10 центов.

Эволюция жестких дисков: как изменились винчестеры за 60 лет существования? - 1
Сравнение размеров блока головок и монеты в 10 центов

При этом магнитные головки парят над пластинами на высоте около 12–15 нанометров, что достигается за счет экранного эффекта: под каждой из них, словно под крылом боинга на взлете, образуется воздушная (или гелиевая, если речь идет о решениях на платформе HelioSeal) подушка, обеспечивающая необходимую подъемную силу. С учетом столь мизерного расстояния, поверхность самих блинов должна быть идеально гладкой, ведь малейшая неровность приведет к необратимому повреждению компонентов устройства. Точность изготовления пластин легко оценить на следующем примере.

Если бы мы могли увеличить 2,5-дюймовый накопитель приблизительно в 13 миллионов раз так, чтобы зазор между пластиной и магнитной головкой достиг 1 метра, то последняя преодолевала бы путь, сопоставимый с расстоянием между Нью-Йорком и Сан-Франциско (> 4000 километров), причем перепад высот на всем его протяжении не превышал бы 4 сантиметров.

Эволюция жестких дисков: как изменились винчестеры за 60 лет существования? - 2
Точность исполнения современных HDD в масштабах реального мира

Тем удивительнее становится тот простой факт, что базовые принципы конструкции HDD не меняются на протяжении вот уже 60 лет! О том, какой тернистый путь преодолели винчестеры со времен монструозного RAMAC до настоящего времени, мы и расскажем в сегодняшней публикации.
Читать полностью »

Микромодульные центры обработки данных - 1

Заводские микромодульные дата центры объединяют информационные технологии и вспомогательную инфраструктуру в автономном блоке.

Мини-дата центры быстро развиваются в конечных сетевых подключениях – на заводах, контейнерных суднах, базовых станциях сотовой связи. Основанием для этого является тот факт, что все предприятия стараются внедрить вычислительные и накопительные мощности ближе к тому месту, где генерируются данные.
Читать полностью »

Около месяца назад мои коллеги из DBA-команды приняли участие в живом митапе на youtube-канале #RuPostgres Live, где отвечали на вопросы Николая Самохвалова и зрителей, которые присылали их в форму и подключились к трансляции. Получилась интересная и содержательная беседа про PostgreSQL, опыт работы с разными версиями и задачами. Поэтому мы решили сделать текстовую расшифровку этой встречи, обогатив её полезными ссылками. В комментариях задавайте вопросы, если они возникнут — постараемся на них ответить!

Живой митап #RuPostgres: вопросы и ответы с экспертами Avito. Расшифровка прямого эфира - 1

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js