Рубрика «базы данных» - 16

в 8:15, , рубрики: Альфа-Банк, базы данных, банки, Законодательство в IT, информационная безопасность, мошенники, утечки, финансы в IT

В открытом доступе оказались данные примерно 900 тысяч россиян — клиентов крупных банков РФ. Любой человек, получивший доступ утекшим в интернет базам, сможет узнать имена, телефоны, данные паспортов и места работы пострадавших из-за утечки клиентов банков. Базы были выложены в сети в конце мая, содержащиеся в них данные не новые — им несколько лет, но большое количество информации вполне актуально.

Впервые об утечке стало известно в пятницу, тогда компания DeviceLock обнаружила сразу две утечки данных о клиентах «Альфа0банка». В одной из баз содержится информация о 55 тысячах клиентов. В базе не только имена, но и телефоны, включая мобильный, домашний и рабочий, адреса проживания, места работы. Во второй базе всего 504 записи, но она гораздо более новая — ее датируют прошлым и этим годом.
Читать полностью »

в 7:35, , рубрики: postgresql, Администрирование баз данных, базы данных, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, масштабирование, Серверная оптимизация

HighLoad++ существует давно, и про работу с PostgreSQL мы говорим регулярно. Но у разработчиков все равно из месяца в месяц, из года в год возникают одни и те же проблемы. Когда в маленьких компаниях без DBA в штате случаются ошибки в работе с базами данных, в этом нет ничего удивительного. В крупных компаниях тоже нужны БД, и даже при отлаженных процессах все равно случаются ошибки, и базы падают. Неважно, какого размера компания — ошибки все равно бывают, БД периодически обваливаются, рушатся.

Топ ошибок со стороны разработки при работе с PostgreSQL - 1

С вами такого, конечно, никогда не случится, но проверить чек-лист не трудно, а сэкономить будущих нервов он может очень прилично. Под катом перечислим топ типичных ошибок, которые совершают разработчики при работе с PostgreSQL, разберемся, почему так делать не надо, и выясним, как надо.

О спикере: Алексей Лесовский (lesovsky) начинал системным администратором Linux. От задач виртуализации и систем мониторинга постепенно пришел к PostgreSQL. Сейчас PostgreSQL DBA в Data Egret — консалтинговой компании, которая работает с большим количеством разных проектов и видит много примеров повторяющихся проблем. Это ссылка на презентацию доклада на HighLoad++ 2018.
Читать полностью »

в 13:35, , рубрики: dbms, postgres, postgresql, базы данных, Блог компании Postgres Professional, СУБД

Мы продолжаем публиковать видео и расшифровки лучших докладов с конференции PGConf.Russia 2019. Доклад Олега Бартунова на тему «Профессиональный Postgres» открывал пленарную часть конференции. В нем раскрыта история СУБД Postgres, российский вклад в разработку, особенности архитектуры.

Предыдущие материалы этой серии: «Типичные ошибки при работе с PostgreSQL» Ивана Фролкова, части 1 и 2.

Профессиональный Postgres - 1

Я буду рассказывать про профессиональный Postgres. Прошу не путать с компанией, которую я представляю сейчас — Postgres Professional.

Профессиональный Postgres - 2

Я действительно буду говорить о том, как Postgres, начинавшийся как любительская академическая разработка, стал профессиональным — таким, как мы его видим сейчас. Выскажу исключительно свое персональное мнение, оно не отражает мнение ни нашей компании, ни каких-либо групп.
Читать полностью »

в 15:33, , рубрики: big data, data mining, nosql, sql, базы данных, верификация, Модель данных, поиск информации, Программирование

О том, что объёмы данных, сложность их структуры, сложность связей между ними растут совершенно невероятными темпами, пишут на каждом заборе уже много лет. Вопрос же о том, что делать со всей этой свалкой обычно повисает в воздухе. Или, точнее, упирается в понятие «модель данных».Читать полностью »

в 6:02, , рубрики: docker, ITSumma, k8s, kubernetes, Администрирование баз данных, базы данных, Блог компании ITSumma, виртуализация, высокая производительность, контейнеризация, контейнерная виртуализация, контейнеры

Живут ли базы данных в Kubernetes? - 1

Как-то так исторически сложилось, что IT-индустрия по любому поводу разбивается на два условных лагеря: которые «за» и которые «против». Причем предмет споров может быть абсолютно произвольным. Какая ОС лучше: Win или Linux? На смартфоне Android или iOS? Хранить все в облаках или заливать на холодные RAID-хранилища и класть винты в сейф? Имеют ли PHP-шники право называться программистами? Эти споры носят, временами, исключительно экзистенциальный характер и не имеют под собой никакой прочей, кроме спортивного интереса, базы.

Так уж получилось, что с появлением контейнеров и всей этой любимой нами кухни с докером и условным k8s начались и споры «за» и «против» использования новых возможностей в различных сферах бэкэнда. (Заранее оговоримся, что хотя чаще всего в данном рассуждении в качестве оркестратора будет указываться Kubernetes, принципиального значения выбор именно этого инструмента не имеет. Вместо него можно подставить любой другой, какой вам кажется наиболее удобным и привычным.)

И, казалось бы, был бы это простой спор между двумя сторонами одной медали. Такой же бессмысленный и беспощадный, как извечное противостояние Win vs Linux, в котором адекватные люди вполне себе существуют где-то посередине. Вот только в случае контейнеризации не все так просто. Обычно в таких спорах не бывает правой стороны, но в случае «применять» или «не применять» контейнеры для хранения БД все становится с ног на голову. Потому что в определённом смысле правы и сторонники и противники подобного подхода.
Читать полностью »

в 11:14, , рубрики: bayesian optimization, big data, c++, clickhouse, highload, lz4, lz77, open source, performance, базы данных, Блог компании Яндекс, высокая производительность, сжатие данных

При выполнении запросов в ClickHouse можно обратить внимание, что в профайлере на одном из первых мест часто видна функция LZ_decompress_fast. Почему так происходит? Этот вопрос стал поводом для целого исследования по выбору лучшего алгоритма разжатия. Здесь я публикую исследование целиком, а короткую версию можно узнать из моего доклада на HighLoad++ Siberia.

Данные в ClickHouse хранятся в сжатом виде. А во время выполнения запросов ClickHouse старается почти ничего не делать — использовать минимум ресурсов CPU. Бывает, что все вычисления, на которые могло тратиться время, уже хорошо оптимизированы, да и запрос хорошо написан пользователем. Тогда остаётся выполнить разжатие.

Как ускорить разжатие LZ4 в ClickHouse - 1

Вопрос — почему разжатие LZ4 может быть узким местом? Казалось бы, LZ4 — очень лёгкий алгоритм: скорость разжатия, в зависимости от данных, обычно составляет от 1 до 3 ГБ/с на одно процессорное ядро. Это уже существенно больше скорости работы дисковой подсистемы. Более того, мы используем все доступные ядра, а разжатие линейно масштабируется по всем физическим ядрам.

Читать полностью »

в 16:05, , рубрики: 1cloud, mongodb, Realm, базы данных, Блог компании 1cloud.ru, разработка мобильных приложений, сделки в it, финансы в IT

В конце апреля MongoDB объявили о покупке Realm — кроссплатформенной мобильной базы данных. В сегодняшнем материале — о том, как компании подошли к сделке и что планируют.

Сделка на $39 млн: почему создатели опенсорсной СУБД решили заняться мобильными разработками - 1Читать полностью »

в 12:01, , рубрики: bitmap, Go, go assembler, index, pilosa, базы данных, Блог компании Badoo, Программирование, хранение данных

Bitmap-индексы в Go: поиск на дикой скорости - 1

Вступительное слово

Я выступил с этим докладом на английском языке на конференции GopherCon Russia 2019 в Москве и на русском — на митапе в Нижнем Новгороде. Речь в нём идёт о bitmap-индексе — менее распространённом, чем B-tree, но не менее интересном. Делюсь записью выступления на конференции на английском и текстовой расшифровкой на русском.

Мы рассмотрим, как устроен bitmap-индекс, когда он лучше, когда — хуже других индексов и в каких случаях он значительно быстрее них; увидим, в каких популярных СУБД уже есть bitmap-индексы; попробуем написать свой на Go. А «на десерт» мы воспользуемся готовыми библиотеками, чтобы создать свою супербыструю специализированную базу данных.

Очень надеюсь, что мои труды окажутся для вас полезными и интересными. Поехали!
Читать полностью »

в 12:26, , рубрики: devicelock dlp, Ашот Оганесян, базы данных, безопасность, взлом, Госвеб, законотворчество, Иван Бегтин, кадры, персональные данные, Роскомнадзор, статистика, Текучка, утечки, метки: , , , , , , , , , , , , ,

Иван Бегтин, председатель Ассоциации участников рынков данных, и Ашот Оганесян, технический директор DeviceLock DLP, показали массовую информационную дырявость, как сайтов государственных структур, так и частного бизнеса. Самым существенным недостатком выявленных уязвимостей является то, что никто не реагирует на выявляемые проблемы до тех пор, пока они не становятся публичными. Более того, Роскомнадзор, как регулятор, в ряде случаев (см. ниже) просто констатирует, что формального нарушения закона нет и то или иное раскрытие ПД правомерно.

Основных вариантов утечек два:

в 9:14, , рубрики: Алгоритмы, базы данных, искусственный интеллект, нейронные сети, Программирование

Начало Предыдущая

Нейронные сети

В последнее время про НС говорят очень много. Я бы даже сказал, неприлично много. Я никогда не считал НС даже намёком на ИИ и, судя по многочисленным комментариям, это мнение разделяет немало людей. Некоторые высказывания: Читать полностью »

1...10...151617...2030...49
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js