О том, что такое база KDB+, язык программирования Q, какие у них есть сильные и слабые стороны, можно прочитать в моей предыдущей статье и кратко во введении. В статье же мы реализуем на Q сервис, который будет обрабатывать входящий поток данных и высчитывать поминутно различные агрегирующие функции в режиме “реального времени” (т.е. будет успевать все посчитать до следующей порции данных). Главная особенность Q состоит в том, что это векторный язык, позволяющий оперировать не единичными объектами, а их массивами, массивами массивов и другими сложносоставными объектами. Такие языки как Q и родственные ему K, J, APL знамениты своей краткостью. Нередко программу, занимающую несколько экранов кода на привычном языке типа Java, можно записать на них в несколько строк. Именно это я и хочу продемонстрировать в этой статье.
Рубрика «базы данных» - 13
Возможности языка Q и KDB+ на примере сервиса реального времени
2019-10-14 в 14:05, admin, рубрики: big data, kdb+, nosql, базы данных, Блог компании Технологический Центр Дойче Банка, хранилища данных
Объясняем SQL и NoSQL для бабушки
2019-09-13 в 7:41, admin, рубрики: nosql, sql, Администрирование баз данных, базы данных
Одно из наиболее важных решений, которые принимает разработчик, заключается в том, какую базу данных использовать. В течение многих лет опции были ограничены различными вариантами реляционных баз данных, которые поддерживали язык структурированных запросов (SQL). К ним относятся MS SQL Server, Oracle, MySQL, PostgreSQL, DB2 и многие другие.
За последние 15 лет на рынке появилось много новых баз данных в рамках подхода No-SQL. К ним относятся хранилища ключей-значений, такие как Redis и Amazon DynamoDB, широкие колоночные базы, такие как Cassandra и HBase, хранилища документов, такие как MongoDB и Couchbase, а также графические базы данных и поисковые системы, такие как Elasticsearch и Solr.
В этой статье мы попробуем разобраться в SQL и NoSQL, не влезая в их функционал.
Кроме того, мы немного повеселимся в процессе.Читать полностью »
Что почитать и посмотреть для старта в Data Science: книги, словари и курсы
2019-09-11 в 9:24, admin, рубрики: data science, python, sql, базы данных, Блог компании Нетология, математика, нетология, статистика, Статистика в ITПодборка ресурсов по математике, статистике и программированию для начинающих Дата Сайентистов. Ознакомьтесь с материалами, если вы планируете учиться на онлайн-курсах. Так вы опередите одногруппников, а заодно прокачаете полезный навык — изучать дополнительные материалы самостоятельно.
Читать полностью »
Суд в США вломил LinkedIn: нельзя мешать роботам-сборщикам общедоступных данных
2019-09-10 в 17:20, admin, рубрики: linkedin, базы данных, Госвеб, Доверие к соцсетям, кейсы, персональные данные, поиск, соцсети, Текучка, метки: linkedin, базы данных, Госвеб, Доверие к соцсетям, кейсы, персональные данные, поиск, соцсети, ТекучкаАпелляционный суд 9-го округа США решил (pdf), что автоматический сбор сведений с публичных сайтов не противоречит закону, рассказал GlobalSign_admin на «Хабре». Дополнительно тот же суд запретил владельцам сайтов блокировать сбор общедоступных сведений с сайта. Логика суда: не важно, чем человек собирает общедоступные данные, роботом или браузеромЧитать полностью »
Mail.ru Group запустила облачную аналитику на базе Яндекс ClickHouse
2019-09-09 в 10:03, admin, рубрики: mail.ru group, SaaS, базы данных, запуск, облачное хранилище, Текучка, телеком, яндекс, метки: mail.ru group, SaaS, базы данных, запуск, облачное хранилище, Текучка, телеком, яндексMail.ru Cloud Solutions запустили облачный PaaS-сервис («платформа как услуга») — хранилище аналитических данных (data warehouse) на основе СУБД ClickHouse, разработанной в Яндексе.
Mail.ru Group под открытой лицензией разрабатывает СУБД Tarantool, 5 сентября 2019 года главный разработчик и основатель проекта Tarantool Константин Осипов объявилЧитать полностью »
Использование DbTool для засеивания (seeding) баз данных в приложениях .NET (Core)
2019-09-06 в 17:41, admin, рубрики: .net, .net core, ASP, open source, базы данныхПредставляем вашему вниманию DbTool — утилиту командной строки для экспорта данных БД в различные форматы и open-source библиотеку Korzh.DbUtils, использование которых может значительно упростить первоначальное "засевание" базы данных в вашем .NET (Core) приложении.
С помощью этого набора инструментов вы сможете:
- Сохранить данные из вашей локальной БД в файлы некого текстового формата (XML, JSON), которые легко подключить к проекту.
- Использовать сохранненные файлы для заполнения базы данных самого приложения при его первом старте.
Ниже я расскажу зачем все это нужно, как происталлировать и настроить данные инструменты и опишу детальный сценарий их использования.
ВКонтакте лишили Дуровых авторства базы-данных ВК — теперь это Андрей Рогозов
2019-09-04 в 15:01, admin, рубрики: B2B, Double Data, mail.ru group, Андрей Рогозов, базы данных, банки, Вконтакте, Доверие к соцсетям, кадры, кейсы, Медиа, персональные данные, скоринг, соцсети, суд, Текучка, метки: b2b, Double Data, mail.ru group, Андрей Рогозов, базы данных, банки, Вконтакте, Доверие к соцсетям, кадры, кейсы, медиа, персональные данные, скоринг, соцсети, суд, ТекучкаКак выяснили РБК из ходатайства ООО «Дабл» (работает под брендом Double Data), в 2019-м году ВКонтакте называет автором пользовательской базы данных соцсети управляющего директора ВК Андрея Рогозова. Предположительно, что одновременно Павел Дуров, основатель и бывший глава ВК, больше не считается создателем базы, Читать полностью »
Unit-тесты в СУБД — как мы делаем это в Спортмастере, часть вторая
2019-08-30 в 11:04, admin, рубрики: автотесты, Администрирование баз данных, базы данных, Блог компании Sportmaster Lab, Спортмастер, тестирование, Тестирование IT-систем, Тестирование веб-сервисовПервая часть — здесь.
Представьте ситуацию. Перед вами стоит задача разработки нового функционала. У вас есть наработки от ваших предшественников. Если предположить, что вы никаких моральных обязательств не имеете, то как бы вы поступили?
Чаще всего все старые наработки подвергаются забвению и всё начинается сначала. В чужом коде копаться никто не любит, а при наличии времени почему бы не заняться созданием собственной системы? Это типичный подход, и он во многом правильный. Но в своём проекте мы поступили не так. В основу будущей системы автоматического тестирования мы заложили наработки по unit-тестам на utPLSQL от предшественников, а затем пошли работать в нескольких параллельных направлениях.
Читать полностью »
Госуслуги показали первые 10 «Суперсервисов»
2019-08-27 в 14:35, admin, рубрики: базы данных, Госвеб, госуслуги, запуск, кейсы, персональные данные, Текучка, электронный документооборот, метки: базы данных, Госвеб, госуслуги, запуск, кейсы, персональные данные, Текучка, электронный документооборотМинкомсвязи опубликовало на сайте Госуслуг демонстрационные видеоролики, краткие описания и календарь запуска так называемых «суперсервисов». Под ними подразумеваются услуги, где необходимые документы автоматически подбирает государственная система, а не гражданин (заявитель, истец, абитуриент Читать полностью »
Telegram в качестве хранилища данных для IT проектов
2019-08-24 в 11:57, admin, рубрики: Google Sheets, python, sql, sqlite, sqllite, telegram, telegram bots, базы данных, кликер, телеграмм боты, хранилища данныхДобрый день, сегодня я хотел бы поделится с Вами проблемами и их необычными решениями, которые встретились при написании небольших IT проектов. Сразу скажу, что статья для тех, кто хоть немного разбирается в разработке телеграмм ботов, баз данных, SQL и в языке программировании python.
Весь проект выложен на github, ссылка будет в конце статьи.
Основная проблема
Изначально я хотел для себя написать простенького телеграмм бота счетчика калорий, который получает число от пользователя и возвращает сколько калорий осталось до нормы на день. То есть нужно хранить грубо говоря пару переменных для каждого пользователя.
Читать полностью »