Apache Ignite – распределенная база данных в памяти, подобные БД получают распространение и хочется сравнить с тем что уже есть и зарекомендовало себя, например реляционная СУБД Oracle. Ignite имеет широкие возможности распределенных вычислений, также есть поддержка SQL на уровне ANSI-99, в производительности SQL и хочется сделать некоторое сравнение. Настройка БД будет в обоих случаях во многом по умолчанию, в случае Oracle это XE, а в случае Ignite это два узла(node) на одном компьютере. Компьютер i5 7400 (4-ядра) 3.5Ггц, 8Гб ОЗУ, SSD диск.
В качестве тестовых данных буду использовать данные КЛАДР (~223 тыс. записей) в качестве среды выполнения запросов DBeaver в котором настроены два подключения к Ignite и Oracle. И первое что сделаю импортирую данные в таблицы, Данные КЛАДР из DBF переведу в CSV, а затем средствами DBeaver выполню импорт в таблицы.
Читать полностью »
Рубрика «Apache» - 7
Apache Ignite vs Oracle СУБД
2018-01-08 в 17:26, admin, рубрики: Apache, Apache Ignite, oracle, sql, хранение данных, хранилища данныхГлубокое обучение при помощи Spark и Hadoop: знакомство с Deeplearning4j
2017-12-15 в 14:36, admin, рубрики: Apache, big data, deep learning, Hadoop, java, spark, Алгоритмы, Блог компании Издательский дом «Питер», машинное обучение, Профессиональная литература, распознавание образовЗдравствуйте, уважаемые читатели!
Мы вполне убедились в мегапопулярности глубокого обучения (Deep Learning) на языке Python в нашей целевой аудитории. Теперь предлагаем поговорить о высшей лиге глубокого обучения — то есть, о решении этих задач на языке Java при помощи библиотеки Deeplearning4j. Мы перевели для вас июньскую статью из блога компании Cloudera, где в интереснейших подробностях рассказано о специфике этой библиотеки и о глубоком обучении в Hadoop и Spark.
Приятного чтения.
Читать полностью »
От Root CA до User Authorization в nginx+apache. Часть 1. Создаем Root&Intermediate Certificate Authority
2017-11-29 в 5:17, admin, рубрики: Apache, nginx, ssl/tls, авторизация без паролей, авторизация на сайт, информационная безопасность, криптография, пользовательские сертификатыДоброго времени, читатель!
Хочу поделиться с тобой идеей беспарольной авторизации. Недавно лазил по сайтам центров сертификаций и наткнулся на интересную вещь. ЦС использую авторизацию по сертификату вместо пароля. Я считаю это удобным, для компании, а не для обычных интернет сайтов, где шарятся простые пользователи, но вход в АД (админ-центр сайта), было бы неплохо.
Читать полностью »
Apache Kafka и миллионы сообщений в секунду
2017-11-22 в 4:50, admin, рубрики: Apache, apache kafka, Producer, Блог компании Tinkoff.ru, задержка, оптимизация, производительность, пропускная способность, Системы обмена сообщениями
Мы в компании любим и уважаем Apache Kafka, и в ознаменование выхода ее недавнего обновления я решил подготовить статью про ее производительность. А еще рассказать немного про то, как выжать из нее максимум.
Читать полностью »
Используем Apache Ignite в быту
2017-10-20 в 6:45, admin, рубрики: .net, Apache, big data, BigData, C#, gridgain, Ignite, java, MapReduce, nosql, sql, Блог компании GridGainВ продолжение темы «доступным языком про Ignite / GridGain», начатой в предыдущем посте (Для чего нужен Apache Ignite), давайте рассмотрим примеры использования продукта «для простых смертных».
Терабайты данных, кластеры на сотни машин, big data, high load, machine learning, микросервисы и прочие страшные слова — всё это доступно Ignite. Но это не значит, что он не годится для менее масштабных целей.
Сегодня мы рассмотрим, как Ignite может легко хранить любые ваши объекты, обмениваться ими по сети и обеспечивать взаимодействие .NET и Java.
Новая уязвимость веб-сервера Apache Struts позволяет удаленно исполнять код
2017-09-13 в 8:48, admin, рубрики: Apache, apache struts, Cisco, Блог компании Positive Technologies, информационная безопасность, уязвимости
В веб-сервере Apache Struts обнаружена ошибка безопасности, позволяющая злоумышленникам без аутентификации осуществлять выполнение произвольного кода на уязвимой системе.
Apache Software Foundation присвоила уязвимости средний уровень опасности, однако Cisco сообщила в своем бюллетене безопасности, что ошибке подвержено множество ее продуктов.Читать полностью »
SOAP и REST сервисы с помощью Python-библиотеки Spyne
2017-07-27 в 15:13, admin, рубрики: Apache, httpd, json, python, rest, soap, spyne, wsgi, XML, Разработка под LinuxЗнакомство с библиотекой Spyne
В данной статье я хочу рассказать о замечательной Python-библиотеке Spyne.
Мое знакомство с Spyne началось в тот момент, когда передо мной поставили задачу написать Веб-сервис, который будет принимать и отдавать запросы через SOAP-протокол. Немного погуглив я наткнулся на Spyne, которая является форком библиотеки soaplib. А еще я был удивлен, насколько мало русскоязычной информации встречается о данной библиотеке.
С помощью Spyne можно писать веб-сервисы, которые умеют работать с SOAP, JSON, YAML, а написанный скрипт можно запустить через mod_wsgi Apache. Итак, давайте рассмотрим несколько примеров, напишем работающие скрипты и настроим так, чтобы скрипты работали через apache.Читать полностью »
Полное руководство по переходу с HTTP на HTTPS
2017-07-03 в 20:51, admin, рубрики: aes, Apache, certbot, cpanel, ECC, http, HTTPS, Mozilla SSL Configuration Generator, nginx, openssl, rsa, SSL, TLS, Администрирование доменных имен, Серверное администрирование, сертификат, хостинг, цепочка доверия, шифрованиеВ наше время HTTPS обязателен для каждого веб-сайта: пользователи ищут замочек в адресной строке, когда передают личные данные; Chrome и Firefox недвусмысленно помечают как небезопасные веб-сайты с формами на страницах без HTTPS; это влияет на позиции в поисковой выдаче и оказывает серьёзное влияние на приватность в целом. Кроме того, сейчас имеется несколько вариантов получить бесплатный сертификат, так что переход на HTTPS — всего лишь вопрос желания.
Установка HTTPS может немного пугать неподготовленного пользователя — она требует многих шагов с участием различных сторон, а также специфических знаний криптографии и серверных конфигураций, да и вообще в целом кажется сложной.
В этом руководстве я объясню отдельные компоненты и шаги и ясно изложу каждый этап установки. У вас должно всё пройти гладко, особенно если ваш хостер сам предоставляет сертификаты HTTPS — тогда высока вероятность, что вы быстро и просто всё сделаете не выходя из панели управления.
Сюда включены детальные инструкции для владельцев виртуального хостинга на cPanel, администраторов серверов Apache HTTP и nginx под Linux и Unix, а также Internet Information Server под Windows.
Читать полностью »
Построение систем управления приложениями в распределенной кластерной инфраструктуре на базе технологии MESOS
2017-06-27 в 13:37, admin, рубрики: Apache, big data, devops, docker, linux, mesos, mesosphere, Блог компании Петер-Сервис, Настройка Linux, системное администрированиеВ наше время термин “BIG DATA” у всех на слуху. После появления в сети и в прессе многочисленных публикаций, связанных с обработкой «больших данных», интерес к этой теме постоянно растет. Все более широким спросом пользуются системы управления базами данных с
использованием технологии NoSQL. Всем понятно, что для построения систем “BIG DATA” необходимо располагать внушительными аппаратными ресурсами. Еще более важно уметь оптимально использовать вычислительные ресурсы системы и эффективно их масштабировать. Это неизбежно меняет подходы к построению систем обработки данных. Читать полностью »
Настройка Reverse Proxy Apache (Debian 8) с автоматической выдачей Let’s Encrypt
2017-06-10 в 19:45, admin, рубрики: Apache, apache2, LetsEncryptТак как за частую сайтов в организации много, а IP адресов мало, нужно иметь решение с Reverse Proxy. Для моих целей раньше всегда выступал Microsoft TMG, но у него есть свои недостатки, как и плюсы. Один из основных минусов, это то что на TMG нужно подгружать сертификаты публикуемого ресурса, что с Let's Encrypt довольно неудобно, ввиду обновления сертификатов каждые 90 дней.
Решение было найдено: поднять Reverse Proxy на Apache и сделать так, чтобы работала автовыдача сертификатов Let's Encrypt. А после чего спокойно публиковать его на Firewall, при этом порты буду перенаправляться с http на https.
За основу берем что у нас стоит чистый Debian GNU/Linux 8 (jessie). Подробнее под катом.
Читать полностью »