Друзья, приглашаем вас на летний митап, посвящённый Apache Ignite. Присоединяйтесь к нашей неформальной встрече пользователей и разработчиков. Будут новые докладчики, новые темы и мороженое. С собой приносите интересные вопросы и летнее настроение.
Рубрика «Apache Ignite» - 2
Летний митап Apache Ignite в Петербурге
2018-06-14 в 9:41, admin, рубрики: Apache Ignite, java, Блог компании GridGain, высокая производительность, конференции, ПрограммированиеОценка тестового покрытия Java проекта на примере Apache Ignite
2018-06-08 в 7:58, admin, рубрики: Apache Ignite, jacoco, java, maven, open source, ненормальное программирование, покрытие кода, Тестирование IT-системЯ участвую в развитии open source проекта Apache Ignite, работая над проектом мне стало интересно оценить тестовое покрытие и вот что из этого получилось.
Вебинар: Планирование ёмкости кластера Apache Ignite на живых примерах
2018-05-21 в 10:03, admin, рубрики: Apache Ignite, in-memory computing, Администрирование баз данных, Блог компании GridGain, вебинар, распределенные системыВ предыдущем посте мы рассматривали принципиальные подходы к оценке ёмкости кластера и совсем немного поговорили про оптимизацию. Для любителей заглянуть «под капот» Алексей Гончарук 29 мая проведет вебинар с живыми примерами:
- Откуда берется overhead при записи данных;
- Приемы оптимизации;
- Как планировать ёмкость кластера Apache Ignite;
- Улучшения, которые ждут вас в ближайших релизах.
Как спланировать ёмкость Apache Ignite кластера
2018-05-15 в 9:00, admin, рубрики: Apache Ignite, java, Администрирование баз данных, Блог компании GridGain, Программирование, распределенные системыПубликуем расшифровку видеозаписи выступления Алексея Гончарука (Apache Ignite PMC Member и Главный архитектор Grid Gain) на митапе Apache Ignite сообщества в Петербурге 29 марта. Загрузить слайды можно по ссылке.
Участников сообщества Apache Ignite часто спрашивают: «Сколько нужно узлов и памяти для того, чтобы загрузить такой-то объем данных?» Об этом и я хочу сегодня поговорить. Забегая вперёд: такое прогнозирование пока что является достаточно сложной, нетривиальной задачей. Для этого нужно немного разбираться в устройстве Apache Ignite. Также я расскажу, как упросить себе задачу прогнозирования, и какие можно применять оптимизации.
Читать полностью »
Концепция BaselineTopology в Apache Ignite 2.4
2018-04-10 в 10:04, admin, рубрики: Apache Ignite, java, Администрирование баз данных, базы данных, Блог компании GridGain, Программирование, распределённые вычисления, распределенные системы, СУБД
На момент появления в Apache Software Foundation проекта Ignite он позиционировался как чистое in-memory-решение: распределенный кэш, поднимающий в память данные из традиционной СУБД, чтобы выиграть во времени доступа. Но уже в релизе 2.1 появился модуль встроенной персистентности (Native Persistence), который позволяет классифицировать Ignite как полноценную распределенную базу данных. С тех пор Ignite перестал зависеть от внешних систем обеспечения персистентного хранения данных, и вязанка граблей конфигурации и администрирования, на которые не раз наступали пользователи, исчезла.
Однако persistent-режим порождает свои сценарии и новые вопросы. Как предотвратить неразрешимые конфликты данных в ситуации split-brain? Можем ли мы отказаться от перебалансировки партиций, если выход узла теперь не означает, что данные на нем потеряны? Как автоматизировать дополнительные действия вроде активации кластера? BaselineTopology нам в помощь.
Обзор второго дня Data Science Weekend 2018. Data Engineering, ETL, поисковые сервисы и многое другое
2018-03-26 в 8:29, admin, рубрики: Apache Ignite, apache solr, big data, data engineering, data mining, etl, Hadoop, hortonworks, python, Блог компании New Professions LabНесколько дней назад мы публиковали обзор первого дня Data Science Weekend 2018, который прошел 2-3 марта на Мансарде Rambler&Co. Изучив практику использования алгоритмов машинного обучения, теперь перейдем к обзору второго дня конференции, в течении которого спикеры рассказывали об использовании различных инструментов дата инженера для нужд дата-платформ, ETL, сервисах подсказок при поиске и многом другом.
Релиз Apache Ignite 2.4 — Distributed Database and Caching Platform
2018-03-16 в 9:00, admin, рубрики: .net, .net core, Apache Ignite, big data, database, distributed systems, fast data, gridgain, in-memory computing, java, Mono, mpp, sql, Блог компании GridGain, Программирование12 марта 2018 г., спустя 4 месяца после прошлой версии, вышел Apache Ignite 2.4. Этот релиз примечателен целым рядом нововведений: поддержка Java 9, множественные оптимизации и улучшения SQL, поддержка платформой нейронных сетей, новый подход к построению топологии при работе с диском и многое другое.
Apache Ignite Database and Caching Platform — это платформа для распределенного хранения данных (оптимизированная под активное использование RAM), а также для распределенных вычислений в близком к реальному времени.
Ignite применяется там, где нужно очень быстро обрабатывать большие потоки данных, которые не по зубам централизованным системам.
Примеры использования: быстрый распределенный кеш; слой, агрегирующий данные из разрозненных сервисов (например, для Customer 360 View); основное горизонтально масштабируемое хранилище (NoSQL или SQL) оперативных данных; платформа для вычислений и т.д.
Далее рассмотрим основные новшества Ignite 2.4.
Читать полностью »
Анонс встреч Apache Ignite в Москве и Санкт-Петербурге в марте
2018-03-05 в 10:50, admin, рубрики: Apache Ignite, gridgain, in-memory computing, java, meetup, Блог компании GridGain, высокая производительность, конференции, ПрограммированиеМосква, 13 марта
Видеозаписи выступлений на “Moscow Apache Ignite #1”
При организации второго митапа мы учли ваши пожелания: места будет БОЛЬШЕ, и Алексей Гончарук выступит с докладом для архитекторов.
Программа:
19:00 — 19:30 — приветственный кофе, сбор гостей
1. «Что нового в Apache Ignite 2.4» — Артем Шитов, инженер GridGain.
2. «Масштабирование Apache Ignite кластера для архитекторов» — Алексей Гончарук, главный архитектор GridGain.
3. «Операционный кэш данных на базе Apache Ignite. Практика построения и использования решения для страховой компании» — Дмитрий Косицын, технический директор Unitarius.
Apache Ignite vs Oracle СУБД
2018-01-08 в 17:26, admin, рубрики: Apache, Apache Ignite, oracle, sql, хранение данных, хранилища данныхApache Ignite – распределенная база данных в памяти, подобные БД получают распространение и хочется сравнить с тем что уже есть и зарекомендовало себя, например реляционная СУБД Oracle. Ignite имеет широкие возможности распределенных вычислений, также есть поддержка SQL на уровне ANSI-99, в производительности SQL и хочется сделать некоторое сравнение. Настройка БД будет в обоих случаях во многом по умолчанию, в случае Oracle это XE, а в случае Ignite это два узла(node) на одном компьютере. Компьютер i5 7400 (4-ядра) 3.5Ггц, 8Гб ОЗУ, SSD диск.
В качестве тестовых данных буду использовать данные КЛАДР (~223 тыс. записей) в качестве среды выполнения запросов DBeaver в котором настроены два подключения к Ignite и Oracle. И первое что сделаю импортирую данные в таблицы, Данные КЛАДР из DBF переведу в CSV, а затем средствами DBeaver выполню импорт в таблицы.
Читать полностью »
Первый в России митап по Apache Ignite, 12 декабря
2017-12-04 в 8:59, admin, рубрики: Apache Ignite, gridgain, in-memory computing, java, meetup, Блог компании GridGain, высокая производительность, ПрограммированиеДрузья, приглашаем всех на посвящённый Ignite митап 12 декабря в московском ImpactHub (метро Китай-Город). Такие мероприятия мы хотим регулярно проводить в Москве и Санкт-Петербурге, и надеемся, что они станут местом встреч российских пользователей и разработчиков Ignite, специалистов по In-Memory Computing, а также всех, кто интересуется распределенными системами. Здесь можно будет обсудить любые вопросы, связанные с работой или развитием экосистемы.
На первом митапе мы хотим познакомить вас российскими банком и крупным телекомом, использующими Ignite каждый день.
Программа встречи:
— 18:30: Сбор гостей;
— 19:00: Рассказ о внедрении Apache Ignite в Сбербанке (Михаил Хасин, Сбербанк);
— 19:45: «Как мы построили Complex Event Processing крупного телеком-оператора на Apache Ignite» (Виктор Ходяков, Gridfore);
— 20:30: Секретный доклад;
— 21:15: Общение в кулуарах, заключительный кофе;
— 22:00: Окончание.Читать полностью »