15 сентября в офисе Авито состоится встреча, посвященная масштабированию приложений на PostgreSQL. Поговорим об алгоритмах и нюансах реализации транзакционности в языках программирования, построении бизнес-транзакций в сервисах с паттерном database per service, как устроена OZO — асинхронная типобезопасная header-only библиотека-клиент PostgreSQL для C++17, и уровнях изоляции транзакций PostgreSQL. С докладами выступят Стас Кельвич (Postgres Professional), Сергей Хандриков (Яндекс), Константин Евтеев (Авито) и Михаил Тюрин. Регистрируйтесь на встречу и приглашайте коллег. Под катом — тезисы выступлений докладчиков, ссылка на регистрацию и информация по трансляции митапа.
Рубрика «Анализ и проектирование систем» - 62
Встреча #RuPostgres: масштабирование приложений на PostgreSQL
2018-08-30 в 9:25, admin, рубрики: distributed systems, distributed transactions, Microservices, postgresql, saga, Анализ и проектирование систем, Блог компании Avito, Проектирование и рефакторинг, хранение данныхСтатистическое управление процессами (Часть 1. Опыт внедрения)
2018-08-29 в 16:17, admin, рубрики: MSA, SPC, Анализ и проектирование систем, анализ систем, Внедрение, управление качеством, управление проектамиПредисловие
«У нас брака нет!» именно с этой фразы начинается общение почти с каждым директором по качеству на производственных предприятиях в России. Многие из них даже будут уверять, что добились качества мирового уровня в виде 3,4 бракованных изделий на 1 000 000 произведенных. Да и в целом на всех профильных форумах и конференциях мы слышим, что в России лучшее качество в мире, а все остальные страны нам завидуют.
Обычно за этими громкими лозунгами скрываются огромные потери от внутреннего брака, раздутый штат контролеров, сокрытие дефектов, отсутствие автоматизации и еще множество проблем, которые сказываются в итоге на потребителях и акционерах.
Во времена СССР качество достигалось за счет полного и непрекословного соблюдения всевозможных ГОСТов. Но, к сожалению, в наших реалиях соблюдение ГОСТов не является приоритетным требованием, а главная цель любого производства — сделать все быстрее и дешевле. Исходя из этого тезиса у нас активно внедряются методы оптимизации в виде инструментов Lean и сокращается персонал при увеличении объемов производства.Читать полностью »
Таймтрекер на Google Scripts, Docs и Spreadsheets
2018-08-28 в 9:02, admin, рубрики: gas, google app engine, google apps script, Google Docs, javascript, автоматизация бизнес-процессов, Анализ и проектирование систем, багтрекер, Разработка веб-сайтов, Расширения для браузеров, тз, управление проектами, учет времениВ предыдущей статье речь шла о подходе к техническому заданию в Decart IT-production. Когда мы внедрили эти изменения, проекты велись в облачной Jira, но ее потенциал использовался на минимальном уровне. Для небольшой компании достаточно грамотной постановки задач, таймтрекера, багтрекера и статистики по проекту и команде. Команде было намного удобнее работать с ТЗ, как единым документом, чем с отдельными задачами в Jira, хотя бы из-за простоты навигации в Google Docs(далее — Docs). Еще в самом начале работы по новому ТЗ появились мысли упростить процесс работы, как-то “доделав” Docs, но череда проектов не оставляла времени на погружение в этот вопрос. И вот, когда время все же нашлось, я составил список целей, которых мы хотели достичь:
- Учет времени в самом Docs
- Составление отчетов по трудозатратам сотрудников
- Составление отчетов по работам над проектами
- Уменьшение времени на работу с самой системой по ходу реализации проектов
- Избежать дублирования одной информации в разных местах
- Потратить минимум ресурсов компании
Но для начала давайте поговорим о технологии.
Читать полностью »
Курс MIT «Безопасность компьютерных систем». Лекция 7: «Песочница Native Client», часть 1
2018-08-27 в 15:15, admin, рубрики: Native Client, seccomp, Анализ и проектирование систем, Блог компании ua-hosting.company, информационная безопасность, ПрограммированиеМассачусетский Технологический институт. Курс лекций #6.858. «Безопасность компьютерных систем». Николай Зельдович, Джеймс Микенс. 2014 год
Computer Systems Security — это курс о разработке и внедрении защищенных компьютерных систем. Лекции охватывают модели угроз, атаки, которые ставят под угрозу безопасность, и методы обеспечения безопасности на основе последних научных работ. Темы включают в себя безопасность операционной системы (ОС), возможности, управление потоками информации, языковую безопасность, сетевые протоколы, аппаратную защиту и безопасность в веб-приложениях.
Лекция 1: «Вступление: модели угроз» Часть 1 / Часть 2 / Часть 3
Лекция 2: «Контроль хакерских атак» Часть 1 / Часть 2 / Часть 3
Лекция 3: «Переполнение буфера: эксплойты и защита» Часть 1 / Часть 2 / Часть 3
Лекция 4: «Разделение привилегий» Часть 1 / Часть 2 / Часть 3
Лекция 5: «Откуда берутся ошибки систем безопасности» Часть 1 / Часть 2
Лекция 6: «Возможности» Часть 1 / Часть 2 / Часть 3
Лекция 7: «Песочница Native Client» Часть 1 / Часть 2 / Часть 3Читать полностью »
Корпоративная шизофрения
2018-08-23 в 9:18, admin, рубрики: Анализ и проектирование систем, Карьера в IT-индустрии, управление персоналом, Управление продуктом, управление проектами, художественная литература— Последний вопрос нашей повестки. – зашуршала бумажками Светлана Владимировна. – Оценка удовлетворенности персонала. Татьяна, вам слово.
— Добрый день, коллеги. – поднялась со стула молодая, симпатичная девушка, новый HR-директор. – Как вы знаете, мы провели оценку удовлетворенности персонала, и результаты, к сожалению, неутешительные.
Татьяна выдержала театральную паузу, оглядывая всех присутствующих менеджеров – и топ, и не топ.
— Удовлетворенность стала ниже, по сравнению с прошлым годом. – видя, что реакции нет, сконфуженно продолжила Татьяна. – С этим нужно что-то делать. Я подготовила несколько предложений. Светлана Владимировна, можно озвучить?
— Начинается… — раздался тихий шепот с дальнего конца стола.
— Что, простите? – подняла бровь директор. – Я что, с разнорабочими разговариваю? Или с руководителями, которые радеют за благо предприятия? Марина, это вы сейчас сказали?
— Нет, не я. – возмутилась Марина, директор по качеству. – Вон, умник наш. Господин ИТ-директор. Сергей, отвлекись от телефона, что ты там все время делаешь?Читать полностью »
Курс MIT «Безопасность компьютерных систем». Лекция 6: «Возможности», часть 3
2018-08-20 в 19:50, admin, рубрики: Capsicum, Casper, Анализ и проектирование систем, Блог компании ua-hosting.company, Возможности приложений, информационная безопасность, проблема предоставления полномочий, ПрограммированиеМассачусетский Технологический институт. Курс лекций #6.858. «Безопасность компьютерных систем». Николай Зельдович, Джеймс Микенс. 2014 год
Computer Systems Security — это курс о разработке и внедрении защищенных компьютерных систем. Лекции охватывают модели угроз, атаки, которые ставят под угрозу безопасность, и методы обеспечения безопасности на основе последних научных работ. Темы включают в себя безопасность операционной системы (ОС), возможности, управление потоками информации, языковую безопасность, сетевые протоколы, аппаратную защиту и безопасность в веб-приложениях.
Лекция 1: «Вступление: модели угроз» Часть 1 / Часть 2 / Часть 3
Лекция 2: «Контроль хакерских атак» Часть 1 / Часть 2 / Часть 3
Лекция 3: «Переполнение буфера: эксплойты и защита» Часть 1 / Часть 2 / Часть 3
Лекция 4: «Разделение привилегий» Часть 1 / Часть 2 / Часть 3
Лекция 5: «Откуда берутся ошибки систем безопасности» Часть 1 / Часть 2
Лекция 6: «Возможности» Часть 1 / Часть 2 / Часть 3Читать полностью »
Асимметричная криптография с одноразовым секретным ключом: описание идеи и возможное применение
2018-08-13 в 15:00, admin, рубрики: Анализ и проектирование систем, асимметричная криптография, аутентификация, децентрализованные сети, информационная безопасность, криптография, электронная подпись
(для понимания того, о чём говорится в этой статье, необходимо и достаточно хотя бы в общих чертах представлять, что такое асимметричная криптография и как работает электронная подпись)
Сценарий использования одноразового секретного ключа:
- Создаётся ключевая пара, состоящая из секретного (secret key, SK) и открытого (public key, PK) ключей.
- При помощи секретного ключа выполняется ряд операций. Первая из них, создание открытого ключа, уже выполнена на первом шаге.
- Выполняется на первый взгляд противологичное действие – секретный ключ уничтожается без возможности восстановления.
Секреты отказоустойчивости нашего фронт-офиса
2018-08-13 в 7:00, admin, рубрики: Анализ и проектирование систем, Блог компании Сбербанк, отказоустойчивость, Проектирование и рефакторингКак устроен современный банк? Есть бэк-офис, где выполняются разные операции, ведутся счета и отчетность. Есть мидл-офис, где принимаются решения и оцениваются риски, где оценивают кредитные риски и противодействуют мошенникам. И есть фронт-офис, где обслуживают клиентов и отвечают за их взаимодействие с банком через разные каналы.
В Сбербанке работают сотни систем разной доступности и надежности. Здесь есть и свои разработки, и коробочные решения с разной степенью кастомизации, разными SLA. Все системы интегрированы друг с другом огромным количеством способов. В этом посте мы расскажем, как весь этот муравейник фронтенда собирается таким образом чтобы обеспечивать непрерывное обслуживание клиентов.
Читать полностью »
Exactly once is NOT exactly the same: анализ статьи
2018-08-12 в 7:29, admin, рубрики: Анализ и проектирование систем, в интернете кто-то неправ, распределенные системыВведение
Решил проанализировать статью, описывающую некоторые интересные детали потоковой обработки ровно один раз: exactly-once. Дело в том, что некоторые авторы очень странно понимают термины. Разбор статьи как раз позволит прояснить многие детали более глубже, т.к. выявление нелогичностей и странностей позволяет более полноценно прочувствовать понятия и смысл.
Приступим.
Анализ
Начинается все очень даже неплохо: