Метка «Amazon Web Services» - 3

По мере роста количества доменов, размещённых на моём сервера на Hetzner, меня всё чаще стала посещать мысль об использовании своего собственного dns-сервера вместо серверов имён провайдера.

Среди плюсов подобного решения—гибкость, удобство и экономия (правда небольшая), в среди минусов—низкая надёжность, ибо если ложится сервер то ложатся и зоны со всеми соответствующими последствиями не только для самого сервера но и для всех сторонних сайтов, чьи зоны вы хостите.

Ну а поскольку на сервере кроме dns работает ещё стопицот разных сервисов, да и руки у меня растут хотя и выше одного места, но всё же не слишком уж высоко, то сервер у меня ложится пару раз в год точно. :( Выход, разумеется, в организации физически отдельного вторичного сервера имён (что собственно и предусмотрено технологией dns).

В этой статье я хочу рассмотреть организацию такого сервера на базе облачного сервиса Amazon EC2, учитывая что всем новым аккаунтам Amazon позволяет год работать бесплатно (для micro-экземпляров):

Установка вторичного сервера имён на Amazon EC2 бесплатно

Поехали!

Читать полностью »

Тема высоконагруженных приложений у всех на слуху. Тоже решил вставить свои 5 копеек и поделиться опытом создания высоконагруженного приложения на инфраструктуре AWS.

Сначала, буду банален и повторю всем известные истины. Есть 2 пути масштабирования приложения:
1) вертикальное масштабирование — это увеличение производительности каждого компонента системы (процессор, оперативная память, прочие компоненты);
2) горизонтальное, когда соединяют несколько элементов воедино, а система в целом состоит из множества вычислительных узлов, решающих общую задачу, тем самым увеличивая общую надежность и доступность системы. А увеличение производительности достигается добавлением в систему дополнительных узлов.

Первый подход неплох, но есть существенный минус — ограниченность мощности одного вычислительного узла — невозможно бесконечно увеличивать частоту вычислительного ядра процессора и пропускную способность шины.
Поэтому горизонтальное масштабирование значительно выигрывает у своего вертикального брата, ведь при недостатке производительности можно добавить в систему узел (или группу узлов).

Недавно мы в очередной раз постигали все прелести горизонтального масштабирования на практике: строили высоконадежный социальный сервис для болельщиков американского футбола, выдерживающий пиковую нагрузку в 200 000 запросов в минуту. Поэтому хочу рассказать о нашем опыте создания высокомасштабируемой системы на инфраструктуре Amazon Web Services.

Обычно, архитектура веб приложения выглядит следующим образом:
Кластеризация веб приложений на хостинге Amazon Web Services
Рис. 1. Типичная архитектура веб приложения

  • первым пользователя “встречает” веб-сервер, на его плечи возлагаются задачи отдачи статических ресурсов и передачи запросов приложению;
  • далее эстафета передается приложению, где протекает вся бизнес-логика и взаимодействие с базой данных.

Чаще всего узкими местами системы являются код приложения и база данных, следовательно, стоит предусмотреть возможности их распараллеливания. Мы использовали:

  • development language and core framework — java 7 and rest jersey
  • application server — tomcat 7
  • database — MongoDB (NoSQL)
  • cache system — memcached

Как это было, или через тернии к high load

Читать полностью »

Несколько DNS серверов: зачем это хостеру и как это реализовано в Parallels Plesk Panel

Предыстория

Озадачившись получением фидбэка и более точной приоритезацией задач, разработчики Plesk завели аккаунт на UserVoice — http://plesk.uservoice.com. Тем самым организовали место, где клиенты могут предлагать свои нововведения, писать, что именно им не нравится, голосовать за нужные им функции (те, что набирают большинство голосов, попадают в разработку). Один из популярных запросов, которые мы получили от наших пользователей – это «Automate slave DNS support». Это довольно старый запрос на функциональность, которую хотят почти все администраторы Plesk-серверов. Чтобы раз и навсегда закрыть этот вопрос, мы решили сделать соответствующее Plesk-расширение. Какие причины были сделать это именно так? Что именно мы сделали?
Читать полностью »

AWS Activate — это специальная программа для стартапов, разработанная Amazon для упрощения начала работы в облаке, естественно с использованием Amazon Web Services.

Участие в программе бесплатное. Насколько понял, нет никаких ограничений по странам или направлениям деятельности.
Единственное условие: стартап еще не получал поддержки от Амазон и не использовал AWS Free Tier.
Читать полностью »

Amazon открыл доставку электроники в Россию

In Soviet Russia:

Сегодня интернет-магазин Amazon начал доставку потребительской электроники в Россию. Соответствующие изменения были внесены в систему заказа товаров на сайте компании 2 сентября. Полный список стран, куда осуществляется доставка можно посмотреть тут.
Читать полностью »

image

Google добавил новую услугу в Google Cloud Storage, которая позволит разработчикам отправлять свои жёсткие диски в Google по почте для импорта очень больших объёмов данных, пишет TechCrunch.

За 80 долларов с диска Google примет диск и загрузит данные в Cloud Storage. По словам Google, это может быть «быстрее или дешевле, чем передача данных через Интернет». Пока что услуга доступна ограниченному числу пользователей с американскими адресами.
Читать полностью »

Использование S3cmd в Windows
Я давно знаком с утилитой s3cmd, но всегда использовал её только под Linux системами. О том, что её можно использовать под Windows, я даже не думал.
А почему бы и нет? Она реализована на python, а значит вполне кроссплатформенна. Нужно только установить Python на Windows машину.
Читать полностью »

Одним из основных способов общения с пользователем является электронная почта. И практически для каждого сервиса важно обеспечить надежную ее доставку. Когда число писем, отправляемых в сутки переваливает за несколько тысяч, можно столкнуться с различными ограничениями. В этой статье мы хотим рассказать о нашем опыте работы с почтовыми сервисами и предупредить о проблемах, с которыми может столкнуться каждый. Также подробно расскажем о том, как настроить работу с Amazon SES.Читать полностью »

GPS мониторинг без лишних глаз

«Если вы не параноик, это еще не означает, что за вами никто не следит». Развитие Интернета перевело это высказывание на качественно новый уровень. Следить уже можно, не выходя из дома, а всю информацию добровольно предоставит сам объект наблюдения. Люди выкладывают в сеть свои личные данные, но не всегда задумываются о том, кому они могут быть доступны. Логин/пароль и «Показывать только друзьям» успокаивают. Создается иллюзия, что мы контролируем приватность собственных данных. Но есть еще администраторы и органы власти, которые узнают всё, что их интересует, без спроса и без вашего ведома.

Это проблема всех систем, централизованно обслуживающих множество клиентов. Например, любая популярная социальная сеть имеет единое хранилище данных (возможно, распределенное), которое доступно в служебных целях для некоторого круга лиц. Пользователи постепенно начинают осознавать угрозу: появляются пиринговые социальные сети (см. ссылки в статье про Пандору), но они с трудом пробивают себе дорогу.

Аналогичная ситуация с приватностью имеет место и для систем мониторинга транспорта. Для них можно предложить принципиально другой подход, который позволит пользователю полностью контролировать доступ к своим данным. Идея проста – предоставить каждому свой собственный выделенный сервер в облаке!Читать полностью »

GPS мониторинг без лишних глаз

«Если вы не параноик, это еще не означает, что за вами никто не следит». Развитие Интернета перевело это высказывание на качественно новый уровень. Следить уже можно, не выходя из дома, а всю информацию добровольно предоставит сам объект наблюдения. Люди выкладывают в сеть свои личные данные, но не всегда задумываются о том, кому они могут быть доступны. Логин/пароль и «Показывать только друзьям» успокаивают. Создается иллюзия, что мы контролируем приватность собственных данных. Но есть еще администраторы и органы власти, которые узнают все, что их интересует, без спроса и без вашего ведома.

Это проблема всех систем, централизованно обслуживающих множество клиентов. Например, любая социальная сеть имеет единое хранилище данных (возможно, распределенное), которое доступно в служебных целях для некоторого круга лиц. Аналогичная ситуация имеет место и для систем мониторинга транспорта. В нашей системе применяется принципиально другой подход, который позволит каждому полностью контролировать доступ к своим данным.

Идея проста – каждому пользователю дать свой собственный выделенный сервер в облаке!Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js