Рубрика «amazon s3»

Мне понравился опыт прошлого расследования по фейсбуку, и я решил организовать очередную серию, теперь про Amazon. Для нетерпеливых — в самом конце статьи описан итоговый вариант архитектуры Amazon S3 и проанализированы его свойства.

Amazon S3 — детективное расследование внутренней архитектуры - 1

Не так давно Амазон объявил о переходе S3 с модели eventual consistency на strong consistency, то есть, предоставления гарантии read-after-write, чтения того, что было только что записано. Сообщество отреагировало, но как-то очень вяло: Amazon S3 Now Delivers Strong Read-After-Write Consistency

Первое, что лично мне подумалось в ответ на эти новости: а как же теорема CAP? Читать полностью »

Внимание — это фривольный перевод заметки о том, как именно Jonathan Bouman нашёл публичный AWS S3, который использовался на одном из поддоменнов apple.com. Плюс заметка хороша тем, что наглядно демонстрирует пользу от нескольких маленьких утилит в совокупности с терпением.

Unrestricted File Upload at Apple.com - 1
Читать полностью »

Security Week 41: Accenture выложила на Amazon все, год малвертайзинга на Pornhub, свежая атака на Office - 1Жить без облачных технологий мы уже не умеем, а жить с ними еще не умеем. То и дело случаются самые нелепые факапы из-за того, что люди не очень понимают, что их облачный ресурс и аналогичный локальный – две большие разницы, и обращаться с ними нужно соответственно. Вот, например, как сейчас, когда исследователи обнаружили в Amazon S3 большую поляну с вкусными данными, любезно накрытую компанией Accenture.

Компания, мягко говоря, не из последних. Занимается консалтингом, помогает клиентам стратегически планировать, оптимизировать, модернизировать и внедрять. Работает с крупнейшими корпорациями мира, на чем зарабатывает что-то около $5 млрд в год, чуть-чуть поменьше «Газпрома». И вот у этого консалтингового гиганта в Amazon S3 обнаружилось четыре корзины, открытые наружу даже без пароля. Знаешь URL – заходи, выгружай, что хочешь.

Корзины были полны данных клиентов Accenture. Обнаружившие их ребята из UpGuard сделали все правильно – сообщили владельцу данных, дождались, пока все это уберут из доступа, после чего уже с чистой совестью опубликовали отчет о находке. Сами фигуранты поспешили заявить, что ничего страшного не случилось: у них-де многоуровневая секьюрити-модель, и эти данные не помогли бы хакерам преодолеть ни один из уровней. Ну, вы знаете, секьюрити-модели они как лук – у них много слоев.
Читать полностью »

Как получить бесплатный SSL-сертификат от Amazon и переехать на HTTPS на Amazon S3 - 1

В конце лета нам пришло сообщение от Google о том, что в Chrome будут появляться предупреждения о возможной опасности при переходе на наш сайт «Я люблю ИП». Это касалось страниц, где есть текстовые формы (<input type="text"> или <input type="email">). Изменения должны были вступить в силу с октября, и мы решили, что наконец пора осуществить переезд на HTTPS, который мы планировали уже давно.

В сети много инструкций о том, как переехать на HTTPS, поэтому я постараюсь их не повторять и расскажу, как получить бесплатный SSL-сертификат от Amazon и установить его на сайте. Весь процесс у нас занял не более двух часов. Но я надеюсь, с этой инструкцией у вас получится сделать всё ещё быстрее.

Итак, вот краткое содержание статьи:

1) Подготовка сайта к переезду
2) Бесплатный SSL-сертификат от Amazon
3) Установка сертификата
4) Настройка домена
5) Редирект для домена на HTTPS без www
6) Рекомендации по SEO

Читать полностью »

На прошлой неделе Джефф Безос, глава Amazon, стал самым богатым человеком в мире, а стоимость его компании превысила $500 млрд. Активы бизнесмена достигли отметки в $91,4 миллиарда – при том, что в марте этого года у него было «всего» $70 млрд, и он не входил даже в первую тройку. Теперь у Джеффа Безоса с Биллом Гейтсом намечается игра «Перетягивание каната». Разница между их состояниями меньше $1 млрд, и в рейтинге Forbes они будут сменять друг друга, в зависимости от колебания акций Microsoft и Amazon. Первое место Гейтс точно не удержит: у него нет цели увеличить свой капитал, он занят благотворительностью, а вот мистер Безос развивает свое детище в полную силу, благодаря правильному использованию big data. У американских предпринимателей по поводу его работы возникают серьезные опасения.

В мае, еще до нового раунда роста акций Amazon, много шума в США наделал исследование о том, как компания «съест весь мир». Выводы там такие: конкурировать с ценами ритейлера невозможно. Лучший анализ big data позволяет магазину держать всех своих конкурентов в узде, и все другие крупные продавцы на американском рынке просто постепенно уйдут с дистанции. Единственная компания, которая может остановить полную монополизацию всех интернет-продаж – это (многим ненавистный) Walmart. Бандеролька считает доходы и разбирается в бизнес-империи Джеффа Безоса →

Джефф Безос стал самым богатым человеком планеты. Почему Amazon «съест весь мир» - 1

Читать полностью »

Когда ломается «облако»: что можно сделать в этой ситуации? - 1

Совсем недавно из-за проблем с сервисом Amazon S3 случился настоящий «облакалипсис». Сбой в работе стал причиной падения большого количества сайтов и сервисов тех компаний, кто является клиентом Amazon. Проблемы начались вечером 28 февраля, о чем можно было узнать из социальных сетей. Затем стали массово появляться сообщения о неработающих Quora, IFTTT, рассылок Sailthru, Business Insider, Giphy, Medium, Slack, Courser и т.п.

Сбоили не только сервисы и сайты, многие IoT устройства оказалось невозможно контролировать через интернет (в частности, из-за неработающего IFTTT). Самое интересное то, что до последнего момента статус Amazon S3 показывался, как нормальный. Но многие сотни, а то и тысячи компаний, чьи ресурсы были затронуты проблемой, осознали, что рано или поздно даже очень надежное «облако» может рухнуть, накрыв всех своими обломками. Можно ли что-то сделать в такой ситуации?
Читать полностью »

Закрытое бета-тестирование горячего хранилища в Облаке Mail.Ru - 1

Привет! У нас хорошая новость: мы начинаем закрытое бета-тестирование «горячего хранилища» (Hotbox) на базе Облака Mail.Ru для бизнеса и приглашаем к участию всех желающих. В первую очередь сервис Hotbox будет интересен владельцам медиасервисов с высокой посещаемостью, онлайн-СМИ и ресурсов с UGC-контентом и разработчикам мобильных приложений. В общем, хранилище предназначено для тех, кому нужно хранить и часто раздавать много файлов.
Читать полностью »

В реестр заблокированных сайтов попал домен s3.amazonaws.com. В реестр внесена только одна страница игрового проекта 888poker, но Дом.ру блокирует целиком весь домен, т.к. заблокированная страница внесена в реестр с протоколом HTTPS со всеми вытекающими последствиями. Хотя блокировка была внесена в реестр 11 мая по каким-то причинам она начала действовать только сегодня. На данный момент домен заблокирован в сети Дом.ру, ТТК, Акадо и некоторых других провайдеров. В результате не доступны все веб-сервисы S3, ну и соответственно контент размещенный в корзинах S3.
Читать полностью »

В этой статье я отклонюсь от традиционной для меня темы систем хранения FAS и подниму тему объектного хранения данных в системах NetApp StorageGrid WebScale. Если кратко, то объектное хранение — это третий тип хранения наряду с NAS и SAN. Представьте себе, что каждый файл состоит из данных и метаинформации (владелец, права, время модификации и т.д.), так вот объектное хранение позволяет разъединить эти части и хранить их в виде «ключ/значение». Такой подход хранения информации открывает возможности децентрализованного, распределённого хранения данных огромных масштабов с прозрачной миграцией данных, репликацией и прозрачным переключением конечных потребителей между нодами объектного кластера. В широком смысле объектное хранилище может быть реализовано как на уровне устройства (жесткого диска), при помощи специализированных SCSI команд (Object-based Storage Device Commands), так и на уровне протокола доступа к системе хранения, которая состоит из нескольких дисков (которые, в свою очередь, вовсе не обязаны быть объектными). В обоих случаях используется Ethernet для подключения и IP протокол для передачи данных. Примером реализации объектного хранилища на уровне устройства являются жесткие диски линейки Seagate Kinetic Open Storage platform. Примером систем хранения данных в облаке может быть Microsoft Azure BLOB, Amazon S3. В этой статье я остановлюсь на объектных СХД, которые можно развернуть у себя на сайте и при необходимости подключить к облаку.
Объектное хранилище NetApp StorageGrid - 1
Читать полностью »

Компания Amazon разрешила скачивать файлы с хостинга S3 по протоколу BitTorrent. Через торренты можно распространять любые общедоступные файлы Amazon S3 размером не более 5 ГБ (возможно, в будущем это ограничение снимут). Для этого следует установить клиентское программное обеспечение (рекомендуется Amazon S3BitTorrent).

Чтобы скачать торрент для любого объекта, достаточно к концу URL добавить ?torrent.

Пример запроса

GET /quotes/Nelson?torrent HTTP/1.0
Date: Wed, 25 Nov 2009 12:00:00 GMT

Ответ

Читать полностью »

https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js