Машинное обучение и нейросети становятся все более незаменимыми для многих компаний. Одна из основных проблем, с которыми они сталкиваются — деплой такого рода приложений. Я хочу показать показать практичный и удобный способ подобного деплоя, для которого не требуется быть специалистом в облачных технологиях и кластерах. Для этого мы будем использовать serverless инфраструктуру.
Рубрика «AWS» - 10
Serverless tensorflow на AWS Lambda
2018-08-30 в 10:10, admin, рубрики: Amazon Web Services, AWS, deep learning, FaaS, lambda, machine learning, open source, serverless, TensorFlow, Блог компании Open Data Science, глубокое обучение, машинное обучениеКросс-облачное программирование с Go Cloud
2018-07-25 в 12:22, admin, рубрики: Amazon Web Services, AWS, clouds, GCP, Go, golang, Google Cloud Platform, кросс-облачность, облачные сервисы, ПрограммированиеВведение
Сегодня (прим. переводчика 24-07-2018), команда Go в Google выпустила новый Open Source проект Go Cloud, библиотека и инструменты для разработки в открытом облаке. Этим проектом, мы преследуем цель, чтобы разработчики выбирали язык Go для создания кросс-облачных приложений.
Этот пост обясняет почему мы начали этот проект, детали того как работает Go Cloud, и как вовлечься и начать использовать его.
Читать полностью »
Kubernetes в Amazon (EKS) стал общедоступным
2018-06-06 в 9:07, admin, рубрики: Amazon Web Services, AWS, EKS, kubernetes, Блог компании Флант, Облачные вычисленияВчера компания Amazon Web Services объявила о полноценном запуске своего облачного сервиса на базе Kubernetes — EKS (Amazon Elastic Container Service for Kubernetes). Впервые он был анонсирован в ноябре прошлого года (вскоре после того, как AWS присоединилась к стоящему за Kubernetes фонду CNCF), но тогда он имел статус предварительного доступа. Что скрывается за EKS?
Как я год строил расширениe для браузера которое читает статьи голосом (с синхронизацией в подкаст)
2018-05-29 в 12:28, admin, рубрики: Amazon Web Services, AWS, dynamodb, Go, python, text-to-speech, WebExtensions, подкасты, Расширения для браузеровНе один раз я пробовал использовать сторонние API для получения голоса из текста который мне интересно прочитать — можно переключить чтение на уши когда глаза устали, или слушать во время комьюта. Знаю я такой не один, даже люди далекие от айти бывает загружают куда-то текст и скачивают mp3. И подкасты/аудиокниги становятся все популярнее, и голосовые интерфейсы. Очевидно что аудитория есть, топовые экстеншены в маркете Хрома на эту тематику имеют сотни тысяч пользователей. Но голоса от Амазона обычно у них нет (лучший из доступных, лучше нового от Гугла), а где есть нет чего-то другого, например возможности слушать в экстеншене — а не только добавлять в свой подкаст. Предложил идею проекта внутри компании — был получен апрув — пошла разработка.
Читать полностью »
Как Amazon использует новую систему распознавания лиц, и за что её ненавидят
2018-05-25 в 10:28, admin, рубрики: amazon, AWS, pochtoy, rekognition, Блог компании Pochtoy.com, будущее здесь, искусственный интеллект, США
Amazon разработала новую мощную систему для распознавания лиц в режиме реального времени. Нейросетям «кормят» фото и видео, а они определяют, что (или кто) там показывается. Воспользоваться ей может любой пользователь AWS. В США с её помощью шерифы уже успешно ловят преступников, а телестанции находят знаменитостей в живых трансляциях. Но у технологии нашлись и ярые оппоненты. Которые пишут Безосу письма и призывают Amazon немедленно прекратить разработку системы, иначе последствия могут быть самыми непредсказуемыми.Читать полностью »
Как мы организовали хранилище данных дешевле Amazon Simple Storage Service на 35%
2018-05-15 в 7:06, admin, рубрики: amazon, AWS, s3, Блог компании ТЕХНОСЕРВ, облако, облачное хранение данных, облачное хранилище, облачные сервисы, СХД, хранение данных
У нас есть набор систем хранения как традиционных, так и программно определяемых. Они используются в формате блочных хранилищ для хранения виртуальных машин, баз данных и других ресурсов.
На втором этапе мы стали использовать объектное хранение, то есть хранение без иерархии каталогов. Все данные лежат на одном уровне, и каждый файл может быть доступен по своему ключу. Метаданные хранятся рядом с файлом. Для доступа используются простые команды уровня PUT — GET — MODIFY, есть возможность обратиться к каждому файлу по собственному URI, обеспечены лёгкость управления правами и лёгкость размещения самых разных данных и доступа к ним.
Минус данных решений — невозможность обращения к части (сегменту) файла, поэтому для приложений вроде баз данных такие хранилища не используются. Оптимальное применение — сложить туда картинки веб-сайта, файловую помойку, архивы или бэкап данных. На базе объектного хранилища мы построили свой S3 — систему хранения не очень часто изменяемых данных. С прямой совместимостью с Amazon S3.
А ещё классические протоколы доступа, использующиеся внутри компаний для файлового доступа (CIFS или NFS), не предназначены для обмена большими данными через сеть Интернет. Это ещё одна из причин, почему и зачем мы создали своё объектное хранилище.
Стояла задача сделать его не просто работающим отовсюду, но и дешёвым.
Читать полностью »
Как Netflix эвакуируется из региона AWS за семь минут
2018-04-28 в 13:42, admin, рубрики: Amazon Web Services, AWS, Elastic Load Balancer, netflix, python, zuul, высокая производительность, Серверная оптимизация, Серверное администрированиеNetflix уменьшил время аварийного переключения с 45 до 7 минут без каких-либо затрат
Изображение: Florida Memory. Доработано Opensource.com. CC BY-SA 4.0
Зимой 2012 года Netflix пережил длительный сбой, уйдя в отключку на семь часов из-за проблем с сервисом AWS Elastic Load Balancer в регионе US-East (Netflix работает на AWS — у нас нет собственных дата-центров. Всё ваше взаимодействие с Netflix происходит через AWS, кроме самого потокового видео. Как только вы нажмете Play, начинает загружаться видеопоток из нашей собственной сети CDN). Во время сбоя ни один пакет из региона US-East не доходил до наших серверов.
Чтобы такого больше не повторилось, мы решили создать систему аварийного переключения, устойчивую к сбоям базовых поставщиков услуг. Аварийное переключение (failover) — это система обеспечения отказоустойчивости, когда в случае сбоя основной системы автоматически активируется резервное оборудование.
Читать полностью »
Как повысить производительность, используя бессерверную архитектуру
2018-04-26 в 9:39, admin, рубрики: amazon, AWS, funcorp, json, lambda, serverless, бессерверная архитектура, Блог компании FunCorp, Серверная оптимизация, Серверное администрирование, системное администрирование
Фото: Jesse Darland с Unsplash
В этой статье речь пойдёт о том, как перенести процесс предварительной обработки изображений с сервера приложений на абсолютно бессерверную архитектуру платформы AWS.Читать полностью »
Срочный переезд с Amazon Web Services — истории двух клиентов
2018-04-23 в 11:30, admin, рубрики: AWS, Блог компании ТЕХНОСЕРВ, виртуализация, миграция, облако
Блокировки задели многие проекты, работающие для российского рынка. Ниже — история одного из срочных переездов нашего заказчика.
19 апреля они заметили блокировку одного из IP-адресов своего публичного сервиса частью провайдеров на территории РФ. 20 апреля ситуация усугубилась — вся подсеть стала недоступной. Это уронило тестовую среду, один из резервных каналов, частично нарушило работу почтовых серверов. Проблему удалось решить заменой IP-адресов, проксированием трафика через другие дата-центры.
Когда стало понятно, что всё это всерьёз и надолго (точнее, когда возник такой риск), один наш заказчик, компания Теко — международная процессинговая компания, решил развернуть инстанс в нашем облаке. Их CIO была важна большая федеративность сервиса, большее присутствие на территории РФ. Цитата:
«Облако в РФ даёт больше гарантий клиентам, что сервис не будет заблокирован РКН. Скорость, с которой нам предоставили ресурсы, была очень важна. Происходило всё достаточно быстро: первым делом мы добавили GEO dns для доступности сервиса на территории РФ, начали проксирование трафика через незаблокированные ДЦ. Медленная часть — федерация для БД».
Читать полностью »
Упали с AWS? Заезжайте без вопросов, документы потом, сейчас не до того
2018-04-18 в 7:14, admin, рубрики: AWS, Блог компании Облачный блог КРОК, виртуализация, миграция, облакоПока я ехал на работу и слушал новый альбом Дельфина, кто-то блокировал IP адреса Amazon и Google целыми подсетями. Роскомнадзор назвал недостоверной информацию о блокировании сайтов, не имеющих отношения к Telegram, но арендующих IP-адреса на тех же, что и мессенджер, сервисах, и создал горячую линию для противодействия распространения таких сообщений.
Поэтому я даже не догадываюсь, почему нам пришлось в течение вчерашнего дня помогать нескольким сервисам. Кого-то задело совсем немного, а кому-то пришлось мигрировать.
Если очень коротко — мы умеем быстро мигрировать из AWS. У нас совместимый API. Мигрировать клиентов из Google тоже можем. И в ближайшие недели мы готовы делать миграцию бесплатно и давать месяц на тесты в нашем облаке без договора и без гарантийного письма, просто по карточке компании. Не понравится — ничего платить не надо.
Ниже — howto для разных типов выгрузки ВМ с Амазона.
Читать полностью »