Привет! Наборы данных для Big Data и машинного обучения экспоненциально растут и надо успевать их обрабатывать. Наш пост о еще одной инновационной технологии в области высокопроизводительных вычислений (HPC, High Performance Computing), показанной на стенде Kingston на Supercomputing-2019. Это применение Hi-End систем хранения данных (СХД) в серверах с графическими процессорами (GPU) и технологией шины GPUDirect Storage. Благодаря прямому обмену данными между СХД и GPU, минуя CPU, на порядок ускоряется загрузка данных в GPU-ускорители, поэтому приложения Big Data выполняются на максимуме производительности, которую обеспечивают GPU. В свою очередь, разработчиков HPC-систем интересуют достижения в области СХД с высочайшей скоростью ввода/вывода — таких, какие выпускает Kingston.
Рубрика «Облачные вычисления» - 5
5.8 млн IOPS: зачем так много?
2019-12-30 в 12:13, admin, рубрики: DC1000, ssd, SSD Kingston, SSD для сервера, анализ больших данных, Архитектура хранения, Блог компании Kingston Technology, высокая производительность, Накопители, накопитель, Облачные вычисления, облачные провайдеры, система хранения, условия вычислений, хранение данных
Главные технологии десятилетия по версии Хабра
2019-12-25 в 20:02, admin, рубрики: 4G, iphone, беспилотники, Блог компании Хабр, Инфографика, Исследования и прогнозы в IT, итоги года, итоги десятилетия, машинное обучение, Облачные вычисления, социальные сети, уберизация, шеринг
Команда Хабра составила рейтинг из 10 технологий и устройств, которые изменили мир и повлияли на нашу жизнь. За пределами первой десятки остались еще около 30 крутых вещей — о них коротко в конце поста. Но самое главное — нам хочется, чтобы в составлении рейтинга поучаствовало всё сообщество. Мы предлагаем оценить эти 10 технологий так, как хотите именно вы. Вдруг вы считаете, что машинное обучение куда сильнее повлияло на мир, чем экономика совместного потребления? Голосуйте — ваш выбор будет учтен в общем рейтинге.Читать полностью »
С Hyper-V на VMware и обратно: конвертация виртуальных дисков
2019-12-12 в 9:55, admin, рубрики: hyper-v, vhd, vhdx, vmdk, VMWare ESXi, Блог компании DataLine, виртуализация, виртуальные диски, конвертация, Облачные вычисления, облачные сервисы
Привет!
Периодически я слышу от практикующих инженеров странное: VMDK, VHD и VHDX – абсолютно разные форматы виртуальных дисков, чуть ли не закрытые, а конвертировать из одного в другое – долго и больно. Сегодня наглядно покажу, что это не так, разберу, как эти форматы соотносятся друг с другом и как делать быструю конвертацию при миграции с Hyper-V на VMware и обратно.
Немного теории. C точки зрения свойств, виртуальные диски делятся на два типа:
- тонкие (thin disk, dynamic disk) и
- толстые (thick disk, fixed disk). Все остальное — разностные, thick provisioned lazy- zeroed – лишь вариации на тему.
[Supercomputing 2019]. Мультиоблачное хранилище как сфера применения новых накопителей Kingston DC1000M
2019-12-06 в 14:04, admin, рубрики: DC1000, ssd, SSD Kingston, SSD для сервера, анализ больших данных, Архитектура хранения, Блог компании Kingston Technology, высокая производительность, Накопители, накопитель, Облачные вычисления, облачные провайдеры, система хранения, условия вычислений, хранение данныхПредставьте, что вы запускаете инновационный медицинский бизнес — индивидуальный подбор лекарств на основе анализа генома человека. У каждого пациента 3 миллиарда пар генов, и обычному серверу на процессорах х86 потребуется несколько дней на расчеты. Вы знаете, что ускорить процесс можно на сервере с процессором FPGA, который распараллеливает вычисления на тысячи потоков. Он выполнит расчет генома примерно за час. Такие серверы можно взять в аренду в Amazon Web Services (AWS). Но вот незадача — заказчик в лице госпиталя категорически против помещения генетических данных в облако провайдера. Как быть? Kingston и облачный стартап показали на выставке Supercomputing-2019 архитектуру Private MultiCloud Storage (PMCS), которая решает такую задачу.
![[Supercomputing 2019]. Мультиоблачное хранилище как сфера применения новых накопителей Kingston DC1000M - 1](https://www.pvsm.ru/images/2019/12/06/Supercomputing-2019-multioblachnoe-hranilishe-kak-sfera-primeneniya-novyh-nakopitelei-Kingston-DC1000M.jpg "[Supercomputing 2019]. Мультиоблачное хранилище как сфера применения новых накопителей Kingston DC1000M - 1")
6 самых свежих курсов по Azure
2019-12-03 в 7:00, admin, рубрики: .net core, ACI, Apache Spark, azure, Azure Cosmos DB, Azure Databricks, devops, docker, kubernetes, microsoft, Microsoft Azure, nosql, pipelines, polybase, Power BI, sql, Администрирование контейнеров, Блог компании Microsoft, контейнеры, Облачные вычисления, облачные сервисы, Учебный процесс в ITПривет! Ранее мы опубликовали уже 3 статьи из 5 в нашей серии подборок интересных учебных курсов от Microsoft. Сегодня – уже четвертая часть, и в ней мы расскажем про самые свежие курсы по облаку Azure.
Кстати!
- Все курсы бесплатные (вы даже сможете попробовать платные продукты бесплатно);
- 5/6 на русском языке;
- Начать обучение можно мгновенно;
- По окончании вы получите бейдж об успешном прохождении обучения.
Присоединяйтесь, подробности под катом!
Все статьи из серии
Этот блок будет обновляться с выходом новых статей
- 7 бесплатных курсов для разработчиков
- 5 бесплатных курсов для IT-Администраторов
- 7 бесплатных курсов для архитекторов решений
- 6 самых свежих курсов по Azure
- ** самых ********** ****** от M******** на *******
29 ноября в Mail.ru Group пройдет @Kubernetes Conference
2019-11-15 в 11:31, admin, рубрики: devops, kubernetes, Mail.Ru Cloud Solutions, Администратор сети, администрирование, Блог компании Mail.Ru Group, Облачные вычисления, облачные сервисы, облачные технологии, эксплуатация
Привет, друзья. Приглашаем на @Kubernetes Conference 29 ноября в Mail.ru Group всех, кто вместе с нами строит экосистему Kubernetes в России — использует, внедряет K8s в Production, создает свои инструменты для работы с ним, ищет пути решения проблем, помогает другим перейти на Kubernetes и работает над распространением знания о нюансах использования технологии.
В программе вас ждут:
- Безопасные сети Kubernetes c eBPF и Cilium. Как глубоко работать с сетью на уровне ядра;
- Интерактив «Helm глазами разработчиков. RollingUpdate Puzzle»;
- Внедрение OpenShift в «Росгосстрахе»: от DevOps до Production-эксплуатации;
- Управление кластером K8s через Cluster API. Как Tinkoff.ru писали свой Infrastructure Provider BareMetal;
- Проект «Платформа». Как мы переводим на Kubernetes сервисы Mail.ru Group;
- Как мы катили K8s в Production eldorado.ru. Наш год американских горок;
- Также вас ждет воркшоп для тех, кто еще только на пути к Kubernetes — «Как запустить ваше приложение в Kubernetes. Деплой, мониторинг, логирование».
Конференция пройдет 29 ноября (пятница) в 14:00 в московском офисе Mail.ru Group (Ленинградский проспект, д. 39, стр. 79). Регистрация обязательна и закрывается 25 ноября в 11:59 утра (или раньше, если закончатся места).
Читать полностью »
Трансформация Docker: продажа Docker Enterprise в Mirantis и обновлённый путь
2019-11-14 в 9:01, admin, рубрики: docker, Docker Enterprise, kubernetes, Блог компании Флант, Облачные вычисленияВчера с компанией Docker Inc, стоящей за популярнейшим одноимённым решением для контейнеров, произошла череда преобразований. Можно смело сказать, что их уже определённое время ждали. Ведь с массовым распространением Docker, развитием других технологий для контейнеризации, а также стремительным ростом популярности Kubernetes вопросов к продуктам и бизнесу Docker Inc в целом становилось всё больше.
Каким же стал ответ? Как гласил заголовок на одном из информационных ресурсов, «Единорог [компания, оцениваемая в 1+ млрд USD] пал: Docker отказывается от enterprise». И вот что послужило поводом к такому заявлению…Читать полностью »
И снова про облака, не только плюсы
2019-11-10 в 15:47, admin, рубрики: быть_евреем, виртуализация, облака, Облачные вычисления, облачные сервисы, экономия на itВсем привет. Это статья должна рано или поздно появится. Ведь мы видим много статей из серии «Облако- это лучшее, что могло произойти с нами!», «Как организация перешла в облачную инфраструктуру и сэкономила N денег»… Только периодически в комментариях появляются записи, что в некоторых случаях, облака- это не совсем то, что надо. Давайте, будем честными и сопоставим доходы с расходами. А также посмотрим на очевидные минусы, про которые принято молчать.
Как реализуется отказоустойчивая веб-архитектура в платформе Mail.ru Cloud Solutions
2019-11-05 в 13:00, admin, рубрики: api, BGP, HA, haproxy, ITSumma, Mail.Ru Cloud Solutions, openstack, uptime, uptimeday, балансировщик, Блог компании Mail.Ru Group, виртуализация, высокая производительность, Облачные вычисления, отказоустойчивость, системное администрирование
Привет! Я Артем Карамышев, руководитель команды системного администрирования Mail.Ru Cloud Solutions (MCS). За последний год у нас было много запусков новых продуктов. Мы хотели добиться, чтобы API-сервисы легко масштабировались, были отказоустойчивыми и готовыми к быстрому росту пользовательской нагрузки. Наша платформа реализована на OpenStack, и я хочу рассказать, какие проблемы отказоустойчивости компонентов нам пришлось закрыть, чтобы получить отказоустойчивую систему. Я думаю, это будет любопытно тем, кто тоже развивает продукты на OpenStack.
Общая отказоустойчивость платформы складывается из устойчивости её компонентов. Так что мы постепенно пройдём через все уровни, на которых мы обнаружили риски и закрыли их.
Видеоверсию этой истории, первоисточником которой стал доклад на конференции Uptime day 4, организованной ITSumma, можно посмотреть на YouTube-канале Uptime Community.
Читать полностью »
Моя первая виртуальная машина: как не накосячить
2019-10-24 в 6:58, admin, рубрики: vcloud director, VMware, Блог компании DataLine, виртуализация, виртуальная машина, Облачные вычисления, облачные сервисыИтак, вот перед вами свеженькая организация в vCloud Director, и вам только предстоит создать свою первую виртуальную машину. Сегодня расскажу, какие настройки выбирать при создании виртуальной машины, чтобы она работала и не просила есть. Поехали!
Источник: drive2.ru
Читать полностью »