За полгода с июля 2024 года большинство аудиторных и технических показателей RUTUBE выросло в разы: количество ежедневных пользователей выросло почти в 4 раза; количество видео, ежедневно загружаемых на видеохостинг — в 3 раза, с 330 тыс. до 1 млн единиц контента; CDN-трафик — в 4 раза и в пиковые часы превышает 7 Тбит/с. Как архитектура сервиса показала себя в условиях продолжительного «нагрузочного тестирования» и как команда переживала такой рост нагрузки, читайте в этой статье.
Рубрика «s3»
Архитектура национального видеохостинга: путь RUTUBE к 10 Тбит-с с использованием своей CDN
2025-03-05 в 12:33, admin, рубрики: CDN, geoip, Rutube, s3, архитектура, архитектура систем, видео, видеохостингМультипарт-загрузка в объектное хранилище Selectel: пишем тривиальный пример на Python
2025-03-04 в 11:12, admin, рубрики: multipart upload, object storage, python, s3, selectel, storage, объектное хранилище
Объектные хранилища с доступом на базе S3 API — это, возможно, лучшее решение для хранения больших объемов данных. Однако при загрузке крупных файлов могут возникнуть проблемы. Например, долгая передача данных из-за сетевых ограничений или таймауты и обрывы соединения. Как ни крути, а интернет даже здесь диктует свои условия. Попробуем их обойти с помощью мультипарт-загрузки.
Привет! Меня зовут Гришин Александр, я продакт-менеджер в Selectel и отвечаю за развитие объектного хранилища и облачных баз данных. В этой статье я расскажу, как загружать большие файлы в S3 с помощью мультипарт-загрузки, используя Python и boto3. Под катом вы узнаете, как работает этот механизм и как его настроить для эффективной работы.Читать полностью »
Облачные хранилища в мире Top Gear
2025-01-14 в 9:19, admin, рубрики: DBaaS, s3, selectel, облачные сервисы, облачные хранилища
Привет! Меня зовут Александр Гришин, я менеджер продуктов и отвечаю за развитие облачных баз данных и объектного хранилища в Selectel. Считаю, что новый год — отличное время, чтобы взглянуть на технологии по-новому. Например… через призму Top Gear.
Предлагаю вам немного развлечь себя разными аналогиями между миром транспорта и инструментами хранения данных. Ведь в мире облачных технологий, как и в программе Top Gear, для каждой задачи есть свой «транспорт».
Только представьте: выбирая подходящий инструмент хранения данных в облаке, вы словно решаете, какой вид транспорта использовать для своей задачи — от мощного корабля-контейнеровоза до стремительного гоночного болида. Давайте же погрузимся в экосистему облачных хранилищ и найдем, что подходит именно вам. Подробности под катом!Читать полностью »
Опыт Звука: как реализовать рекомендательную систему аудиокниг с использованием больших языковых моделей (LLM)
2024-12-26 в 10:48, admin, рубрики: Hadoop, llm, ml, presto, pyspark, python, qdrant, recsys, s3, векторы
Всем привет! На связи Дмитрий Берестнев, Chief Data Scientist в HiFi-стриминге ЗвукЧитать полностью »
Как мы 2 гбита видео из гаража пытались раздать
2024-12-06 в 9:15, admin, рубрики: garage, homelab, s3, self-hosted, YouTubeРешили мы попробовать для хранения видео файлов использовать Garage. Он казалось бы, идеально подходит для наших целей — запускается на древнем консьюмерском железе, требований к латенси сети у него нет, к ошибкам администрирования устойчив. А ещё файлы отдает с низкой задержкой, причем даже если запросить кусок из середины файла. Вроде бы красота, но мы ошиблись.
Никогда не пытайтесь сделать домашний интернет своей опорной инфраструктурой.
Что мы вообще делаем?
Копилот для сисадмина
2024-11-28 в 12:53, admin, рубрики: AI, AWS, bash, copilot, Lua, s3, администрирование, битрикс, Битрикс24, КопилотИспользование различных AI помощников быстро и уверенно входит в нашу жизнь. Копилоты, ChatGPT, YandexGPT, GigaChat, Claude и все их «собратья» помогают писать маркетинговые тексты, редактировать фото и видео, создавать треки для роликов. А говоря про ИТ, мы, наверняка, сразу вспоминаем, например, про GitHub Copilot и AI во всех современных IDE, которые помогают писать код.
PSQLBuddy — резервное копирование и восстановление PostgreSQL
2024-11-04 в 11:15, admin, рубрики: aiogram, backup, python, s3, telegrambot, timeweb
Введение
Какие задачи решались
-
Выполнение резервного копирования отдельных баз данных на сервере БД
-
Выгрузка каждой базы по отдельности в S3 хранилище
-
Очистка хранилища от старых бэкапов
-
Восстановление базы в специально созданную архивную с помощью бота
Смотреть или выгружать: тонкости работы с сырыми логами в CDN
2024-09-17 в 8:57, admin, рубрики: CDN, s3, selectel, логи, объектное хранилище, резервное копирование, сырые логи
Логи в CDN — мощный инструмент для администраторов и разработчиков, который дает доступ к детальной информации о запросах пользователей. Он помогает оптимизировать производительность, улучшить качество обслуживания, обеспечить безопасность онлайн-сервисов и доступность контента для конечных пользователей. Чтобы сделать эту работу эффективнее, мы добавили в панель управления возможность выгружать сырые логи. В этой статье разберемся, что это такое, в каких случаях такая опция может пригодиться и почему обычного просмотра логов иногда недостаточно.Читать полностью »
Разбираемся, что такое S3 и делаем простое объектное хранилище на Go
2024-09-05 в 9:30, admin, рубрики: Go, s3, объектное хранилище
Свой S3-server: что делать, если ваши десятки петабайт уже не лезут в коробочные объектные хранилища
2024-06-03 в 8:24, admin, рубрики: ceph, lusca, ozon tech, rgw, s3, s3server, Scylla, scylladb, storageВ 2024 году уже незачем рассказывать об S3-интерфейсе и сравнивать его с другими вариантами организации объектного хранилища. Вот и мы в Ozon, конечно, предоставляем такое платформенное решение широкому спектру внутренних потребителей. От сервисов, которые хранят картинки товаров для каталога, до бэкапов баз данных. От собственных внутренних разработок, до open-source-решений, таких как Gitlab и Thanos.