Рубрика «хранение файлов»

в 14:34, , рубрики: php, велосипедостроение, социальные сети, хранение файлов

image

Доброго здравия, читатели! В процессе работы над проектом сайта знакомств возникла необходимость организовать хранение фотографий пользователей. По условиям ТЗ количество фотографий одного пользователя ограничено 10 файлами. Но пользователей-то могут быть десятки тысяч. Особенно учитывая то, что проект в его нынешнем виде существует аж с начала «нулевых». То есть там уже тысячи пользователей в базе. Почти любая файловая система, насколько мне известно, очень негативно реагирует на большое количество дочерних узлов в папке. По опыту могу сказать, что проблемы начинаются уже после 1000-1500 файлов/папок в родительской папке.
Читать полностью »

в 16:34, , рубрики: облачные хранилища, управление проектами, хранение данных, хранение файлов, метки: , ,

Статья написана для тех, кто ищет наилучший способ организации хранения и управления своими файлами и хочет при этом пользоваться всеми преимуществами наиболее распространенных на сегодняшний день облачных хранилищ.

Найти

  1. Единую структуру папок для хранения и «обозрения» всех файлов.
  2. Способ реализации такой единой структуры с использованием преимуществ всех облачных хранилищ.

Читать полностью »

в 14:10, , рубрики: btrfs, ext4, raid, Блог компании Webnames.ru, Накопители, системное администрирование, хранение данных, хранение файлов, метки: , , , ,

Во время разработки одного проекта возникла необходимость хранить множество файлов (более 4 млн. штук). И их количество продолжало расти. Когда файлов стало более 6 млн., работать с ними стало затруднительно. Даже если разложить их по каталогам и создать разветвлённое дерево, обход даже части этих каталогов занимал часы. Разумеется, вначале никто не задумывался над тем, как все это хранить, и мы использовали обычный винт и ext4. В какой-то момент скорость чтения с этого раздела снизилась до 9MB/sec. Это слишком медленно. Экспериментальный переход на btrfs поднял скорость до 13MB, но такие показатели тоже не впечатляют. SSD для этого никто не собирался использовать да и объём уже перевалил за 1TB. Т.е. всё шло к использованию RAID'ов. Поскольку коммерческий успех проекта был под сомнением, то стоимость нужно было свести к минимуму. Следовательно, реализация должна была быть программной.

Итак, нужно небольшое хранилище — на одном сервере или компьютере, т.е. не более четырех дисков. Хранить нужно небольшие файлы — по 1-3Mb каждый.
Читать полностью »

в 9:47, , рубрики: api, Блог компании Яндекс, облачные сервисы, разработка, хранение данных, хранение файлов, яндекс, Яндекс.Диск, метки: , , , , , ,

Некоторое время назад мы открыли API Яндекс.Диска. Сегодня документация пополнилась двумя новыми методами: публикация файлов, размещённых на Диске, и получение оповещений об изменениях.
На базе доступной документации теперь можно создавать программы и приложения не только для хранения и синхронизации данных, но и для их публикации. С помощью API можно сгенерировать публичную ссылку на любой файл, загруженный на Яндекс.Диск, или вернуть ему статус личного.
Читать полностью »

Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js