Поскольку компания LSI (теперь уже часть Avago Technologies) продала свое подразделение flash-контроллеров небезызвестной Seagate, основной областью их внимания вновь становятся решения для RAID и SAS (своеобразный back to basics). Чтоб отметить это «возвращение к корням», я решил перевести интересную статью Томаса Павела (Thomas Pavel), директора по продажам storage-подразделения EMEA. Не уверен насчет того, выложена ли данная статья в Интернет, по крайней мере пока не нашел.
Читать полностью »
Метка «хранилище данных»
Производительность хранилищ
2014-06-29 в 21:11, admin, рубрики: avago, LSI, raid, sas, высокая производительность, Железо, производительность, пропускная способность, хранилище данных, метки: avago, LSI, raid, sas, производительность, пропускная способность, хранилище данныхАгрегаты многомерных кубов OLAP в оперативной памяти
2014-03-05 в 3:13, admin, рубрики: .net, ASP.NET, Business Intelligence, olap, Анализ и проектирование систем, бизнес аналитика, высокая производительность, оперативная память, хранилище данных, метки: ASP.NET, Business Intelligence, olap, бизнес аналитика, оперативная память, хранилище данныхПостановка
Проблематика Business Intelligence решений (Бизнес Аналитика) состоит в предоставлении заинтересованным лицам статистической, аналитической информации по результатам деятельности какого-либо автоматизированного процесса или комплекса процессов.
Например, имеется бизнес процесс фиксации покупок, совершаемых людьми в электронном магазине. В реляционной модели бизнес процесса естественно будут иметься продавцы, покупатели, товар и прочие сущности. При этом, если бизнес процесс успешен, т.е. происходит достаточно интенсивный поток данных, возникают потребности в анализе этих данных для решения различных задач, в том числе экономических. Для финансистов это будет совокупность данных, отражающих:
- Количество проданного товара за 1-ый квартал текущего года
- Сумма проданного товара в разрезе продавцов за прошлый год
- Динамика продаж определенного вида товара в ежемесячном срезе
- И многие др
При этом, если речь идет о холдинге, в который входят – магазины, рестораны, прочие виды деятельности, то количество данных возрастает, что так же ведет порой и к увеличению видов представлений аналитических данных.
Таким образом перед разработчиком встает проблема по предоставлению максимально широкого, эффективного и удобного инструмента для анализа данных. На помощь приходят OLAP решения, предлагаемые различными брендами, такими как Oracle, SAP, Microsoft, MicroStrategy, Pentaho и многие др.
Читать полностью »
Хранилище данных уровня SOHO из картона
2014-01-14 в 6:25, admin, рубрики: DIY, diy или сделай сам, Гаджеты. Устройства для гиков, Железо, корпус, сервер, хранение данных, хранилище данных, метки: DIY, корпус, сервер, хранение данных, хранилище данных 
Потребность в хранилище данных у меня возникла довольно давно: необходимо было куда-то делать резервные копии, а копий у меня довольно много, т.к. инфраструктура довольно обширная для малого бизнеса: несколько серверов и полтора десятка виртуальных машин, несколько рабочих станций, архив видеонаблюдения, торренты… Хранилища с 2-4 дисками по 2Тб меня не устраивали – старый файловый сервер содержал 4x2Тб и был заполнен почти на 80%. Хранилище Enterprise уровня мне казалось дорогим удовольствием и тогда я решил сделать хранилище самостоятельно. Это решение я принял не только потому, что идея создания хранилища мне казалась делом простым и довольно дешевым, но и потому что мне хотелось сделать что-то своими руками. Как оказалось позже, руки мои несколько кривоваты, а затраты на инструменты сделали стоимость самого хранилища не такой привлекательной.
В результате я получил удовольствие от проектирования и работы, приобрел инструмент, который мне пригождается довольно часто и не только для создание серверов и хранилище, которое удовлетворяет мои потребностям.
Тех, кому интересно, что из этого получилось и как было сделано – Читать полностью »
Опыт установки ownCloud 6 на Debian 7 wheezy
2014-01-09 в 16:11, admin, рубрики: Apache, cms, debian 7, mysql, owncloud, phpmyadmin, облако, облачный диск, облачный сервис, Серверное администрирование, установка, хранилище данных, метки: apache, cms, debian 7, mysql, owncloud, phpmyadmin, облако, облачный диск, облачный сервис, установка, хранилище данных 
Здравствуйте, читатели! Сегодня я хотел бы рассказать о персональном облачном хранилище ownCloud и его установке.
Для нас уже стало обыденным использование таких сервисов как Dropbox, Google Drive, SkyDrive или даже Облако Mail.Ru, мы пользуемся их услугами каждый день не обращая внимание на явные недостатки тех или иных серверов. На одном, сервисе мало места, на другом нет локализации, на третьем ненадежное хранилище, на четвертом кривой интерфейс и так далее, но у всех этих сервисов есть общий существенный недостаток — ваши данные всегда хранятся на неконтролируемых вами серверах. В случае когда необходимо использовать сервисы для размещения данных не имеющих для вас большой ценности — этих сервисов должно полностью хватить. В случае если, необходима защита контента, полная конфиденциальность, безопасность, неограниченное количество свободного места, возможность организовать многопользовательский доступ для работы в группах, контроль версий, синхронизация, возможность просматривать документы, таблицы, изображения, видеоматериалы, аудиозаписи, заметки из любой точки мира без необходимости их загрузки — ownCloud это то что вам нужно.
Давайте подробнее рассмотрим ownCloud и попробуем его установить Читать полностью »
Копание в данных как степень свободы
2013-10-14 в 19:04, admin, рубрики: data mining, reporting, sql, базы данных, Софт, хранилище данных, метки: data mining, reporting, sql, базы данных, хранилище данных Приветствую уважаемых читателей.
Данный материал прольет свет на проблему удобства работы с РСУБД, которой я посвятил много лет, но никак не находил времени рассказать.
Если вы не занимаетесь поиском, просмотром и анализом данных или же делаете это, но полностью удобно и не имеете ни в чем нужды, смело бросайте чтение данного текста.
Проблематика
Итак, вы – пользователь, имеющий право на чтение в некой СУБД. Вероятно, перед вами стоит набор типовых подзадач:
- Разобраться со структурой данных
- Найти в ней нужные сущности
- Найти в них нужные поля
- Найти связи между сущностями
- Найти интересующие значения
- Отобрать набор значений
- Выбрать нужные данные
- Убедиться, что это действительно ТЕ САМЫЕ данные, которые вы искали
- Сохранить результаты
- Подготовить из них отчеты
Наконец, весьма вероятно, что эти задачи вам надо решать регулярно.
На рынке инструментов обработки данных представлено огромное количество средств, посвященных построению запросов, кубов и отчетов. Прискорбно, но большая часть из них не видит наличия у пользователя вышеперечисленных задач во всей их полноте. Перечислим типичные проблемы, в обратном порядке относительно предыдущего списка:
Читать полностью »
Plug — домашнее облачное хранилище
2013-07-24 в 8:20, admin, рубрики: Гаджеты. Устройства для гиков, Железо, Облачные вычисления, хранилище данных, метки: хранилище данных 
Сегодня очень популярны облачные сервисы, и на kickstarter'е появился проект домашнего облачного хранилища — Plug, который собрал уже более $600 тыс. (Необходимые $69 тыс проект собрал всего за пять дней). Самые дешевые места по $59 закончились, но остались по $79.Читать полностью »
Сегодня сервис Яндекс Народ был присоединён к Яндекс Диск, посмотрим что получилось
2013-01-17 в 13:21, admin, рубрики: обмен файлами, Сетевые технологии, хранилище данных, яндекс, Яндекс.Диск, метки: обмен файлами, хранилище данных, яндекс, Яндекс.Диск Сегодня компания Яндекс опубликовала грустную, по крайней мере для меня, новость. Кратко суть новости звучит так: раньше на Народ можно было заливать неограниченное число файлов через веб, и до 5 ГБ размером. Теперь через веб можно заливать только файлы размером 2 ГБ, а что бы залить файл в 5 ГБ необходимо установить Диск к себе на устройство. Теперь место для хранения файлов строго ограничено и изначально составляет 5 ГБ, после установки Диск на любое устройство, и заливки любого файла, место увеличится до 10 ГБ, а если ещё левых емейлов зарегистрируете с друзьями ссылками поделитесь, то до 20 ГБ. Это и есть максимальный объём доступного бесплатного пространства, т.е. 20 ГБ. Самое не приятное это то, что увеличить место нельзя даже за деньги, хотя Яндекс уверяет, что в будущем это будет возможно. До кучи в Диске отсутствует частичная синхронизация, т.е. все файлы вам придётся хранить локально. По сути это означает, что Диск невозможно полноценно использовать на большинстве мобильных устройств, да и на компьютерах место, в обязательном порядке, тоже придётся выделить.
Читать полностью »
Amazon Redshift: новое хранилище данных на петабайты
2012-11-28 в 20:55, admin, рубрики: amazon s3, Amazon Web Services, AWS, data warehouse, хранилище данных, метки: amazon s3, aws, data warehouse, хранилище данныхКомпания Amazon выкатила принципиально новый сервис Redshift для хранения баз данных размером от нескольких сотен гигабайт до многих петабайт. Продукт нацелен на корпоративных заказчиков, которых сдерживает ограничение в 1 терабайт традиционной RDS, при этом хотят пользоваться привычными SQL-приложениями и гарантировать мгновенную доступность данных.
Кластер Redshift поднимается в пару щелчков мыши из административной панели AWS. Стоимость хранения данных здесь сравнима с обычным S3 и зависит от типа кластера и тарифного плана. Например, на трёхлетнем плане она составляет $999 за терабайт в год.
Читать полностью »
Методы борьбы с одиночеством на примере DS112+
2012-09-06 в 9:06, admin, рубрики: CFI, DAS, NAS, Synology, Блог компании Synology, Железо, Сетевое оборудование, хранилище данных, метки: CFI, DAS, NAS, Synology, хранилище данных 
С ситуацией, когда заканчивается место для хранения данных, пользователи регулярно сталкиваются как дома, так и на работе. Это может быть и новый смартфон, и ПК или даже сетевой накопитель. Если с телефоном и компьютером вопрос решается покупкой дополнительных карт памяти или жестких дисков, то как быть с NAS, особенно, если он однодисковый? Как не потерять данные, если жесткий диск выйдет из строя? Итак, если на однодисковом NAS закончилось место, то решение одно — как-то «добавить». Это можно реализовать с помощью внешнего диска, флешки или DAS-накопителя, обладающего повышенной надежностью хранения в сравнении с альтернативными вариантами. Сразу появляются два вопроса: смогут ли они «подружиться»? И можно ли говорить о высоких или хотя бы достаточных для нормальной работы скоростях обмена данными.
В роли объекта исследования возьмем Synology DS112+, который является одним из самых производительных среди одно- и двухдисковых NAS в линейке Synology. Данный накопитель оснащен всеми современными интерфейсами и сможет предоставить нам максимальное представление о возможностях NAS по включению в сеть внешних хранилищ.
Читать полностью »
Бизнес-анализ в социальной сети Одноклассники
2012-08-13 в 11:48, admin, рубрики: big data, dwh, monitoring, sql, бизнес-анализ, Блог компании Одноклассники, статистика, хранилище данных, метки: big data, dwh, monitoring, sql, бизнес-анализ, статистика, хранилище данных 
Этот пост о системах статистики в Одноклассниках. В нем будет рассказано о том, для чего нам нужна статистика, и какие у нас есть системы для работы с ней. В следующих постах детально опишем:
• архитектуру систем;
• основные компоненты систем и алгоритмы;
• нетривиальные проблемы и способы их решенияЧитать полностью »