Рубрика «кто читает теги?»

в 23:47, , рубрики: apache hadoop, Apache Spark, avro, big data, csv, data mining, file format, parquet, performance tests, scala, кто читает теги?, сжатие данных, хранение данных

Плохой пример хорошего теста

Примечание переводчика:
Изначально статья задумывалась как вольный перевод текста Дона Дрейка (@dondrake) для Cloudera Engineering Blog об опыте сравнения Apache Avro и Apache Parquet при использовании Apache Spark. Однако в процессе перевода я углубился в детали и нашел в тестах массу спорных моментов. Я добавил к статье подзаголовок, а текст снабдил комментариями со злорадным указанием неточностей.

В последнее время в курилках часто возникали дискуссии на тему сравнения производительности различных форматов хранения данных в Apache Hadoop — включая CSV, JSON, Apache Avro и Apache Parquet. Большинство участников сразу отметают текстовые форматы как очевидных аутсайдеров, оставляя главную интригу состязанию между Avro и Parquet.

Господствующие мнения представляли собой неподтвержденные слухи о том, что один формат выглядит "лучше" при работе со всем датасетом, а второй "лучше" справляется с запросами к подмножеству столбцов.

Как любой уважающий себя инженер, я подумал, что было бы неплохо провести полноценные performance-тесты, чтобы наконец проверить, на чьей стороне правда. Результат сравнения — под катом.

Apache Parquet LogoЧитать полностью »

в 6:43, , рубрики: data mining, зарплата, кто читает теги?, открытые данные, статистика, экономика

Волею судеб, ко мне в руки попали данные о заработных платах, премиях и сверхурочных множества госслужащих одного крупного портового города, от мэра до сторожа бассейна. Не теряя ни минуты, я бросился вгрызаться в цифры. Нет ничего любопытнее, чем смотреть на чужие зарплаты, особенно, когда можно оправдать себя тем, что занимаешься Data Science!

Как только прошли первые приступы зависти, я осознал, что в датасете присутствует информация не только по крупным руководителям, но и по рядовым сотрудникам от самого низкого уровня. Получается, что по этим данным можно воочию наблюдать основные закономерности в распределении доходов в реальном мире. Пользуясь случаем, я приглашаю всех диванных экономистов в увлекательное турне в мир роскошных окладов и скупой статистики!

Сегодня мы поговорим про средние и медианные зарплаты, индекс социального неравенства Джини, отношения между богатыми и бедными (индекс Rich/Poor), непреодолимый разрыв доходов (эффект Матфея) и карьерный рост.

San-FranciscoЧитать полностью »

в 20:33, , рубрики: .net, I ASSUME DIRECT CONTROL, БЕЗНОГNМ, действительно не стоит, кто читает теги?, ЛЮДЕЙ ПРОЧИТАВШИХ СОЙДУТ С УМА, магия в PE, массивы, не читайте дальше, переводы, Программирование, снейп убьёт дамблдора, я предупреждал

Наверняка почти каждому, кто имел дело с C#, известна подобная конструкция:

int[] ints = new int[3] { 1,2,3 };//А если уж вдруг и не была известна, то отныне и впредь уж точно

Вполне логично было-бы ожидать превращение этой конструкции в нечто подобное:

int[] ints = new int[3]; 
ints[0] = 1; 
ints[1] = 2; 
ints[2] = 3;

Увы и ах, на деле орех гораздо более морщинист, чем кажется с первого взгляда, и имеются некоторые тонкости, на которые будет указано позже. А до тех пор, наденем ношеную «IL freak» майку (у кого имеется) и погрузимся в недра реализации.
Читать полностью »

в 9:46, , рубрики: Блог компании LG Electronics, кто читает теги?, монитор, мониторы, Мониторы и ТВ, подсветка, Работа с видео, экраны, метки: , , , , ,

Добрый день! Недавно к нам в офис приехали новые модели мониторов линейки 2014 года, о наиболее интересных моделях сегодня и поговорим. Изменений в них — масса, так что почитать точно есть о чём. Усаживайтесь поудобнее.

Новые мониторы LG линейки Ultrawide

Мы, как и любая другая крупная компания, получаем огромный поток фидбэков, отзывов, мнений как профессионалов, так и простых пользователей и стараемся учитывать критику при создании следующего поколения продуктов. В этом году изменения коснулись многих аспектов, затронули как линейку смартфонов, так и телевизоров (о них и их новой системе Smart TV — буквально через пару дней), и, разумеется, не остались в стороне и герои сегодняшнего материала — мониторы.
Читать полностью »

в 16:37, , рубрики: acronis, BaaS, backup, backup as a service, service, Блог компании Acronis, Inc, бэкап, бэкап как сервис, бэкап как услуга, ит-инфраструктура, кто читает теги?, партнерство, резервное копирование, услуги, метки: , , , , , , , , , , ,

Добрый день! Меня зовут Рустам Мизов, я директор по продуктам компании Acronis, и я хочу рассказать о нашем новом продукте. Сегодня все больше и больше российских компаний сталкиваются с проблемами защиты своих быстрорастущих данных / систем. В условиях, когда им не хватает ресурсов для защиты важной информации, на помощь приходят другие компании в лице сервис-провайдеров. В общем, конечно, сервис-провайдеры могут помочь практически в любой области вашей профессиональной деятельности, но в данном случае мы говорим о резервном копировании и восстановлении информации.
Rdq6ytJA3.jpg

С текущим уровнем развития малого и среднего бизнеса в РФ в сфере надёжного бэкапа образовался большой перекос в сторону спроса: рынок большой, а предоставлять свои услуги практически некому. Судите сами, прямые продажи  backup software компаниям, в которых нет IT-экспертизы (в качестве примера может подойти небольшая бухгалтерская контора) не работают или работают плохо. Грамотно настроить и обслуживать бэкап у них не хватит времени или квалификации имеющегося персонала, а нанимать специалиста для регулярной работы… в общем, либо работоспособность решения, либо стоимость владения. Следуя за подобными размышлениями, рано или поздно любой ударит себя ладонью в лоб и скажет, что вместо Решения надо покупать Услугу. И именно здесь начинается самое интересное.
Читать полностью »

в 10:01, , рубрики: .net, nosql, ravendb, кто читает теги?, метки: , ,

Доброго всем времени суток. Я буду говорить о RavenDB. Для тех, кто не знает, что это, посмотреть можно тут. В дальнейшем я предполагаю, что Вы знаете, о чем идет речь.
Читать полностью »

в 16:26, , рубрики: Augmented reality, дополненная реальность, кто читает теги?, Софт, юмор, метки: , , ,

Интерактивные игры с дополненной реальностью. Часть #1. Вводная.

Доброго времени суток, уважаемые читатели! Предлагаю вместе создать ряд топиков-семинаров, информация в которых будет дополняться по мере обсуждения заданной в нём темы. Начнём.

Тема дополненной реальности (augmented reality, AR, далее по тексту буду часто сокращать как ДР, а иногда буду применять термин «расширенная реальность») затрагивалась на Хабре уже не раз, но, так как тема очень обширная, относительно неё сказать можно ещё очень много, не смотря на то что начать писать про это я хотел ещё в 2008 году.
Вначале попробую скомпоновать имеющуюся информацию. Так же, в первых частях, мне бы хотелось порассуждать о возможности применения ДР в реальном времени для интерактивных развлечений, в том числе и игр, решения некоторых практических задач, а так же для ориентирования как в условиях города, так и на природе, в том числе пересечённой и лесистой местностях. Если всё пойдёт гладко, доберёмся и до практики.

Интерактивные игры с дополненной реальностью. Часть #1. Вводная. Близко к теме

В водной части я постараюсь объяснить некоторые термины, которые важны для понимания того, чем же всё-таки является ДР, а так же вынесу на суд общественности некоторые свои личные суждения, возможно и весьма спорные. Здесь же будут частично затронуты некоторые вопросы связанные с распознаванием образов и оборудованием. Так же мы попробуем разобраться что из себя представляет ДР сейчас и попробуем представить как эти технологии могут развиваться в будущем.

Читать полностью »

Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js