Рубрика «данные» - 10

В апреле 2017 года во Франции запущена национальная система данных о здоровье, объединяющая данные о здоровье пациентов из различных источников (« Système national des données de santé » — SNDS).

Система является уникальной в Европе. Она объединяет в себе уже существующие базы данных страховых компаний, больниц, информацию о смертельных случаях и информацию об инвалидности. Эти объединенные данные предполагается использовать для проведения медицинских исследований на основе больших данных и в отношении длящихся заболеваний.

Содержание системы. В систему включены данные о Читать полностью »

image

Сегодня традиционно отмечается День бэкапа. Но однажды он исчезнет. К тому времени вся информация до последнего байта будет резервироваться автоматически. Возможно, тогда изменятся и способы бэкапа. Пока мы только на пути к этому светлому будущему и всячески приближаем его наступление: недавно мы запустили Icebox и Hotbox на базе Облака для бизнеса. Icebox — это хранилище для холодных данных (бэкапов, логов и прочих редко используемых, но ценных вещей). И да, там есть WebDAV. Hotbox — это хранилище для горячих данных (аналог Амазон S3), оно создано для тех, кому нужно не только хранить большие объемы данных, но и часто запрашивать их.

Технологии хранения информации не остановились в развитии — нас ждут необычные хранилища, создаваемые прямо сейчас в научных лабораториях. Облака никуда не исчезнут, вот только информация будет храниться совсем на других носителях.

Читать полностью »

Видовое разнообразие данных - 1

Термин «большие данные» давно уже звучит привычно, и многие даже понимают, что это такое на самом деле и как его использовать. В то же время, специалисты по анализу данных придумали множество других градаций собираемой информации, в зависимости от размера, востребованности, актуальности и так далее. Удивительно, но данные могут быть «быстрыми», «горячими», «длинными» и «медленными», даже «грязными». Хотя весь этот аналитический зоопарк и не помог многочисленным аналитикам правильно предсказать решение британцев выйти из ЕС и победу Трампа.
Читать полностью »

image

Ранее я уже публиковал статью о том, как генерировать фиктивные данные при помощи Elizabeth — библиотеки для языка программирования Python. Статья, которую вы читаете является продолжением предыдущей, потому я не буду приводить основ работы с библиотекой. Если вы пропустили статью, поленились прочитать или просто не захотели, то, вероятно, захотите сейчас, ибо эта статья подразумевает, что читатель уже знаком с основами библиотеки. В этой части статьи я буду говорить о том, каким образом организовывать генерацию фиктивных данных в собственных приложениях, расскажу о нескольких, на мой взгляд, полезных особенностях библиотеки.

Читать полностью »

Исследователи из MIT научили нейронные сети аргументировать свои решения - 1

В последнее время нейросети показывали себя прекрасно во многих прикладных задачах. Они искали закономерности в данных, которые использовались для классификации и прогнозирования. Нейросети с кажущейся легкостью распознавали объекты в цифровых изображениях или, «прочитав» отрывок текста, резюмировали его тему. Однако никто не мог рассказать, какие преобразования проходили вводимые данные для получения того или иного решения. Даже авторы сетей владели данными на входе и информацией на выходе. И если рассматривать визуальные данные, то иногда даже можно автоматизировать опыты по выяснению, на какие составляющие изображений реагирует нейросеть. А с системами обработки текста процесс более сложный. В чем сложность понимания человеческого языка машиной вы можете прочитать ниже.

В лаборатории CSAIL (лаборатории информатики и искусственного интеллекта) Массачусетского технологического института исследователи нейросетей сделали так, что теперь «виртуальный мозг» в дополнение к решению выдает и его обоснование. Они обучали два модуля одной нейросети одновременно. Данными для обучения были текстовые отрывки. Результаты порадовали: компьютер думал, как и человек, в 95% случаев. И все же, прежде, чем запустить новый метод нейросетей в активное пользование, потребуется дополнительная настройка и доработка.

Почему картинки обрабатывать легче, чем текст? Можно ли будет беспилотным автомобилям ездить свободно, позволительно ли заменять живого доктора запрограммированным интеллектом, внутри которого бессчетное количество нейронов? Приближает ли это нас к сознательным машинам в реальной жизни? Компьютерные модели нейронных сетей ведут себя так же, как и человеческий мозг, но им пока не разрешали принимать решения, затрагивающие жизни людей. Чтобы изменить это, специалистам понадобилось время и теперь мы можем узнать, как нейросеть приходит к итоговым значениям.
Читать полностью »

Дизайн города, основанный на данных - 1

Совсем недавно в центре Москвы запустилась новая сеть наземного транспорта «Магистраль». Стоит сразу оговориться — наземный транспорт присутствовал в центральной части города и раньше, только организация маршрутной сети была неудобной и неэффективной. Так что проблема реформы наземного транспорта в центре Москвы назревала давно.

Летом этого года Департамент транспорта Москвы собрал рабочую группу, в которую вошло множество российских и зарубежных экспертов, включая известного транспортного планировщика Джаретта Уокера, который уже успел перекроить наземный транспорт в нескольких десятках городов по всему миру, и компанию Mobility in Chain. Команде Urbica удалось принять участие в той части работы, которая относилась к анализу и визуализации данных.

Читать полностью »

Криптовалюты совершили переворот в мире финансов и считается, что во многом это заслуга технологии блокчейн, которую напрямую ассоциируют с Биткойном. И, таким образом, сам блокчейн померк в свете славы собственного "потомка". В этой статье я постараюсь на пальцах объяснить одну из самых значимых компьютерных технологий и положить конец заблуждению, что блокчейн – это криптовалюта или финансовая база данных. Забегая вперед скажу, что вы вероятнее всего уже работаете с блокчейном, даже, если никогда не сталкивались с криптовалютами.

Для того чтобы понять почему блокчейн не равняется криптовалюте достаточно хотя бы того что блокчейн был изобретен и использовался раньше криптовалют. Но цель статьи в том чтобы дать понимание самой технологии, а для этого нужно выделить общие признаки для всех имеющихся валют: каждая неизменно включает в себя три элемента – это цепочка блоков (собственно блокчейн), цифровая подпись и CRDT. Рассмотрим их подробнее.

Читать полностью »

imageАвтор статьи противопоставляет централизованные платформы масштабных корпораций цифровым решениям, находящимся под контролем онлайн-сообщества. Концепция «Децентрализованного веба» или «Веба 3.0» — не футуристическая инициатива, а уже наступившее будущее. В этом контексте вопрос совместного существования централизованных и децентрализованных цифровых экосистем становится особенно актуальным. Ниже текст оригинального материала, переведенного командой платежного блокчейн-сервиса Wirex.

Недавно Google запустил приложение для видеозвонков. Все верно, еще одно. Google Hangouts был отдан на откуп корпоративным клиентам, тогда как новый Google Due должен заменить его, став следующей крутой темой в этом сегменте.

Поэтому теперь у нас есть Skype от Microsoft, Facetime от Apple и Google с его Duo. То есть сейчас у каждой большой компании есть свой вариант реализации одной и той же идеи, и все они работают сами по себе, отдельно от других. Но как хороши бы ни были эти приложения, сложившаяся сегодня ситуация отличается от наших представлений о будущем Интернета, которые появились еще в те далекие и полные мечтаний годы, когда Интернет был в начале своего пути.
Читать полностью »

Вы когда-нибудь задумывались, почему вообще возможно исправить ошибки и опечатки в текстовых данных, например, в адресах и именах? Почему мы думаем, что «Терская» — это, скорее всего, Тверская улица, а не какая-нибудь фантастическая улица Василиятёрского? А вдруг это Комсомольский проспект, в котором сделано двадцать опечаток?

Наш жизненный опыт говорит о том, что упорядоченные низкоэнтропийные состояния менее вероятны, чем высокоэнтропийные неупорядоченные. То есть «Терская» скорее Тверская с одной опечаткой, чем Комсомольский проспект с двадцатью опечатками. Однако в жизни возникает много спорных случаев, где вероятности не так однозначны.
Почему мы в «Дадате» тратим 2 млн долларов в год на 99,99% точность обработки данных - 1
Читать полностью »

Алексей Игошин (HomeApp) меняет правила игры на российском рынке недвижимости с помощью информационных технологий - 1 Алексей Игошин смог решить не только собственный квартирный вопрос, но и начал помогать другим. Он основал интернет-сервис, работающий в интересах арендаторов и покупателей жилья. Этим, по его мнению, HomeApp принципиально отличается от других сервисов и офлайн-агентств недвижимости.

При разработке проекта Алексей ориентировался на прогрессивный опыт зарубежных коллег как в техническом плане, так и в вопросах выбора бизнес-модели.

За год команда разработала фронтенд, а также смогла реализовать непростые алгоритмы обработки больших массивов данных, в том числе алгоритмы искусственного интеллекта. Основатель проекта считает, что команда взяла хороший темп и «делает все правильно».Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js