Рубрика «Карта Интернета»

в 15:54, , рубрики: визуализация данных, Карта Интернета, Сетевые технологии, Статистика в IT

Поисковик Shodan ориентирован не на поиск информации в интернете, а на поиск информации о самой глобальной сети, точнее — об устройствах, подключённых к ней. С помощью Shodan можно искать веб-камеры, серверы, роутеры и любую другую технику, имеющую выход в интернет, вплоть до систем уапрвления промышленным оборудованием, электростанциями или светофорами — причём многие из этих систем имеют весьма слабую защиту от вторжений (или не имеют её вообще)

Недавно владелец Shodan Джон Мэзерли решил составить карту всех устройств, имеющих IPv4-адрес в Интернете. На то, чтобы пропинговать все доступные устройства с прямым выходом в интернет ушло чуть меньше пяти часов. Обработка данных и рендеринг карты заняли двенадцать часов.

Владелец поисковика Shodan пропинговал весь интернет и составил его карту
Читать полностью »

в 9:35, , рубрики: amazon, Amazon Web Services, AWS, CDN, Google Maps, Maps API, высокая производительность, Карта Интернета, метки: , , , ,

Привет всем!

Вы наверное уже слышали о Карте Интернета. Если нет, то посмотреть на нее можно здесь, а почитать о ней можно в моем предыдущем посте.

В этой статье я бы хотел рассказать, как устроен сайт Карты Интернета, какие технологии обеспечивают его нормальное функционирование и какие шаги пришлось предпринять, чтобы выдержать большой поток посетителей желающих взглянуть на карту.

Работоспособность Карты Интернета поддерживается современными технологиями от интернет-гигантов: отображение карты обеспечивает движок Google Maps от компании Google, обработка веб-запросов осуществляется технологиями .net компании Майкрософт, а хостинг и доставку контента осуществляет платформа Amazon Web Services от компании Амазон. Все три компонента жизненно необходимы для нормальной работы карты.

Далее большая простыня про внутреннюю архитектуру карты: в основном дифирамбы AWS, также будут затронуты вопросы производительности и цены хостинга. Если не боитесь — добро пожаловать под кат.

Читать полностью »

в 8:21, , рубрики: data mining, Google Maps, Maps API, Алгоритмы, высокопроизводительные вычисления, Карта Интернета, кластеризация, метки: , , ,

Привет всем!

Хочу представить вам Карту Интернета или результат кластеризации более чем 350 тысяч сайтов в соответствии с переходами пользователей между ними. Размер круга определяется посещаемостью сайта, цвет – национальной принадлежностью, а положение на карте – его связями с другими сайтами. Если два сайта имеют стабильный поток пользователей между ними, то они будут «стараться» расположиться ближе друг к другу. После завершения работы алгоритма, на карте можно наблюдать скопления сайтов (кластеры) объединенные общими пользователями.

image

Например, если ввести в поиск habrahabr.ru, то можно увидеть, что dirty.ru и leprosorium.ru в том же «созвездии», а еще подальше livejournal.ru. Это говорит о том, что тот, кто сейчас читает этот текст, также с высокой вероятностью посещает эти сайты (относительно усредненного пользователя Рунета конечно).

Еще более интересный пример кластеризации можно увидеть внизу карты, между фиолетовой Японией и желтоватой Бразилией: там расположилась целая порнострана по размерам сопоставимая со всем Евронетом. Интересно, что будучи достаточно компетентным в рассматриваемом вопросе, внутри большого порнокластера можно различить тематические подкластеры меньшего размера.

Тем, кого интересует краткое техническое описание – добро пожаловать под кат
Читать полностью »

Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js