В 2009 году китайская киберразведка на своей шкуре испытала мощь всевидящего ока Palantir. Аналитики из Information Warfare Monitor раскрыли крупные китайские разведывательные операции — Ghostnet и Shadow Network. (отчет)
Вместе с компанией Edison продолжаем расследование возможностей системы Palantir.
«Надеюсь, что немного осталось лет до того, как человеческий и вычислительные машины будут тесно связаны, а получившееся партнерство будет думать так, как человеческий никогда не сможет, и обрабатывать данные способами, недоступными известным нам машинам.» — Сказал Джозеф Ликлайдер 56 лет назад, стартанул кафедры информационных технологий в ведущих вузах Америки и начал строить ARPANET. — «Люди будут задавать цели, формулировать гипотезы, определять критерии и выполнять оценку. Компьютеры будут делать рутинную работу чтобы расчистить путь к открытиям в технических и научных областях».
«Взаимодополняемость человека и компьютера — не только глобальный факт. Это еще и путь к созданию успешного бизнеса. Я осознал это на собственном опыте, полученном в PayPal. В середине 2000-х наша компания, пережив крах пузыря доткомов, быстро росла, но нас тревожила одна серьезная проблема: из-за мошенничеств с кредитными картами мы теряли больше 10 миллионов долларов ежемесячно. Совершая сотни и даже тысячи переводов в минуту, мы не могли физически отслеживать каждый из них — никакая команда контролеров не в состоянии работать с подобной скоростью. Мы поступили так, как поступила бы на нашем месте любая команда инженеров: попытались найти автоматизированное решение.»
Сказал Питер Тиль и основал Palantir.
Под катом кейс о том, как с помощью инструмента финансовой аналитики можно вскрыть ботнет.
Кейс «вымышленный», но на скриншотах фигурируют данные 2009 года.
(За помощь с переводом спасибо Ворсину Алексею)
0:00 Это видео покажет как с помощью продукта Palantir для финансовой аналитики мы можем исследовать, нефинансовые данные структурированные во времени.
0:09 Если быть точным, то мы покажем разоблачение возможной ботнет-атаки, сделанное на основе анализа некоторого количества киберданных с помощью Palantir Finance и Palantir Goverment.
0:16 Данными будет вся информация о подключениях отклоненных маршрутизатором за четыре дня.
0:22 Мы увидим, как аналитик будет изучать данные и исследовать то, что выглядит подозрительно.
0:28 Мы начнем на очень общем уровне, над всей совокупностью объектов и будем добавлять фильтры по одному, спускаясь, таким образом, вниз, шаг за шагом.
0:35 Поле внизу будет показывать отфильтрованные объекты.
0:41 Чтобы начать, мы распределим данные об отклоненных подключениях по портам, на которые они направлены. Мы сделаем это, используя фильтр.
0:48 Существует много видов фильтров для исследования данных.
0:51 Мы можем фильтровать по свойствам данных, и для этого используем фильтры слева, в верхней части экрана.
0:54 По числовым значениям, используя гистограмму и прочие фильтры.
0:58 По свойствам, основанным на времени, с помощью фильтров timeline.
1:01 Мы хотим узнать, насколько много подключений было отклонено на всех портах назначения, так что мы добавим фильтр «по назначению порта».
1:10 Фильтр «гистограмма» показывает нам распределение по портам назначения.
1:14 По оси Х расположены разные группы портов, по оси Y мы видим сколько подключений зафиксировано в port bucket.
1:21 Гистограмма показывает нам несколько разных вещей: во-первых, мы видим, что почти все порты были задействованы.
1:27 Наибольшая концентрация активности, заметна в портах до 5000, что имеет смысл, так как этот отрезок включает в себя наиболее часто используемые порты, например AD порт для HTTP или порт 23 для Telnet.
1:37 Давайте посмотрим на самый большой столбец.
1:41 Глядя на поле внизу, мы видим что этот столбец относится к порту 1434, что имеет значение, так как этот порт используется для MS SQL, и он часто является мишенью для червя SQL slammer.
1:51 Порты с более высокой нумерацией реже используются в легитимных целях, так что мы исследуем один из этих сегментов портов.
1:56 Мы можем кликнуть на сегмент портов, чтобы отфильтровать результаты по объектам из этого сегмента.
2:00 Этот сегмент может содержать несколько портов, но нам интересен только один, наиболее часто задействованный.
2:07 Мы можем использовать «увеличение» (Zoom) – одну из функций выбора в гистограмме.
2:09 Увеличив, мы видим, что порт 18100 ответственнен почти за все подключения.
2:15 Мы выделим этот порт, чтобы исследовать подключения, адресованные к нему.
2:20 Давайте посмотрим как эти подключения распределены по IP адресу.
2:25 Мы можем добавить фильтр «категория» (category), чтобы увидеть все IP адреса, являющиеся целевыми для этого сегмента (портов).
2:30 Мы видим, что почти все подключения адресованы одному IP.
2:33 Мы выделим этот адрес, чтобы увидеть только связанные с ним подключения.
2:37 Теперь мы исследуем эти подключения по времени их появления.
2:41 Мы сделаем это, добавив фильтр «время подключения» (connection time).
2:45 Мы можем увидеть, что вся масса подключений произошла в течение десяти часов, и количество подключений нарастало, достигло пика и со временем сошло на нет.
2:53 Это интересный пример, мы вернемся к нему позже.
2:56 Чтобы получить лучшее представление о данных, давайте исследуем источники этих подключений. Особенно, мы хотим увидеть такие характеристики подключений, как IP адрес и порт источника по времени подключения.
3:07 Мы можем исследовать это с помощью фильтра «диаграмма рассеивания» (scatterplot).
3:12 За ось X мы возьмем время, за ось Y – порт источника подключения.
3:20 Мы можем использовать цвета как третью ось, значением будет IP адрес источника подключения.
3:31 Это означает, что одни и те же IP адреса источников будут выделяться одним цветом.
3:37 Мы можем увидеть здесь кое-что интересное: некоторые порты были целевыми только для небольшого количества IP адресов, что мы можем увидеть по точкам схожего цвета и расположенным только по горизонтали.
3:47 Ряд других портов, похоже, являлся целью для всего множества IP адресов.
3:52 Мы так же можем увидеть несколько диагональных оранжевых полос, давайте изучим их подробнее.
4:00 То, что полосы диагональны, означает, что номер порта источника подключения постоянно увеличивался.
4:06 То, что полосы близки по цвету означает, что подключение приходило со схожих IP адресов.
4:09 Давайте посмотрим, сможем ли мы сконцентрироваться на них.
4:13 Для начала, выберем полоску. Как только мы выбрали несколько номеров из полосы, мы можем добавить фильтр по IP адресу источника подключения.
4:23 И мы видим, что все эти подключения пришли с одного IP, чего я и ожидал по цвету.
4:29 Мы можем выделить этот IP и поместить этот фильтр поверх другого, чтобы уточнить результаты диаграммы рассеивания.
4:35 Мы можем свернуть фильтр по категориям и увидеть диаграмму рассеивания только по этому IP адресу.
4:41 Мы видим, что этот IP адрес, несомненно, перенацеливается на разные порты отправки, с течением времени. Это классическое поведение при сканировании портов.
4:50 Эта работа вскрыла подозрительную активность: много разных IP циклично и через множество портов были нацелены на подключение к одному IP и одному порту за короткий промежуток времени.
5:02 Теперь мы используем Palantir Goverment, чтобы проанализировать эти данные во времени и по географическому признаку.
5:06 Мы создали фильтр, чтобы уплотнить подмножество данных, которые мы нашли интересными с помощью Palantir Finance. Параметрами фильтра стали объекты «подключение», нацеленные на IP адрес 25.134.141.209 и порт 18100.
5:20 Результаты фильтра появились на графе.
5:25 Мы можем открыть timeline и увидеть, что она схожа с той, что мы видели в Palantir Finance.
5:30 Теперь мы перетащим эти объекты на карту, чтобы увидеть расположение IP адресов этих подключений.
5:37 Тепловая карта с помощью цвета помогает увидеть плотность подключений.
5:42 Мы видим, что наибольшая плотность в Китае.
5:47 С помощью time line мы можем увидеть, как события развивались.
5:51 Мы создаем окошко времени и двигаем его, чтобы увидеть как реагирует тепловая карта.
5:57 Мы видим, что подключения начались в Китае, затем распространились на Японию и Индонезию, затем мы видим области в Южной Америке, Европе и Австралии.
6:11 Наконец, когда темп подключений сходит на нет, они снова сконцентрированы в Китае и Индонезии.
6:23 Эта timeline и схема активации довольно ясно указывает на ботнет атаку. Когда атака начинается, и все большее число компьютеров вовлекается в неё, число подключений возрастает до пика, затем постепенно снижается, так как каждый компьютер пытается выполнить разное количество подключений или подключается с разной скоростью.
6:40 За эту рабочую сессию мы использовали Palantir Finance, чтобы исследовать большой объем данных, и успешно свели его к подмножеству данных, с помощью фильтров.
6:49 Мы смогли увидеть несколько характеристик данных и выявили подозрительную активность.
6:56 Результатах работы в Palantir Finance мы открыли в Palantir Goverment, который дал возможность провести географический и временной анализ, что дало возможность визуализировать то, как события развивались.
7:05 В конечном счете, наш анализ завершился раскрытием активности, которая с высокой долей вероятности является ботнет атакой.
7:11 Те же техники, что мы использовали при раскрытии характерных черт ботнет атаки из большого объема данных о подключении, может быть использован для выявления прочей злонамеренной активности в сети, включая narrow-не-разбери-что, извлечение данных, атаки с использованием методов социальной инженерии, и многое другое.
7:26 Все это: комбинированное предложение Palantir Cyber, — готовое решение для борьбы с наиболее обременительными задачами в сети, встающими перед правительственными и коммерческими учреждениями.
Еще про Palantir:
- Palantir и отмывание денег
- Palantir: торговля оружием и распространение пандемии
- Palantir, мафия PayPal, спецслужбы, мировое правительство
- Palantir 101. Что позволено знать простым смертным о второй по крутоcти частной компании в Кремниевой Долине
Вместе с компанией Edison продолжаем весенний марафон публикаций.
Я постараюсь докопаться до первоисточников IT-технологий, разобраться, как мыслили и какие концепции были в головах у первопроходцев, о чем они мечтали, каким видели мир будущего. Для чего задумывались «компьютер», «сеть», «гипертекст», «усилители интеллекта», «система коллективного решения задач», какой смысл они вкладывали в эти понятия, какими инструментами хотели добиться результата.
Надеюсь, что эти материалы послужат вдохновением для тех, кто задается вопросом, как перейти «от Нуля к Единице» (создать что-то, чего раньше и в помине не было). Хочется, чтобы IT и «программирование» перестали быть просто «кодингом ради бабла», и напомнить, что они задумывались как рычаг, чтобы изменить методы ведения войны образование, способ совместной деятельности, и коммуникации, как попытка решить мировые проблемы и ответить на вызовы, вставшие перед человечеством. Как-то так.
0 марта. Сеймур Пейперт
1 марта. Xerox Alto
2 марта «Позвоните Джейк». История NIC и RFC
3 марта Грэйс «бабуля COBOL» Хоппер
4 марта Маргарет Гамильтон: «Пацаны, я вас на Луну отправлю»
5 марта Хеди Ламарр. И в кино обнаженной сняться и во врага торпедой пульнуть
7 марта Великолепная шестерка: девушки, которые термоядерный взрыв рассчитывали
8 марта «Видеоигры, я ваш отец!»
9 марта С днём рождения, Джеф Раскин
14 марта Джозеф «Lick» Ликлайдер: «Интергалактическая компьютерная сеть» и «Симбиоз человека и компьютера»
15 марта Вэнивар Буш: «Как мы можем мыслить» (As We May Think)
16 марта С днем рождения, Ричард Столлман
21 марта Дуглас Энгельбарт: «The Mother of All Demos». Часть 1
Автор: Edison
