Есть компания, которая строит месторождение или нефтебуровую платформу. У них есть отдельная локальная сеть под видеонаблюдение, отдельно под АСУ ТП, отдельно для доступа в Интернет, отдельно локальная сеть (по сути) для телефонии.
Это как если бы мы в такой корпоративной (производственной) сети вместо файрволлов использовали физическое разграничение сетей. В результате на многих предприятиях по десятку однородных решений. Владельцы переплачивают деньги за дублирующийся функционал.
Вот так выглядит «единая» локальная сеть. Гораздо эффективнее сделать одну сеть, где всё это объединяется. И вторую, чтобы был резерв. Мы сделали, и сейчас расскажу, что это дало.
Как сделать лучше
Для ряда добывающих компаний мы делали тяжёлые комплексные проекты. Там десятки вендоров и сотни разных решений, всё это переплетено между собой. Есть оптика, радиорелейка, есть вайфай, радиодоступ по другим технологиям, есть индустриальные эзернеты, обычные телефонные станции, датчики IoT для АСУ ТП и многое другое.
Ни у кого нет стабильного решения по фен-шую: страшный зоопарк из легаси даёт о себе знать. Ещё в этой сфере часто случаются слияния-поглощения и получается, что два разных зоопарка объединяются. Получается зоопарк в квадрате.
Наша задача — убедить заказчика, что объединение сетей безопасно. Это главный стопор прогресса, например, в нефтяной сфере: здесь, как нигде, используется принцип «работает — не трогай».
Во-первых, АСУ ТП-часть всегда использует другие коммутаторы, нежели остальные части сети. Это серьёзное удорожание, но это исторически правильно. Предполагается, что АСУ ТП будет работать в любых условиях, поскольку как минимум формально она отвязана от Интернета.
При этом физическая изоляция сетей не гарантирует изоляцию от зловредов: инженеры регулярно подключаются к оборудованию внутреннего сегмента заражёнными компьютерами из внешнего. Защита сетей АСУ ТП — это критично, и к ней всё равно надо принимать такие же меры, как если бы она просто торчала наружу.
Видеонаблюдение: считается, что нет необходимости защищать его так, как АСУ-сегмент. Да, либо сеть строится отдельно и на аналоге (очень дорого), либо считается, что она условно защищена. В моей практике можно отвернуть камеру и получить доступ к сети. Либо подменить картинку, и никто в ближайшие полгода до конца зимы не узнает. Проверяется доступность камер и наличие картинки. Многие чувствуют себя так в безопасности: картинка может не меняться 100 лет. Тундра и тундра. Надо объезжать и смотреть, что и где.
В итоге мы ответили на все вопросы безопасников. Давайте перейдём к деталям.
Пример
Первый вариант — это когда только радиорелейка. Она хороша, но если пошли сильные осадки (дождь, снег) или начался сильный ветер, то начинаются сбои. Сильный ветер может развернуть антенну, дождь и снег экранируют и создают помехи. Если проходят всякие ледяные дожди или что-то ещё, то наледь может деюстрировать антенну. Радиорелейная связь будет хорошо работать в идеальных погодных условиях. В плохих погодных условиях (а в России добыча, как правило, происходит в суровых погодных условиях) надо дублировать.
С нашей точки зрения, оптимальный вариант — это оптика + радиорелейка. Но оптика тоже может порваться, её рвут чаще, чем может показаться. Вне зависимости от того, закапывают её или вешают на опоры. И во время одного ремонта трубы могут порвать в десятках мест.
Результат
В нашем примере есть нефтепровод — примерно сотня километров.
Мы объединили сети в единый комплекс, как на схеме выше. Отказоустойчивость достигается через радиорелейные мосты, есть резервирование телефонии через транкинговую сеть (интегрируется через рации для вызова абонентов телефонной сети).
Результат такой:
- В два раза снизили кабельную ёмкость волокна;
- В три раза снизили активное оборудование;
- Каждый объект (узел) в три раза меньше потребляет питания.
Теперь про безопасность. Вот, например, IP-камера, частый узел проникновения зловреда:
Как разграничивается трафик? Сейчас я нарезал VLAN'ы. Условно АСУ ТП имеет высочайший приоритет, затем видео и телефония, остальной трафик — дальше.
Почему набор VLAN безопасен в сравнении со старым добрым физическим разграничением?
Когда ты делишь физически, у тебя под каждую задачу своя железка. Это абсолютно безопасно. Если злоумышленники попали на одну железку, они не попадут на соседнюю. Нужно добраться до сегмента управления. Есть общая точка взлома — это менеджмент-сеть. Соответственно, если есть единая точка отказа, то какая разница, на одной железке виланы нарезаны или всё крутится на разных. Пользователи изолированы, они не видят юзеров из соседних виланов. Вероятностная характеристика каких-то проблем в виртуальных сетях ненамного выше такой же оценки в физических разделённых сетях. Коммутаторы можно сделать изолированными, кластеры коммутаторов, оптические линки будут дублированы. Таким образом, вероятность отказа минимизируется.
До последнего времени безопасность настаивала на том, чтобы сети видеонаблюдения, АСУ ТП и пр. были на физически выделенных сетях, это определённая точка зрения. И здравый смысл в этом определённо есть. Но это дорого. Можно сильно снизить цену за счёт очень малого снижения отказоустойчивости.
Вторая причина в том, что, если есть три разные сети, их крайне редко дублируют все три. Мы предложили вариант совместить отказоустойчивые коммутаторы, отказоустойчивые ЛВС — ключевые роли тут задублированы, но, соответственно, все сети мы поделили виртуально.
Сделали расчёт и показали, что на самом деле такое решение где-то на треть дешевле. Можно минимизировать количество прокладываемой оптики, минимизировать время восстановления. Потому что, если у тебя порвали оптическое волокно, например 8-волоконное, у тебя время восстановления условно полчаса, если это 32-волоконное — сильно больше. Тоже сокращает издержки на обслуживание.
Каналы
Есть гарантированные полосы. Приходит 10G, она делится на куски по гарантии и максимуму утилизации. Все эти расчёты индивидуальные.
Оптика в любом случае лежит на месторождении — например, в той же системе обнаружения протечек используют волоконно-оптический кабель. Когда меняется температура почвы с лежащим там волокном, становится понятно, что нефть вытекла. Поэтому проблем с коммутацией и узким каналом внутри локальной сети просто нет. Да, на меди или старых технологиях можно это построить, но это нерационально. Поэтому волокно — это данность.
Спутниковые каналы у них скорее дублирующие, для критичной телеметрии и того же АСУ ТП. Датчик сработал — сразу реакция, даже если вокруг война. Вот фейловер:
Оборудование
Вот примерно такой технологический шкаф установлен у заказчика. Для понимания.
Итог
В итоге мы можем собрать весь зоопарк в одно решение за счёт виртуального разграничения сетей. Это в два раза лучше по кабелю и в три раза лучше по зоопарку железа на узлах в количестве единиц. ИБ снижается незначительно, отказоустойчивость растёт за счёт полного дублирования ключевых узлов. Проще, быстрее и дешевле обслуживание.
Используются дорогие коммутаторы для АСУ ТП, через них трафик АСУ ТП идёт с высочайшим приоритетом. Потом отправляется остальное.
За объективно небольшой компромисс в безопасности можно получить существенное упрощение поддержки, унификацию решения и экономию по питанию и капитальным затратам.
Автор: AUkrainskiy
