Спутники НАСА для топографии поверхности океана и других водных территорий (SWOT) первыми начнут присылать данные в облако Earthdata
Не секрет, что современные научные приборы генерируют огромные объёмы данных. Например, Большой адронный коллайдер выдавал 1 петабайт в секунду, а крупнейший радиотелескоп MeerKAT — до 1 петабайта сжатых данных в сутки.
У НАСА объёмы скромнее, но тоже значительные. Например, система Earth Science Data and Information System (ESDIS) предусматривает сбор данных с десятка миссий по изучению Земли — около 100 терабайт в день. По плану, в ближайшие несколько лет объём хранения вырастет с 32 до 247 петабайт.
Ради экономии НАСА планировало перенести данных со своих дата-центров Distributed Active Archive Centers (DAAC) в облако Amazon Web Services. Но в своих финансовых расчётах агентство не учло важный нюанс, который сильно снижает экономическую привлекательность облачного хранилища. А именно, стоимость скачивания данных.
На сегодня в системе НАСА 12 дата-центров. Все они находятся на территории США.
Дата-центры являются частью информационной системы Earth Observing System Data and Information System (EOSDIS).
НАСА решило постепенно отказаться от управления этой инфраструктурой, ибо это непрофильная деятельность для космического агентства. Поэтому с 2019 года организован перенос данных в облако AWS, пишет The Register. Миграция происходит в рамках проекта, получившего название облако Earthdata.
Первый этап перехода от локального хранения данных к облачному был запланирован на I квартал 2020 года, затем остальные. НАСА планирует, что для полного отказа от локального хранения данных потребуется несколько лет аккуратного переноса всех систем.
По прогнозу, около 15-ти предстоящих миссий, таких как NASA-ISRO Synthetic Aperture Radar (NISAR) и спутники Surface Water and Ocean Topography (SWOT), будут генерировать более 100 терабайт данных в день. Это две первые миссии, которые миссиями, которые начнут сбрасывать данные непосредственно в облако Earthdata.
Таким образом, агентство прогнозирует, что к 2025 году у него будет 247 петабайт данных для обработки. НАСА считает переход в облако отличной идеей. В документации по миграции говорится: «Облако предоставит более широкие возможности для быстрого доступа и обработки больших объёмов данных, что позволит проводить новые виды исследований. Данные, которые ранее были географически распределены, теперь будут доступны через облако, экономя время и ресурсы».
Проблема в том, что НАСА не совсем реалистично оценивает будущие расходы на облачный . В аудиторском отчёте за март 2020 года от генерального инспектора НАСА отмечается отсутствие должного моделирования расходов на скачивание данных из облака.
«В частности, агентство сталкивается с возможностью существенного увеличения затрат на вывод данных из облака [которые сегодня отсутствуют]», — сказано в отчёте генерального инспектора. «Когда конечные пользователи загружают данные из облака Earthdata, плата за каждую передачу информации будет взиматься с агентства, а не пользователей. В конечном счете, ESDIS будет нести расходы и на облачный , включая расходы на вывод данных, и на эксплуатацию двенадцати своих дата-центров DAAC», — делают вывод аудиторы.
По их мнению, расходы могут оказаться гораздо выше, чем запланировано. А если NASA введёт ограничения на объём исходящих данных, то это ударит по научному сообществу: «В результате внедрение облачных технологий может увеличить затраты и бремя управления».
Аудиторы рекомендуют дождаться, когда проекты NISAR и SWOT заработают и пришлют достаточно данных — и сразу провести независимый анализ, чтобы определить долгосрочный финансовый смысл миграции со своих дата-центров в облако.
Автор: ITSumma
