Что значит радар погоды
Погодные радары: как они помогают предсказывать погоду?
У природы есть плохая погода, и мы в Toshiba в этом не сомневаемся. Но эффективно прогнозировать ненастья человечество научилось совсем недавно, и путь к этим достижениям лежал через личные трагедии, мировые войны и «партизанские ливни». Проводим краткий экскурс в историю метеорологии, рассказываем, как появились метеорадары и почему новейший погодный суперкомпьютер назвали именем древнейшего бога.
Недавно палеоклиматологи пришли к выводу, что древнее Аккадское государство (существовало оно около 4 тыс. лет назад) пришло в упадок из-за усиления в Месопотамии сезонных пылевых бурь (так называемых «шамалов»), нарушивших сельское хозяйство. И уже тогда человечество пыталось следить за погодой и предсказывать её. Но получалось не очень — бедные аккадцы.
Прорыв наступил только в XIX веке, ведь первый секрет успешного прогноза — наблюдение за погодой из разных географических точек одновременно. Впервые это стало возможным с появлением нового средства связи — телеграфа, который помог построить первую метеорологическую службу, которая не только наблюдала за погодой, но и предсказывала её (как умела). Речь о Департаменте метеорологии при британском правительстве. Его создателем в 1854 году стал офицер ВМФ Великобритании Роберт Фицрой, капитан корабля «Бигль», на котором Чарльз Дарвин совершил знаменитое кругосветное путешествие. За свою долгую карьеру Фицрой задокументировал огромное количество погодных наблюдений. Правда, деятельность нового органа ограничилась созданием карты ветров для капитанов флота, которую прогнозом, конечно, назвать было нельзя.
25 октября 1859 года у берегов Англии потерпело крушение пассажирское судно «Роял Чартер». Внезапный мощный шторм разбил его о скалы у западного побережья Англии, в результате чего погибли 456 человек. Крушение «Роял Чартер» в родных водах поразило Фицроя (интересно, как бы он отреагировал на историю «Титаника» спустя полвека). Глава Департамента метеорологии распорядился создать сеть из 24 метеостанций в крупных портах Англии, Дании, Голландии и Франции для предупреждения штормов. Помог в этом Фицрою недавно изобретённый телеграф, который передавал в штаб-квартиру погодные данные морзянкой.
Помимо этого, Фицрой приказал установить на всех кораблях королевского флота штормглассы — герметично запаянные колбы со смесью из воды, этанола, нитрата калия, хлорида аммония и камфоры. Жидкость в этом приборе реагирует на изменение погоды, к примеру, помутнение предвещает дождь, а прозрачность — ясную погоду.
Судя по высоко поднявшимся большим кристаллам, этот штормгласс обещает сильный мороз и стужу. Впрочем, дальнейший технический прогресс в метеорологии выбросил этот прибор на свалку истории, даже не оставив учёным времени на изучение принципа его действия. Источник: ReneBNRW / Wikimedia Commons
Вооружившись термометрами, барометрами, штормглассами, многолетней «биг датой» наблюдений, а также показаниями сети метеостанций, Роберт Фицрой начал публиковать прогнозы погоды на 1-2 дня вперёд. Первый такой прогноз появился в The Times в 1861 году.
Прогноз погоды на 1 августа 1861 года. В Лондоне ожидалась ясная погода, умеренный юго-западный ветер и 17 градусов тепла. Сбылся ли прогноз, мы не знаем. Источник: Official blog of the Met Office News Team
Первый синоптик быстро нажил себе врагов. Учёные критиковали его методы. Британская пресса смаковала неудачи. Владельцы рыболовного бизнеса готовились предъявить счёт за убытки, ведь рыбаки часто отказывались выходить в море, получая прогноз плохой погоды от Фицроя. К 1865 году уже немолодой контр-адмирал синоптик впал в депрессию, растратив почти все своё состояние на метеорологические исследования, и 30 апреля наложил на себя руки.
Прогнозы Фицроя не могли быть точными: метеостанций было мало, обработка данных велась вручную, а экстраполяция старых погодных наблюдений часто подводила. Но главным слабым местом его практики были погодные замеры на основе косвенных данных (температура, давление), тогда как для успешного прогноза необходимо непосредственное наблюдение за передвижением воздушных масс.
Прошёл ещё век, прежде чем человечество научилось этому. Как в случае со многими другими техническими решениями XX столетия, прогрессу помогла гонка вооружений.
На погодном фронте: как военные научились предсказывать погоду?
В 1904 году 22-летний германский инженер Кристиан Хюльсмайер презентовал в Кёльне загадочный прибор, который назывался «телемобилоскопом» (Telemobiloskop). Каждый раз, когда на определённом участке протекающего неподалёку Рейна проходил корабль, телемобилоскоп издавал звон. Этот прибор состоял из искрового радиопередатчика, подключённого к множеству антенн. Телемобилоскоп улавливал отражённые от крупных металлических объектов (кораблей) электромагнитные волны. Однако присутствовавшие на презентации представили ВМФ Германии тогда аппарат не оценили.
И очень зря, потому что уже в 1930-е гг. ученые США, Великобритании, Германии, Франции, СССР, Японии, Италии и Нидерландов практически одновременно начали разработку похожих приборов, основанных на трансляции радиосигналов и улавливании отраженного от различных объектов эха. Призваны они были выявлять на дальних дистанциях движение самолетов и кораблей потенциального противника. Принцип работы этих передатчиков был положен в основу и метеорадаров, работающих до сегодняшнего дня.
Антенна излучает радиоволны сверхвысокочастотного диапазона в виде кратковременных импульсов большой мощности. Излучение фокусируется в узкий радиолуч. Когда импульс наталкивается на своём пути на препятствие, часть его энергии рассеивается в том числе и по направлению к приёмнику, который обычно работает рядом с передатчиком на одной антенне. Радиоэхо слабее отправленного импульса и возвращается с задержкой. Разность в мощности и скорости этих импульсов и позволяет определить положение в пространстве, скорость, плотность и другие физические параметры препятствия, например, самолёта или грозового облака.
К началу Второй Мировой войны такие системы были созданы, и одна из них (американская) дала миру новое слово «радар» (образовано от аббревиатуры RADAR, Radio Detection And Ranging).
В 1941 году английские операторы впервые наблюдали на индикаторе радара засвеченные участки от ливневых осадков. Позже военные обратили внимание на радиошум, который исходил от туч, снегопадов и града. Эти данные начали использовать для уточнения погоды и координации лётчиков и моряков. А после войны часть военных радаров передали метеорологам для наблюдения за погодой. К примеру, в США военно-морские силы перестроили радар AN/APS-2, ранее использовавшийся для поиска германских подводных лодок, и отдали его в Бюро погоды США в 1946 году под названием WSR-1 (Weather Surveillance Radar).
Таким увидели американские метеорологи торнадо с помощью погодного радара WSR-3, а Hook Echo — это название наблюдаемого на радаре облачного образования, похожего на торнадо (hook по-английски — «петля»). Источник: Wikimedia Commons
В послевоенный период принцип работы погодных радаров уже не менялся, но усложнялось их устройство — для получения более точных данных о размере и количестве осадков, их распределении в атмосфере, скорости и направлении передвижения. Однако климат на планете постепенно меняется, и в некоторых регионах усиливаются самые разные разрушительные погодные явления, требующие новых методов прогнозирования.
Что такое «партизанские ураганы» и почему обычные радары с ними не справляются?
Для прогнозирования таких явлений два основных типа традиционных метеорадаров — многопараметрические и с фазированной антенной решёткой — не подходят.
Многопараметрические метеорологические радары имеют двойную поляризацию, то есть они могут одновременно передавать и принимать горизонтально и вертикально поляризованные волны. Это позволяет им эффективно отслеживать количество осадков вплоть до размеров капель дождя. Однако у такого радара есть и недостатки: его параболическая антенна (в форме тарелки) может передавать и принимать электромагнитные волны только в том направлении, к которому она обращена. Сигнал имеет форму тонкого луча, поэтому чтобы вычислить распределение осадков, нужно, словно прожектор, повернуть антенну вверх, а затем постепенно наклонять её к земле. Для наблюдения за распределением осадков вблизи уровня земли может потребоваться от одной до пяти минут, а для замера осадков в трёхмерном проекции более — пяти минут. Именно это не даёт быстро «вычислить» кучевую тучу, в которой прячется «партизанский ливень».
Первый вид радара излучает более мощный сигнал, а второй — более рассеянный. Источник: Toshiba Clip
В отличие от многопараметрических радаров, погодные радары с фазированной решёткой представляют собой плоские антенны, как правило, квадратной или многоугольной формы. Точнее говоря, они состоят из множества маленьких антенн, размещённых на плоскости (нечто похожее на фасеточный глаз насекомого). Его структура позволяет мгновенно изменять направление волн без необходимости перемещать антенну вверх или вниз. Этот вид радара позволяет излучать и принимать волны (от земли до уровня неба) практически непрерывно. Но его слабое место — вычисление количества осадков, ведь их сигнал более рассеянный.
Если многопараметрический радар хорошо замеряет количество осадков, то радар с фазированной решёткой лучше справляется с построением картины их распределения. Но чтобы обнаруживать «партизанский ураган» нужно было соединить эти два радара в одном.
Ужа с ежом: как в Toshiba соединили круг и квадрат?
Инженеры Toshiba в составе исследовательской группы Совета по науке, технологии и инновациям при правительстве Японии создали первый в мире многопараметрический радар с фазированной решёткой, то есть объединили два традиционных типа радаров в одно устройство. Оно имеет двойную поляризацию и может формировать пучок сигналов одновременно в десять направлений. Благодаря этому, такой радар способен всего за 30 секунд отыскать «партизанскую тучу» в радиусе 60 км (и за минуту — в радиусе 80 км).
Первый многопараметрический метеорологический радиолокатор с фазированной решёткой разместился на крыше Университета Саитама в декабре 2017 года. Источник: Toshiba Clip
Максимальная дальность охвата в 80 км позволяет одному радару контролировать погодную обстановку практически над всем столичным районом Токио. К примеру, в летнее время года радары смогут предупреждать о «партизанских ливнях» и помогать городским властям координировать передвижение туристов и горожан в случае неблагоприятной погоды.
Впоследствии в Японии может быть создана сеть из новых метеорадаров, которые покроют всю территорию страны. Однако чем больше инструментов исследования погоды, тем сложнее обрабатывать и интерпретировать получаемую информацию. Поэтому в будущем человечеству необходимо решить проблему создания глобальной системы контроля за погодными условиями на основе суперкомпьютеров. Похоже, прорыв в этой области подготовили наши коллеги из IBM.
Бог ясного дня: как будет предсказывать погоду новый суперкомпьютер?
В ноябре 2019 года компания IBM объявила о разработке глобальной системы высокоточного погодного прогнозирования GRAF (Global High-Resolution Atmospheric Forecasting System). Её основу составит суперкомпьютер DYEUS, построенный специально для управления виртуальной моделью глобальной погоды. Кстати, имя DYEUS («Дьеус») неслучайно — так звали верховного бога праиндоевропейского пантеона, который отвечал за ясное небо над головами наших предков 3-5 тыс. лет назад.
Метеорологические радиолокаторы
Автор: Маглипогода · Опубликовано 19.06.2019 · Обновлено 27.06.2021
Огромную роль в диагностике и прогнозировании конвективных явлений и процессов играют метеорологические радиолокаторы (МРЛ). Принцип действия метеолокатора основан на сравнении отправленного к облаку сигнала с исходным. Проще говоря, если речь идёт о грозовом облаке, то высокая отражаемость прямо указывает на интенсивные процессы в нём и соответственно, вероятность локализации ОЯП (опасных явлений погоды) в том месте возрастает.
Отражённый сигнал измеряется в коэффициентах dbZ (безразмерная логарифмическая величина сигнала). Наиболее современными локаторами являются доплеровские (ДМРЛ), принцип действия которых основан на эффекте Доплера (изменение параметров сигнала вследствие смещения объекта). Такие радары позволяют не только анализировать облачность и её структуру, но также определять скорость и направление смещения воздушных масс, облаков и отдельных элементов в самом облаке (как например, идентификация торнадо). В зависимости от полученной картинки на дисплее радара, можно выявлять некоторые особенности мощных конвективных штормов. Самые основные из них представлены ниже.
2. Если мы построим вертикальный профиль суперячейки, то на полученном разрезе увидим ещё одну особенность – ограниченная область слабого радиоэхо (bounded weak echo region – BWER, рис. 2). Частичное или полное отсутствие отражённого сигнала в нижней и средней тропосфере в этом месте связано с интенсивным восходящим потоком. Формирование BWER объясняется тем, что мощные потоки воздуха выносят частицы (капли, пыль) в более верхние слои, прежде, чем они увеличатся до таких размеров, когда станут видимыми на радаре. BWER обычно прослеживается на высотах от 3 до 10 км и имеет несколько км в поперечнике. Выше области BWER находится зона интенсивного радиоэха, называемая «Нависание» (Overhang), которая как бы нависает над «пустой» зоной.
3. Иногда на радаре можно увидеть ещё один элемент суперячейки – V-выемка (V-notch), рисунок 3. Отражаемость подобной формы указывает на расхождение основных потоков в грозовой системе вокруг одного мощного восходящего потока. Также иногда можно заметить «выемку притока» (Inflow notch) — вогнутое радиоэхо в области тёплого сектора мезоциклона.
4. Bow echo (эхо-лук), ДДС (дугообразная долгоживущая система) – дугообразное изображение на радаре, иногда наблюдаемое в структуре линейных гроз (на линиях шквала, либо как элемент внутри мезомасштабной конвективной системы – МКС). Прохождение такого шторма сопровождается почти всегда сильными шквалами, крупным градом, иногда возникают отдельные торнадо. Горизонтальные размеры ДДС составляют в пределах 50 – 200 км, а продолжительность существования может варьировать от 2 до 6 часов в среднем. На заключительном этапе существования, Bow-echo может эволюционировать в «comma echo» (эхо-запятая). Под действием силы Кориолиса, происходит развитие циклонического вихря (точка «С» на рисунке 4) с последующим ослаблением остальной части конвективной системы за счёт усиления в тех частях антициклонической циркуляции (применительно для Северного полушария).
Рисунок 4. Радарное изображение шторма по типу «лук эхо», а также процесс его эволюции с дальнейшим переходом в «comma echo».
5. Line echo wave pattern (LEWP) – линейное эхо волнообразной структуры. Достаточно редкий тип отражённого сигнала, который создаётся целым комплексом или системой связанных между собой ДДС (рис.5). По сути, это линия шквалов (squall line), в которой разные её части смещаются с различной скоростью, что формирует волновую структуру.
6. Иногда бывает, что от небольшой зоны с высокой отражаемостью отходит прямой луч с низкой отражаемостью в противоположную от радара сторону (см. рис.6) — это градовый шип (англ.: Hail spike или TBSS — three body scatter spike). Этот «шип» представляет собой ложный сигнал, являющийся следствием двукратного отражения (от градового очага к земле и обратно). Из-за этого, часть сигнала приходит с запаздыванием в виде чётко выраженного луча. И чем ярче будет этот луч, тем крупнее градины присутствуют в грозовом облаке.
7. В случае появления на радаре радиоэха в виде компактного циклонического вихря с выраженными рукавами, первоначально конвективного происхождения, то можно уверенно идентифицировать такой тип шторма как мезомасштабный конвективный вихрь (МКВ — MCV). В поперечнике такие вихри имеют размеры от нескольких десятков до нескольких сотен км (рис.7).
8. Если в наличие имеется карта радиальных скоростей, то по ней можно идентифицировать присутствие мезоциклона и / или торнадо. Для этого достаточно заметить метку по типу Tornado vortex signature (TVS). Она будет видна как область с резким изменением скорости и направления воздушных потоков, ограниченная по территории сотнями метров или парой километров. Ведь согласно эффекту Доплера, сигналы удаляющихся объектов испытывают красное смещение спектра, а приближающегося — синего. Соответственно, если на экране мы видим пару ярких цветов красного и синего оттенков, то в данном случае имеется место наличие вихря практически в 100% случаев (см. рис. 8).
Следите за погодой и климатом вместе с нами!
Как Яндекс создал глобальный прогноз осадков с использованием радаров и спутников
У команды Яндекс.Погоды есть традиция рассказывать о новых технологиях на Хабре. Мы уже рассказывали, как методы машинного обучения позволили создать более точный прогноз погоды, а также о том, как нейросети и данные с радаров помогают прогнозировать осадки.
Сегодня мы расскажем читателям Хабра о новой технологии, с помощью которое нам удалось добиться прогнозирования осадков с точностью до минут даже там, где данных с радаров просто нет. И помогли нам в этом снимки со спутников.
Снимки спутника Meteosat-8 из космоса (источник: EUMETSAT)
Про радары и наукаст
Жителям центральной части России несказанно повезло, потому что именно здесь установлены метеорологические радары Росгидромета – современные инструменты, которые позволяют получать карту осадков в радиусе 250 километров от точки установки радара. При этом пространственное разрешение этой карты составляет 2х2 километра на пиксель, а интервал между двумя последовательными снимками – всего 10 минут.
Слева показано, как выглядит метеорадар (источник: ЛЭМЗ)
Что это означает для обычного человека, которому интересна погода? На территориях, покрытых радарным зонтиком, можно сообщать об осадках с точностью до жилого квартала. Такие данные сильно уточняют традиционный прогноз погоды, потому что несут информацию о том, что произошло буквально несколько десятков минут назад. Более подробно про преимущества радаров написано в нашей предыдущей статье. Теперь рассмотрим их недостатки.
Основной из них – плохая масштабируемость, связанная с огромной стоимостью такого средства измерения и сложностью конструкции. Напомним, что сейчас радарами покрыта только часть европейской территории России, а также Барабинск и Владивосток. Кроме того, радарные наблюдения страдают от построек вокруг – например, высокие здания могут загораживать обзор в целых секторах, что сказывается на качестве получаемых полей осадков по радарным снимкам. Пример того, как могут выглядеть усредненные за несколько месяцев наблюдения по каждому из доступных нам радаров указан на иллюстрации ниже.
Усредненные данные по измерениям радаров за несколько месяцев
Как видно, сильно страдает качество у радаров, установленных в Шереметьево и Владивостоке, а в Минеральных водах выпадает целый сектор.
Мы это видим на жалобах от наших пользователей. Также, в случае низких осадков, радар может не видеть на все 250 километров из-за кривизны поверхности Земли, что сказывается на возможности определения осадков ближе к границе видимости. Помимо этого, радары выходят из строя, иногда надолго, из-за чего страдают наши пользователи, которые привыкли к карте осадков и предупреждениям о дожде. Из-за этого, к примеру, возникают неожиданные «взрывы» в поле осадков, как это было недавно в Вологде. Что, конечно же, становится поводом для шквала всевозможных мемов.
Спутники как источник информации
Чтобы не быть привязанными к радарам, мы решили в буквальном смысле сделать космический продукт, о чем намекает заглавная картинка. Кроме радарных измерений существуют похожие подходы по оценке осадков на основе спутниковых снимков. Существует группировка специальных метеорологических спутников (на орбите находятся около 30 аппаратов): как полярно-орбитальных, которые покрывают Землю снимками подобно тому, как нить наматывается на клубок, так и геостационарные – спутники находятся на высоте около 36000 километров от поверхности Земли и вращаются синхронно с вращением Земли над экватором. Особенность орбиты спутников второго типа позволяет постоянно «висеть» над одной и той же точкой и получать такие же снимки, как и в начале статьи. Спутниковая группировка геостационаров позволяет покрыть наблюдениями практически всю Землю, используя для этих целей европейские спутники (Meteosat), американские (GOES) и японские (Himawari). Продукты на их основе имеют пространственное разрешение от 0.5 до 3 километров на пиксель, но есть проблема. Спутники висят над экватором, поэтому наши широты попадают на самый край снимка, из-за чего данные страдают от геометрических искажений.
Прогноз на спутниковых снимках
Идея использовать спутниковые снимки для прогноза погоды не нова – информация с них используется в традиционных глобальных моделях прогноза погоды. Кроме того, из спутниковых снимков извлекают полезную информацию: от мониторинга вулканического пепла и лесных пожаров до поиска фитопланктона. Конечно же, спутниковые снимки используют и для мониторинга осадков и их краткосрочного прогнозирования. Например, есть стандартные алгоритмы по обнаружению областей с осадками – SAFNWC, но они хорошо работают только для случая с конвективными осадками. По нашим строгим метрикам, которые мы используем для радарного наукаста, такие алгоритмы, увы, оказываются в аутсайдерах. Мы же хотели сделать продукт по качеству сравнимый с текущим решением на радарных данных, но при этом еще и масштабируемый глобально. Для этого мы взяли сильные стороны от каждого из подходов и применили магию машинного обучения.
Meteosat как источник информации
После первых экспериментов на стандартных алгоритмах мы решили, что спутниковому наукасту в Погоде быть. Но тут возникла первая проблема: где брать спутниковые снимки? В век цифровых технологий, казалось бы, не должно быть проблем с получением спутниковой информации. В интернете можно найти всё… 
кроме того, что тебе нужно. Со спутниками ситуация складывается следующим образом: чтобы оперативно получать снимки из космоса, необходимо установить приемную станцию. Стандартный набор включает в себя спутниковую тарелку, DVB-S тюнер и компьютер, на котором снимки сохраняются и обрабатываются. Да, технология полностью аналогична спутниковому телевидению, только тарелка чуть больше человеческого роста, а тюнер чуть-чуть подороже.
Таким образом, в нашем новом ДЦ во Владимире у нас появилась собственная станция приема спутниковой информации. Данные на нее приходят с европейских спутников серии Meteosat второго поколения. Чтобы покрыть западную часть территории России, мы выбрали спутник Meteosat-8, который висит над Индийским океаном на долготе 41.5°. 
Снимки делаются каждые 15 минут – в течение них проходит полное сканирование видимой области спутника, после чего сканирование начинается заново. Из-за этого снимки отстают на 15 минут от реального времени. Съемка проходит в 12 каналах: 11 каналов в видимом и инфракрасном диапазонах с разрешением 3х3 километра, а также 1 канал в видимом спектре с разрешением 1х1 километр (пример съемки в разных каналах показан справа, источник: EUMETSAT). Полный снимок имеет разрешение 3712х3712 пикселей или примерно 14 мегапикселей, как у камеры современного смартфона.
Снимок разбит на 8 частей (полосами по широтам), что иногда сказывается на качестве данных – потеря одной части может сделать бесполезным весь снимок.
Детекция осадков
Так как наши первые эксперименты показали, что качество продукта при использовании традиционных подходов страдает, мы решили использовать то, что принесло нам успех в случае с обычным наукастом. На помощь пришли нейросети. В качестве входных параметров мы использовали информацию из 11 каналов спутниковой съемки, а обучались на радарных снимках, сведенных в единое поле на сетке 2х2 километра. Мы использовали традиционные подходы, которыми решаются подобные задачи в компьютерном зрении. До последнего момента соревновались две архитектуры, основанные на ResNet-подобных (за авторством irina-rud) и U-Net-подобных (за авторством vlivashkin) моделях.
ResNet используется в задачах классификации изображений и может быть очень глубоким, при этом увеличение количества слоев дает стабильный прирост в качестве. Однако такая архитектура имеет недостатки при использовании – мы вынуждены применять обученную модель в каждой точке нашей географической сетки. В качестве альтернативы была выбрана U-net – архитектура свёрточной нейронной сети, которая обычно используется в задачах сегментации изображений. Первоначально она разработана в биомедицинских целях для быстрой работы с большими изображениями. С такой архитектурой быстрее проверять наши гипотезы, кроме того, мы можем применять обученную модель не поточечно, что заметно сказывается на скорости обработки спутниковых снимков. Ниже представлено сравнение по полученным метрикам для двух архитектур. Так как нам удалось приблизить U-net модель по качеству к ResNet, но при этом U-net позволяет быстрее обрабатывать спутниковые снимки, то её мы и использовали в качестве production решения.
На этом графике показана F1 мера – стандартная метрика в задачах классификации, которая показывает, насколько наши спутниковые осадки отличаются от радарных. При идеальном совпадении она должна равняться единице. Как видно из графика, качество детекции осадков зависит от времени суток, так как снимок в видимом диапазоне является важным источником информации.
Задача осложняется еще и тем, что нужно не только выделить облако на снимке, но и определить, пойдет ли из него дождь. В ходе экспериментов мы выявили, что информации из 11 каналов недостаточно. Чтобы сделать качественный продукт, важно учитывать такие параметры, как угол солнца над горизонтом, высоту рельефа, данные на ближайшие часы из метеорологической модели, например о влагозапасе облаков, влажности в атмосфере на различных уровнях и т.п. В результате обученная модель позволяет выделять осадки с большой точностью. Так на рисунке показано наложение осадков по спутникам и радарному полю. Здесь фиолетовый цвет – спутники за пределами радаров, малиновый цвет – пересечение радаров и спутников, синий – то, что обнаруживают спутники, но не обнаруживают радары, а красный – то, что обнаружили только радары. На рисунке заметен небольшой систематических сдвиг на север, связанный с тем, что мы детектируем дождь не снизу облаков, как это делают радары, а сверху, из космоса и под углом. Эта проблема будет устранена в ближайшем релизе, что скажется на росте точности.
Спутниковый наукаст
Так как технология достаточно новая, мы решили не отказываться от радаров, а оставить их в тех местах, где наши пользователи уже привыкли пользоваться наукастом. Здесь возникает проблема: как показывать продукты, отличающиеся по методу измерения, в одном интерфейсе. Мы решились на смелый эксперимент – показывать радары и спутники в едином, привычном для пользователя интерфейсе радарного наукаста, расширив область с помощью спутников. Для этого была проделана огромная работа, так как нам надо, во-первых, согласовать спутники и радары по времени, а, во-вторых, правильно склеивать их на границе видимости радаров.
Чтобы привести 15-минутные спутниковые снимки к 10-минутным интервалам, уже привычным нашим пользователям, мы используем Optical Flow для создания промежуточных кадров между последовательными спутниковыми снимками. Optical flow или оптический поток – это технология, которая используется в компьютерном зрении для определения сдвигов между изображениями. Используя два снимка, мы можем построить поле векторов смещения изображения в каждой точке – такое, которое позволяет получить из предыдущего снимка следующий. С помощью векторов переноса мы можем получить и промежуточные кадры, чтобы привести их к единой шкале по времени с 10-минутными интервалами. Этот же алгоритм (стараниями bonext и ruguevara ) пока что используется и для прогноза на 2 часа вперед с 10-минутным разрешением для спутниковых снимков, а радары обсчитываются старым проверенным алгоритмом на основе нейронных сетей, описанным в нашей статье про радарный наукаст. В следующем обновлении мы планируем полностью перейти на перенос всего поля осадков с использованием нейросетевой архитектуры.
При склейке разнородных данных, конечно же, иногда возникают артефакты, например, как на рисунке слева. 
Здесь заметна стандартная для радаров проблема – на границе видимости они не видят осадки, а в треугольник между ними попадает информация от спутника, который успешно детектирует дождь. Думая о решении задачи склеивания двух областей данных разной природы, мы вспомнили о такой задаче, как inpainting. Nvidia в своей недавней статье Image Inpainting for Irregular Holes Using Partial Convolutions показывает, как нейросети умеют восстанавливать детали картинки по нерегулярным маскам. На Yet Another Conference рассказывалось, как Дмитрий Ульянов с помощью inpainting восстанавливал фреску. Этот же подход мы планируем использовать и в нашем случае, и уже есть успешные наработки, которые совсем скоро поедут в production, что позволит правильно учитывать разнородную информация с различных источников о факте дождя.
А что дальше?
Прямо сейчас на 100% наших пользователей работает наукаст, построенный, как на радарных, так и на спутниковых измерениях (благодаря космической поддержке imalion и работе команд бэкенда и фронта). Надеемся, наши пользователи, которые ждали наукаст у себя в городе, начали им пользоваться и получать своевременную информацию о надвигающихся осадках. На данный момент покрыта зона, ограниченная видимой областью самого спутника на севере и востоке (чуть восточнее реки Обь). На юге мы пока ограничили зону до нижней части Кипра, а на западе – до Швейцарии. Теперь можно смотреть за приближением фронтов еще на подходе к вашему городу и наблюдать за красивыми погодными причудами. А разница в покрытии видна невооруженным глазом.
Таким образом, мы покрыли большую часть России, СНГ и некоторых туристических направлений. Конечно же, мы не забыли и о восточной части нашей страны – уже сейчас мы работаем с японским спутником Himawari, который висит над Австралией и позволит в скором времени порадовать наукастом наши восточные рубежи.
А дальше – глобальная карта осадков на весь мир, избавленная от детских болезней, с повышенной точностью детекции осадков, единым алгоритмом переноса и правильной склейкой всех данных по осадкам.
Оставайтесь с нами, пользуйтесь наукастом, делитесь впечатлениями и отзывами.