А вы знали, что машинное обучение помогает прогнозировать изменение климата? Например, специалисты из ВШЭ и Школы анализа данных Яндекса учатся предсказывать аномальное повышение температуры в экваториальной части Тихого океана. Такой феномен называется «Эль-Ниньо» или по-научному южная осцилляция.
В статье разберемся, как ML-разработки (машинное обучение от англ. machine learning) вносят свой вклад в изучение изменения климата нашей планеты. И что делать, когда данных для анализа не так много.
Почему вообще океан теплеет
Обычно течение несет холодные воды вдоль нижней части Южной Америки — это побережья Аргентины, Чили и Уругвая. Получается так, что течение поворачивает холодные океанические воды на запад, а тропические ветра отгоняют нагретую воду в западную часть Тихого океана. Поэтому у берегов Австралии и Индонезии вода теплая, а у Перу — более прохладная.
В период Эль-Ниньо ветра стихают и большая часть поверхностных вод Тихого океана нагревается. Течение меняется: теплая вода начинает двигаться в сторону западного побережья, где подъем холодных океанических вод ослабевает. Все это приводит к климатическим изменениям в регионе.
Интересный факт. Впервые на это явление обратили внимание жители западного побережья Южной Америки в начале XX века. В холодной воде много планктона, которым питаются рыбы. Поэтому в такие периоды всегда был хороший улов, а когда вода становилась теплее — количество рыбы сокращалось.
Когда научились прогнозировать аномалию без машинного обучения
Вода становилась теплее то раз в два года, то раз в семь лет. Но вывести какую-то закономерность и предсказать Эль-Ниньо заранее было трудно. В конце прошлого столетия Всемирная метеорологическая организация (ВМО) заявила, что горизонт планирования аномалии — несколько месяцев. Сейчас ученые могут предсказывать южную осцилляцию за полтора года.
Изменение температуры влияет на жизнь людей в странах, близких к экватору. Начинаются засухи, что ведет к проблеме с урожаем и продовольствием. В крайних случаях аномалия может привести к вооруженным конфликтам.
Какие данные нужны для машинного обучения
Сейчас команда ВШЭ работает над проектом «Предсказание эффекта Эль-Ниньо с помощью машинного обучения». Цель исследования — смоделировать среднюю температуру в центре Тихого океана в перспективе.
Никита Гущин, инженер-исследователь, выпускник ШАДа: «Главная проблема прогнозирования южной осцилляции — нехватка данных».
За десятки лет постоянного наблюдения накопилось мало информации для машинного обучения. Реальные ежемесячные данные о температуре на поверхности океана за последние 200 лет представлены в графическом виде. В итоге у специалистов к началу работы было чуть больше 2000 графиков.
Чтобы расширить количество материала для обучения модели, ученые добавили синтетические данные. Это искусственные данные, которые имитируют наблюдения реального человека. Их используют для машинного обучения, когда реальной информации недостаточно.
Как исследователи получили синтетические данные? У них были цифры по динамике температуры воды в Тихом океане с 1850 по 1990 год. Этот датасет «скормили» модели машинного обучения 100 раз. И на выходе ученые получали 250 тысяч графиков с синтетическими данными.
Хотя эти данные были не очень точные, они помогли модели понять общие закономерности. А затем уже можно было «донастроить» модель на небольшом датасете реальных данных. В результате ученые построили прогноз на полтора года.
Никита Гущин: «Часто физические и климатические явления моделируются с помощью дифференциальных уравнений, и физики с их помощью описывают законы природы. Мы решили сделать так, чтобы наша модель знала не только то, что мы работаем с картинками, но и то, что мы пытаемся вывести некий физический закон, согласно которому что-то в природе меняется».
Но это еще не финальный этап. Сейчас самое главное понять, какие данные помогут сделать прогнозы более точными и дальновидными.
Какой сервис использовали для машинного обучения
Команда использовала сервис для ML-разработки Yandex DataSphere. Было удобно, что над задачей можно было работать совместно — нужно было только поделиться кодом проекта. А еще можно пройти полный цикл машинного обучения: от экспериментов к внедрению.
Перед обучением моделей и реальные, и синтетические данные нужно было предобработать. Для этого использовали сервис для ML-разработки Yandex DataSphere, где можно платить только за потребляемые ресурсы. Всего понадобилось:
- 1 ТБ места в хранилище;
- 100 ГБ оперативной памяти;
- 32 процессора;
- 2 мощных сервера с видеокартами A100 — они позволяли обучать модель с большим количеством параметров.
Если вам интересно машинное обучение и другие облачные инструменты... 👇🏻
Листайте дальше, чтобы перейти в блог Yandex Cloud и узнать, как еще машинное обучение поможет в решении непростых задач.