086|谷歌天气研究团队另辟蹊径,提升60个国家洪水预警水平

伙伴们,快刀广播站又开始广播了。

经过这一年AI的快速发展,例如“AI能力很强”“我们要不要用AI”这样的讨论已经越来越少了,大家会更加关注于怎么使用AI。其实在非常多的领域里,AI正在发挥着意想不到的作用。

今天我给大家介绍谷歌天气团队的一项研究成果,用AI模型来预警洪水。这篇叫做《在未测量的流域中,全球极端洪水的预测》的文章发表在3月底的《自然》杂志上。

这个研究的大背景是,洪水是最常见的自然灾害之一,特别是在发展中国家。因为不少发展中国家缺乏密集的水流测量网络,没有这个网络,就很难做到准确及时的预警。

而如果预警系统升级到发达国家的水平,每年至少能挽救2.3万人的生命,经济损失降低35-50%。

这个研究标题里的“未测量流域”,指的就是缺乏长期数据监测和校准的流域,这也是国际水文科学协会指出的过去十年的最大难题。而且十年过去了,很多洪水预测上的成功案例还集中在发达国家的已测流域,对发展中国家帮助不大。

不过,这个由谷歌研究科学家贾瑞·尼尔林领衔的研究团队,做的事情就是在测量数据缺乏的发展中国家,用AI模型去预测洪水的来临。尼尔林是水文学博士,他在NASA、美国国家大气研究中心做的都是全球水文模拟工作,所以他这次是将传统的水文学研究和最新的AI模型进行了结合。

模拟计算的结果非常惊人,可以将洪水预报的准确性提前到五天,并且效果非常显著。它让亚洲和非洲这些发展中地区的洪水预报,基本达到了现在欧洲最先进的洪水实时预报系统的水平。

因为研究报告里的专业内容特别多,我就简单说一下我印象最深的地方,可能有些地方不够专业,不过大意应该是对的。

首先,天气就是一个混沌系统,会受到很多因素的影响。任何地方的天气,都跟生态系统、物理系统、地理构造、人口密度、工业分布等因素相关。所以在以往,天气领域里的模型都会极度简化,挑选几个关键变量进行运作。这样以来,预测在比较短的时间范围内是准确的,但是时间跨度越长,误差就越大。

其次,对于任何模型来说,高质量的数据来源都不可缺少。而在天气监测上,数据的准确性和丰富性,跟这个国家的生产总值有着明显的相关性。

这个报告里有张图表,展示了GDP和水文数据的关系,原图我放在下方了,感兴趣的同学可以看看。

通过图表我们可以看到,在代表GDP的X轴上,中国和美国遥遥领先,但是代表水文测量数据水平的Y轴上,中国只是中等水平。

发展中国家缺失高质量数据,这是现状,所以研究团队并没有停止不前,而是在现状的基础上,去考虑如何在水流数据缺失的情况下,还能得出靠谱的预测。

这里需要引入一个专业术语,叫做“马尔可夫过程”。目前,绝大多数的天气预测模型都是基于这一原理构建的。

“马尔可夫过程”是一个数学概念。举个例子,你在下象棋的时候,一般都会考虑下一步你要怎么走,但之前你是怎么走的,怎么下成了现在这种情况,已经不重要了。

所以,这种“没有记忆”的过程,你的下一步只和你现在的位置有关,就是“马尔可夫过程”的核心思想。放在天气预测领域也一样,之前模型为了性能,考虑的都是明天和将来会不会下雨,至于昨天有没有下,已经不重要了。

但是尼尔林的团队这次引入了机器学习里的很多概念,做了两个突破性的尝试。

首先,没有去设置关键变量,而是让机器大规模去研究现存数据里的隐秘或者复杂的关系,这是人类很难做到的。

我简单给你列一下这里的数据输入,你就知道需要考虑的背景数据有多少,例如长期气候指数,就要考虑包括降水、气温、积雪覆盖度、土地使用情况、人为开采情况、连夜间灯光指数在内的很多数据维度。

第二个突破是他们加入了长短期记忆,就是回头去研究历史上的天气变化和洪水相关的关系。所以他们的训练数据是全球径流数据中心从1980年到2023年的日流量值,其中全球5680个不同流域观测点的数据,训练成的单一流量预测模型。

这个过程就意味着把预测分成两步走,第一步就是从某个观测点历史的各种天气数据中学习,然后产生一个洪水流量值;第二步是跟真实的流量数据进行对照和模型调优。

通过高质量监测数据训练出来的模型,就可以直接应用到一些发展中国家身上,靠已有的天气等数据,推测出到底来不来洪水,而不是等着发展中国家去建水文观测站。

这种方式其他科学家也不是想不到,而是以前的AI能力和高性能计算的硬件能力,没办法支持这种复杂的运算。

这个项目团队在2022年推出了洪水中心预测平台,提供了包括非洲15个国家在内的洪水预测信息。2023年,增加到了60个国家,覆盖了全球4.6亿的人口。在没有大规模投入的情况下,非洲这些国家的洪水预测水平达到了欧洲发达国家水平。我在文稿里放了两张图片,你可以一眼看到,全球有哪个地方正在面临危险级别的洪水,有哪些地方需要注意警报。

看完这个研究,我想到的是,这个项目哪怕前期准确率差一点儿,都是可以接受的,毕竟有预警就比没有预警要好得多。后期,可以再通过数据积累,不断去优化这个AI模型。

其实这也是AI产品跟传统产品有区别的地方。传统产品需要在自己的团队内部,把效果调整到最优,才能推到线上让用户去用。但是,AI产品只有快速推到线上,让用户去用,才有可能积累数据,从而把效果调整到最优,所以用户不仅仅是使用者,还是共建伙伴。

好,今天的快刀广播站就到这里了。如果你觉得今天的内容对你有帮助,欢迎分享到朋友圈或者转发给你的朋友们。明天咱们接着聊AI。

相关链接:

《自然》杂志

谷歌洪水预测系统

Leave a Comment

Your email address will not be published. Required fields are marked *

Scroll to Top