气象信息在科研及众多领域扮演着关键角色,其中ERA5数据尤其受到重视。气象学家的公众号上推出的ERA5数据共享计划,不仅给大众带来了方便,但也存在一些需要大家注意的事项。
数据下载进度
气象学家们正辛勤地进行1950至1978年的数据搜集。这些数据预计超过25TB,下载过程极其困难。尽管遇到了不少挑战,工作人员依然坚持不懈,预计将很快完成这批庞大数据的下载任务。
现在正处在下载的困境中,尽管面临诸多挑战,但我们的团队努力克服障碍,力求加速下载速度,期盼尽快让更多人得以利用这些宝贵的历史资料。
常规变量属性
ERA5常规变量各自独立存储,每日数据存于一个文件中,涵盖全天24小时。数据覆盖区域北至0度至60度北纬,并未全球范围。这种存储与覆盖范围的设定,是基于多方面因素的全面考量。
用户在查询数据时,可以选择不同的变量,但目前尚不能自主设定时间范围。这一规定是基于对数据管理和资源分配的考量。未来,根据实际需求,可能会对时间选择功能进行相应的改进。
常规变量类型
ERA5标准变量种类超过五十六种,具体变量名称可查阅相关文档。数据总量大约为35TB,复制时需两块各18TB的硬盘。每个文件代表一天的数据(24小时),文件大小大约是1.2GB。
分辨率高达0.1度乘以0.1度,水平方向约为10公里。用户能挑选所需时间,不过目前还不能对变量进行分割。这些特性满足了众多高精度研究对数据的追求。
数据获取难题
由于ECMWF对ERA5数据的下载速度有限制,而且数据量非常庞大,短时间内难以全部下载,因此产生了数据共享计划。想要获取如此大量的数据并非易事,工作人员为了确保大家能及时使用这些数据,想出了多种办法。
目前只支持使用硬盘进行数据复制,不提供百度云盘的分享功能。原因在于文件数量众多,难以实现分享,而且数据量过大容易被百度云自动拦截,同时沟通费用也相当高昂。因此,我们只能建议您自行准备硬盘进行数据复制,并通过顺丰快递到付的方式获取所需数据。
项目目的与成本
气象学家公众号的ERA5数据共享项目并非以追求利润为宗旨。该项目下载与分发数据所需的存储设备容量已超过50TB,其中大部分设备系自筹资金购买,仅有少量设备由研究人员或课题组提供资助。
为了克服下载速度受限的问题,我们团队采用了多台电脑、传输工具和VPN代理来提升下载速度。这样做自然需要投入不少资金,比如1TB的流量就需要花费150元。尽管成本不低,但我们仍期望在确保数据获取便捷的同时,让用户能够合理地获取所需数据。
硬件采购与保障
三月,我们购置了硬盘和阵列等硬件。经过多番咨询,权衡了成本与数据安全,我们决定采用五块18TB硬盘搭配铁马威五盘位阵列盒的配置。这样的配置能够满足本年度数据更新的存储需求。
为确保数据持续更新并得到妥善保护,我们将下载与存储设备分开。一旦硬盘出现故障,数据仍可从备份中恢复。这种做法凸显了对数据安全的关注,致力于为用户打造一个数据可靠的存储环境。
气象学家公众号推出的ERA5数据共享计划,您认为其投入与收益是否相当?若觉得文章对您有帮助,请点赞并转发!