Deep Learning Approach for Seismic Geohazard DetectionA Case Study in Jiuzhaigou M7.0 Earthquake, Sichuan, 2017
-
摘要: 遥感影像识别方法是破坏性地震震后地质灾害快速、准确获取的重要方法之一,传统的遥感影像识别方法主要以人工目视识别方法和半自动识别方法为主,需投入大量的人力和时间。针对破坏性地震震后地质灾害解译时间长、投入人力多等问题,以2017年8月8日四川九寨沟7.0级地震震后高分辨率无人机遥感影像为研究样本,提出基于深度学习网络的地震地质灾害识别方法。首先结合震后遥感影像解译资料和现场调查资料,提取九寨沟地震地质灾害无人机遥感影像特征,并构建研究区地震地质灾害解译指标和分类数据集;然后采用DeepLabv3+网络结构及softmax损失函数,建立基于深度学习网络的地震地质灾害遥感影像图像语义分割模型方法;最后采用半监督学习方法进行结果验证。研究结果表明,基于深度学习网络的地震地质灾害识别方法可有效识别九寨沟地震地质灾害分布信息,整体分类识别准确率为94.22%,F1分数值为0.77,结果具有较好的一致性和准确性,可提升地震现场灾情获取和重点地震隐患识别等工作效率及服务能力。
-
关键词:
- 深度学习网络 /
- 地质灾害 /
- DeepLabv3+ /
- 图像语义分割 /
- 九寨沟7.0级地震
Abstract: Remote sensing image recognition method is one of the important methods for rapid and accurate acquisition of seismic geohazards after destructive earthquakes. Traditional remote sensing image recognition methods are mainly artificial visual recognition method and semi-automatic recognition method, which need a lot of manpower and time. Aiming at the problems of long time and large investment in the interpretation of geohazards after destructive earthquakes, this paper takes the high-resolution UAV remote sensing images after the Jiuzhaigou M7.0 earthquake in Sichuan on August 8,2017 as the research sample, and proposes a seismic geohazard identification method based on deep learning network. In this study, firstly, the characteristics of UAV remote sensing images of seismic geohazards in Jiuzhaigou were extracted by combining the interpretation data of remote sensing images after the earthquake and the field investigation data, and the interpretation indexes and classification data sets of seismic geohazards in the study area were constructed. Then, the DeepLabv3+ network structure and softmax loss function were used to establish the semantic segmentation model of remote sensing images of seismic geohazards based on deep learning. Finally, the semi-supervised learning method was used to verify the results. The results show that the seismic geohazards identification method based on deep learning can effectively identify the distribution information of Jiuzhaigou seismic geohazards. The overall classification and identification accuracy is 94.22%, and the F1 score is 0.77, indicating that the results have good consistency and accuracy, which can improve the efficiency and service ability of seismic geohazard acquisition and key seismic hazard identification in the earthquake site. -
引言
地震地质灾害识别是震后灾情获取的重要指标之一,地质灾害空间分布信息对地震应急决策具有重要参考意义。地震灾害形成后,科学快速地确定地震地质灾害分布范围,并按照灾情严重程度调度救灾资源,可有效提高抗震救灾效率。随着遥感技术的逐渐普及和航空航天技术的稳步推进,以遥感技术为核心的地质灾害研究和危险性评估研究取得了快速发展,使快速、科学、有效地获取地震地质灾情成为可能。遥感影像分类与图像语义分割是遥感技术运用在遥感影像地物分类及目标识别过程中最重要的环节之一,其核心思路是利用遥感影像信息对观测场景中的不同地物进行精准识别,并对目标场景地物分布进行分割。常见的遥感影像分类方法包括人工目视解译、人机交互解译、多种技术结合的半自动解译等。
随着机器算法和大数据研究的逐渐成熟,利用人工智能处理分析遥感数据的优势逐步凸显,其中深度学习网络为常见方法之一。利用深度学习网络不仅可提高遥感数据分析智能化、自动化,还能提升分析精度与效率。近年来,部分学者将深度学习网络运用于基础设施、承灾体、地震灾害信息获取研究上,并取得了一定进展。王港等(2018)通过深度学习网络设计和优化,实现了“高分一号”遥感影像中机场、操场等基础设施目标的准确检测。陈梦(2019)采用全卷积神经网络和基于编码解码的神经网络进行建筑物震害提取,结果表明,深度学习网络训练模型能够达到较高的提取精度。朱祺夫等(2018)使用基于卷积神经网络的深度学习方法对Landsat8遥感影像进行分类训练与提取,并与支持向量机方法提取结果进行对比分析,结果表明,基于深度学习网络的遥感影像城市建筑用地提取方法提取精度更高,尤其在道路提取精度上具有明显优势。吴浩霖(2020)在多地地面实际调查和无人机遥感影像解译工作的基础上,采用Pytorch深度学习框架和ResNet深度残差网络结构,实现了房屋建筑结构精细化分类提取及空间分布信息提取。
2017年8月8日四川九寨沟发生7.0级地震,各研究机构通过不同手段获取了大量震前、震后与地震地质灾害相关资料,包括卫星遥感资料、无人机遥感资料、地质灾害调查资料等,并运用多种方法对相关资料进行了解译(吴玮莹等,2017;邓飞等,2018;许冲等,2018;佘金星等,2018;董秀军等,2020),为地震现场决策和震后恢复重建提供了重要参考依据。资料解译综合效率虽较以往重大地震灾害有所提升,但距智能化、快速的解译目标仍有较大上升空间。本文以2017年8月8日四川九寨沟7.0级地震震后高分辨率无人机遥感影像为研究样本,在充分分析九寨沟地震地质灾害遥感影像特征的基础上,结合遥感解译资料和震后现场调查资料,采用DeepLabv3+模型及softmax损失函数,构建地震地质灾害遥感影像分类数据集及基于深度学习网络的地震地质灾害遥感识别方法,可进一步提升地震现场工作效率和地震应急服务能力。
1. 研究区概况
四川九寨沟7.0级地震震中位于33.22°N、103.83°E,震源深度20 km。本次地震发生在青藏高原东缘巴颜喀拉块体与东部华南地块碰撞挤压边界带上,最大烈度为9度,等震线长轴总体呈北北西走向,6度及以上区域总面积为18 295 km2(图1),造成四川省阿坝藏族羌族自治州九寨沟县、若尔盖县、红原县、松潘县,绵阳市平武县及甘肃省陇南市文县,甘南藏族自治州舟曲县、迭部县受灾。至2017年9月,区域范围累计排查核实崩塌、滑坡、泥石流等地质灾害隐患1 663处(震后新增317处地质灾害隐患,158处震前隐患点变形加剧)(佘金星等,2018),地质灾害给当地经济和人民生命安全造成了巨大威胁。研究区主要为9度区,该区涉及四川省阿坝藏族羌族自治州九寨沟县漳扎镇及九寨沟景区,面积139 km2。
2. 地震地质灾害识别
2.1 技术流程
基于深度学习网络的地震地质灾害识别主要步骤为:(1)遥感影像筛选及切割;(2)建立数据集标注指标;(3)影像数据掩膜及数据集制作;(4)采用半监督训练方法进行模型训练及可靠性验证;(5)遥感影像语义分割及地震地质灾害提取(图2)。
2.2 深度学习网络结构选用
采用 DeepLabv3+网络结构(图3),该网络结构具有较好的图像语义分割性和稳定性,在图像语义分割研究中取得较好成效(Yang等,2019;彭龙康等,2021)。DeepLabv3+网络结构包含编码器、解码器结构,其中编码器结构集成了并联孔洞卷积模型和改进Xception模块,通过调整卷积过滤器输出不同分辨率的特征,挖掘不同尺度的上下文信息,扩展了标准的网络卷积操作;解码器结构通过调整双线性上采样,将高层次特征与低层次特征进行融合,可更精确地重构图像物体边界(Chen等,2018)。
2.3 模型验证
(1)交并比验证方法(IoU)
主要用于验证深度学习网络训练模型预测的目标遥感影像与原来遥感影像中标记的目标遥感影像的重合程度。对于深度学习模型训练数据集和预测结果而言,计算方法为(Choi等,2010;Yao等,2019):
$$ IoU=\frac{A\cap B}{A\cup B}=\frac{TP}{TP+FP+FN} $$ (1) 式中,A表示遥感影像数据集中标记的地质灾害遥感影像区域;B表示模型预测的地质灾害遥感影像区域;TP表示被正确标记为地质灾害影像区域的像元数目;FP表示被错误标记为地质灾害影像区域的像元数目;FN表示被错误标记为非地质灾害影像区域的像元数目。IoU值为0~1,若IoU≥0.5,可认为区域预测效果较好。
(2)精确率(Precision)
也称查准率(P),表示分类正确的正样本个数在分类器中判定为正样本的样本个数中所占比例,表达式为:
$$ {{P}}=\frac{TP}{TP+FP} $$ (2) (3)召回率(Recall)
也称查全率(R),表示分类正确的正样本个数在真正的正样本个数中所占比例,表达式为:
$$ {{R}}=\frac{TP}{TP+FN} $$ (3) (4)F1分数验证方法
IoU>0.5时,可进一步采用F1分数验证模型分类的准确性(Russakovsky等,2015),表达式为:
$$ F_1=2\times \frac{{\rm{Precision}}·{\rm{Recall}}}{{\rm{Precision}}+{\rm{Recal}}} $$ (4) 式中,F1值为0~1,该值越接近于1,则表示结果准确性越高。
3. 深度学习模型训练
3.1 数据来源
本研究采用的无人机遥感影像数据为2017年8月9日至11日拍摄的九寨沟景区、九寨沟县及其周边区域的航空影像,数据采集团队为四川测绘地理信息局,无人机遥感正射影像图主要采用Pix4d Mapper软件处理,影像分辨率为0.2 m。
3.2 数据集指标建立与标注
为准确地对地震地质灾害影像样本进行标注,满足深度学习模型训练、测试及验证目标需求,结合地震现场实地调查资料与遥感影像数据,构建目标区遥感影像综合解译特征指标,遥感影像解译特征主要包括光谱、纹理特征、形状特征、空间分布等。在此基础上,应用人工目视解译进行地震地质灾害精细化解译。由于九寨沟7.0级地震发生在8月,植被较茂盛,震后植被遭受破坏,因此地震地质灾害在人工目视解译时指标特征较显著:①光谱亮度分布不均匀,标准差较大;②纹理不均匀、不清晰,杂乱无章、方向各异;③形状极不规则,多以条状或带状分布为主;④多垂直于山脊分布,距震中越近,地震地质灾害发育程度越重。
按照512×512像素对目标区遥感影像进行图斑分割,选取226组包含地震地质灾害且清晰度高的图斑作为标注对象,并制作地震地质灾害影像数据集。数据集通过选取像素RGB三通道进行地震地质灾害像素标注与制作(陈梦,2019),其中地震地质灾害像素RGB三通道赋值为(128,0,0),背景为(0,0,0),最后生成原始影像、标注影像和掩膜影像数据,数据格式分别为jpg、png、jpg。遥感影像数据集典型标注如图4所示。
3.3 深度学习模型训练过程
深度学习模型训练主要基于TensorFlow深度学习框架和DeepLabv3+网络结构,运用Xception_41预训练模块(Chen等,2018)配置网络初始化参数,并采用随机梯度下降(Stochastic Gradient Descent,简称SGD)算法进行训练。试验样本训练参数分别为:迭代最小批次为2,基本学习率为0.000 1,并联孔洞卷积的卷积率分别为6、12、18。训练过程中各类别权重参数与该类别的样本数量成反比,以避免样本类别不平衡的问题(陈梦,2019)。从226张标注的样本集中随机选取200张用于训练网络,其余26张用于测试网络,并使用softmax损失函数和SGD算法进行迭代训练。随着迭代次数的增加,损失函数值迅速减小,经迭代后损失函数值大致在0.1~0.2之间震荡,选择损失函数值震荡较稳定的训练模型作为最终的测试模型。
4. 结果与分析
4.1 识别结果可靠性
深度学习网络识别结果如图5所示,由图5可知,该方法对于地震地质灾害空间分布和边界分割较清晰,相比人工目视解译结果,基本能够真实、完整地提取震后地质灾害规模、空间分布等信息。为定量评估地震地质灾害遥感识别信息和样本分类准确性,本研究使用分类混淆矩阵(表1)分别对背景、地震地质灾害图像像元数量进行统计分析,其中背景和地震地质灾害IoU值分别为0.94、0.63,F1分数值分别为0.97、0.77。整体分类识别准确率为94.22%,表明结果具有较好的一致性和准确性。
表 1 深度学习网络识别结果的混淆矩阵Table 1. Confusion matrix of deep learning network recognition results混淆矩阵 预测像素值 背景/个 地质灾害/个 实际像素值 背景/个 7522390 173619 地质灾害/个 341392 875495 4.2 识别结果迁移性
在基于深度学习网络的地质灾害遥感影像分类数据集及集成算法构建过程中,为增加算法准确性,需要大量影像数据样本。九寨沟地震震后无人机遥感团队获取了九寨沟景区和九寨沟县无人机遥感影像,影像数据主要集中于9度区,这在一定程度上限制了模型训练样本量。从准确性提升角度出发,随着后期其他震例地震地质灾害遥感影像资料的增加,训练模型准确性存在较大提升空间。在识别结果迁移性方面,模型方法具备区域性和季节性特征,识别结果准确性与目标遥感影像获取区域性和季节性密切相关,在植被覆盖率高的区域或少雨少云季节,准确性将大大提升。
5. 结论
针对破坏性地震震后遥感影像地质灾害解译工作时间长、投入人力多等问题,本文提出基于深度学习网络的地震地质灾害识别方法。该方法采用DeepLabv3+网络结构,结合softmax损失函数,实现了震后无人机遥感影像中地震地质灾害信息自动提取,得出以下结论:
(1)以2017年8月8日四川九寨沟7.0级地震震后高分辨率无人机遥感影像为研究样本,采用半监督学习方法对结果进行验证。结果表明,基于深度学习网络的地震地质灾害识别方法可有效识别地震地质灾害分布和规模等信息,整体分类识别准确率为94.22%,F1分数值为0.77,识别结果具有较好的一致性和准确性。
(2)构建了地震地质灾害解译特征指标,指标特征较显著:①光谱亮度分布不均匀,标准差较大;②纹理不均匀、不清晰,杂乱无章、方向各异;③形状极不规则,多以条状或带状分布为主;④多垂直于山脊分布,距震中越近,地震地质灾害发育程度越重。
在下一步研究中,将继续搜集2013年4月20日四川芦山7.0级地震、2014年8月3日云南鲁甸6.5级地震等震例震后无人机遥感影像,制作地震地质灾害数据集样本,扩充数据集样本量,进一步增加模型训练量,以提升无人机遥感影像中地震地质灾害信息提取准确性。
综上所述,基于深度学习网络的地震地质灾害识别方法具备较高的准确性,适用于震后无人机遥感影像中地震地质灾害的自动化提取。此外,随着后期训练集样本数的增加,训练模型方法准确率会逐渐上升。
致谢 感谢四川测绘地理信息局提供无人机遥感影像数据,感谢中国地震局地震预测研究所王晓青研究员和北京师范大学陈梦博士在研究过程中提供的宝贵意见及对深度学习网络的技术支持。
-
表 1 深度学习网络识别结果的混淆矩阵
Table 1. Confusion matrix of deep learning network recognition results
混淆矩阵 预测像素值 背景/个 地质灾害/个 实际像素值 背景/个 7522390 173619 地质灾害/个 341392 875495 -
[1] 陈梦, 2019. 基于深度学习的建筑物震害遥感识别研究. 北京: 中国地震局地震预测研究所.Chen M., 2019. Research on identification of building damage information from remote sensing image based on deep learning. Beijing: Institute of Earthquake Forecasting, CEA. (in Chinese) [2] 邓飞, 窦爱霞, 吴玮莹等, 2018. 基于无人机遥感的四川九寨沟地震极灾区灾情快速调查. 灾害学, 33(3): 210—215 doi: 10.3969/j.issn.1000-811X.2018.03.039Deng F. , Dou A. X. , Wu W. Y. , et al. , 2018. Rapid investigation of disaster situation in extreme disaster area of Jiuzhaigou earthquake in Sichuan based on UAV remote sensing. Journal of Catastrophology, 33(3): 210—215. (in Chinese) doi: 10.3969/j.issn.1000-811X.2018.03.039 [3] 董秀军, 许强, 佘金星等, 2020. 九寨沟核心景区多源遥感数据地质灾害解译初探. 武汉大学学报▪信息科学版, 45(3): 432—441 doi: 10.13203/j.whugis20190076Dong X. J. , Xu Q. , She J. X. , et al. , 2020. Preliminary study on interpretation of geological hazards in Jiuzhaigou based on multi⁃source remote sensing data. Geomatics and Information Science of Wuhan University, 45(3): 432—441. (in Chinese) doi: 10.13203/j.whugis20190076 [4] 彭龙康, 刘励聪, 陈学泓等, 2021. 遥感影像云检测网络泛化性能研究: 以DeepLabv3+为例. 遥感学报, 25(5): 1169—1186 doi: 10.11834/jrs.20210061Peng L. K. , Liu L. C. , Chen X. H. , et al. , 2021. Generalization ability of cloud detection network for satellite imagery based on DeepLabv3+. National Remote Sensing Bulletin, 25(5): 1169—1186. (in Chinese) doi: 10.11834/jrs.20210061 [5] 佘金星, 程多祥, 刘飞等, 2018. 机载激光雷达技术在地质灾害调查中的应用——以四川九寨沟7.0级地震为例. 中国地震, 34(3): 435—444 doi: 10.3969/j.issn.1001-4683.2018.03.005She J. X. , Cheng D. X. , Liu F. , et al. , 2018. Application of airborne LiDAR technology in geological disaster investigation—taking the Jiuzhaigou MS7.0 earthquake in Sichuan province as an example. Earthquake Research in China, 34(3): 435—444. (in Chinese) doi: 10.3969/j.issn.1001-4683.2018.03.005 [6] 王港, 陈金勇, 高峰等, 2018. 基于深度学习的遥感影像基础设施目标检测研究. 无线电工程, 48(3): 219—224 doi: 10.3969/j.issn.1003-3106.2018.03.11Wang G. , Chen J. Y. , Gao F. , et al. , 2018. Research on the infrastructure target detection of remote sensing image based on deep learning. Radio Engineering, 48(3): 219—224. (in Chinese) doi: 10.3969/j.issn.1003-3106.2018.03.11 [7] 吴浩霖, 2020. 基于无人机影像和深度学习技术的建筑物分类和统计——服务于震前预评估的建筑物快速调查. 北京: 中国地震局地质研究所.Wu H. L., 2020. Classification and statistics of buildings based on UAV images and deep learning technology: rapid building survey for pre-evaluation before earthquake. Beijing: Institute of Geology, China Earthquake Administrator. (in Chinese) [8] 吴玮莹, 王晓青, 邓飞, 2017. 基于高分卫星遥感影像的地震应急滑坡编目与分布特征探讨——以2017年8月8日九寨沟7.0级地震为例. 震灾防御技术, 12(4): 815—825 doi: 10.11899/zzfy20170410Wu W. Y. , Wang X. Q. , Deng F. , 2017. Compilation and spatial analysis of co-seismic landslide inventory by using high-resolution remote sensing images in earthquake emergency response—An example of the Jiuzhaigou MS7.0 earthquake on August 8, 2017. Technology for Earthquake Disaster Prevention, 12(4): 815—825. (in Chinese) doi: 10.11899/zzfy20170410 [9] 许冲, 王世元, 徐锡伟等, 2018.2017年8月8日四川省九寨沟MS7.0地震触发滑坡全景. 地震地质, 40(1): 232—260 doi: 10.3969/j.issn.0253-4967.2018.01.017Xu C. , Wang S. Y. , Xu X. W. , et al. , 2018. A panorama of landslides triggered by the 8 August 2017 Jiuzhaigou, Sichuan MS7.0 earthquake. Seismology and Geology, 40(1): 232—260. (in Chinese) doi: 10.3969/j.issn.0253-4967.2018.01.017 [10] 朱祺夫, 赵俊三, 陈磊士等, 2018. 基于深度学习的遥感影像城市建筑用地提取. 软件导刊, 17(10): 18—21 doi: 10.11907/rjdk.181278Zhu Q. F. , Zhao J. S. , Chen L. S. , et al. , 2018. Urban construction land extraction of the remote sensing image based on depth learning. Software Guide, 17(10): 18—21. (in Chinese) doi: 10.11907/rjdk.181278 [11] Chen L. C., Zhu Y. K., Papandreou G., et al., 2018. Encoder-decoder with atrous separable convolution for semantic image segmentation. In: Proceedings of the 15th European Conference on Computer Vision. Munich, Germany: Springer. [12] Choi S. S. , Cha S. H. , Tappert C. C. , 2010. A survey of binary similarity and distance measures. Journal of Systemics, 8(1): 43—48. [13] Russakovsky O. , Deng J. , Su H. , et al. , 2015. ImageNet large scale visual recognition challenge. International Journal of Computer Vision, 115(3): 211—252. doi: 10.1007/s11263-015-0816-y [14] Yang W. , Zhang J. L. , Xu Z. Y. , et al. , 2019. Real-time DeepLabv3+ for pedestrian segmentation. Journal of Optical Technology, 86(9): 570—578. doi: 10.1364/JOT.86.000570 [15] Yao X. X. , Guo J. , Hu J. , et al. , 2019. Using deep learning in semantic classification for point cloud data. IEEE Access, 7: 37121—37130. doi: 10.1109/ACCESS.2019.2905546 -