Application of 3D Imaging Technique in Basic Data Investigation of Disaster Bearing Body—A Case of Turpan City, Xinjiang Uygur Autonomous Region
-
摘要: 承灾体基础数据是地震灾害评估的核心数据,是制定防灾减灾政策的基础,具有十分重要的地位。数据获取主要靠野外调查,费时费力,研究承灾体数据的快速获取方法刻不容缓。本文以新疆维吾尔自治区吐鲁番市主城区为例,对三维影像技术在承灾体基础数据调查中的应用进行了研究,以无人机倾斜摄影测量数据为基础,运用三维模型构建、遥感信息提取与地理信息系统空间分析方法,进行区域房屋基础数据信息提取,获取了研究区真实房屋空间分布、结构类型、建筑面积及层数等数据,为该地区地震预测预防、地震应急、震时救灾以及震后恢复等防震减灾工作服务。Abstract: The basic data of disaster bearing body is the core data of earthquake disaster assessment, and is the foundation of the policy-making in disaster prevention and mitigation. In past data acquisition was mainly based on field investigation, which is time-consuming and laborious. So it is important to develop the method of rapid acquisition of disaster bearing body data. Taking Turpan city as an example, we studied the application of 3D imaging technique in the basic data investigation of disaster bearing body. In this paper, based on oblique photogrammetric data of unmanned aerial vehicle (UAV), 3D model construction, RS information extraction and GIS spatial analysis methods are applied to extract the basic information of regional houses. Then the spatial distribution, structure type, building area and number of stories of the buildings are obtained. The above data is essential for the regional earthquake disaster mitigation, such as earthquake prediction and disaster prevention before earthquake, emergency management and disaster relief after earthquake.
-
Key words:
- 3D model /
- UAV /
- Remote sensing /
- Disaster bearing body /
- Turpan
-
引言
建筑类型分类是抗震设计的基础,也是地震风险研究的依据。对不同建筑物进行分类研究,编制建筑分类清单并进行易损性分析,根据所得破坏概率矩阵,可对建筑群及城市风险进行预测和评估。面向地震保险的房屋建筑分类需满足区域化、高效化及信息化等要求,与传统的建筑分类方式存在较大区别。在地震保险应用中,城市建筑物的整体情况是至关重要的数据资料,相比通过人力调查,利用遥感影像获取相关信息具有省时省力的优势。随着遥感技术的成熟,遥感影像的分辨率已经非常高,其图像获取及应用对地震保险有重要意义。遥感数据的不断丰富为地震保险领域的研究提供了数据支持,但从海量数据中提取有用信息也是一项挑战。面对海量图像数据,依靠人工对图像进行分类及标注的管理方式需耗费大量人力资源,采用计算机自动识别的方法显得尤为重要。利用传统图像处理方法提取的图像底层特征所建模型的类别语义与用户高层语义之间的语义鸿沟,使得计算机图像的自动解译变得异常困难,如何跨越语义鸿沟,使计算机不仅能独立完成像素(区域)级的分类,而且能学习图像的高层语义,自动完成图像级的分类和识别,成为该学科领域的一个热点和难点问题。主流遥感图像的分辨率已达分米级,以往行之有效的一系列针对中低分辨率的模型及方法在高分辨率下效果并不理想。对高分辨率遥感影像中的目标进行匹配、分类、识别等操作,需要更多地考虑诸如纹理、统计量分布、几何形状、空间上下文等计算机视觉特征。同时,由于遥感图像分辨率的提高,图像细节不断增多,结构复杂性也随之增加,可提取的结构特性也将更加丰富。
深度学习的概念源于人工神经网络研究,含多隐层的多层感知器(MLP)就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示(属性类别或特征),以发现数据的分布式特征表示。近几年,深度学习在机器学习领域取得重大突破,使得图像识别、语音识别精度大幅度提高(Mikolov等,2011;Ciodaro等,2012;Hinton等,2012;Krizhevsky等,2012;Farabe等,2013;Helmstaedter等,2013;Sainath等,2013;Tompson等,2014;Szegedy等,2014;Ma等,2015)。这方面的发展主要基于算法的逐渐成熟和数据的不断丰富。深度结构(涉及多个非线性处理单元层)非凸目标代价函数中普遍存在的局部最小是训练困难的主要来源。基于深信度网(DBN)提出非监督贪心逐层训练算法(Bengio等,1994, 2005),此外提出的卷积神经网络(CNNS)是第一个真正多层结构学习算法,它利用空间相对关系减少参数数目以提高BP训练性能(Le Cun等,1990)。利用深度学习技术从遥感影像中提取结构特性的相关研究较少,现有研究主要集中在利用固定的图像处理算法从遥感影像中提取建筑物相关信息,如利用阴影几何模型和阴影特征实现阴影检测,基于阴影的强度和几何形状实现影像的识别和分类(Jiang等,1994)。夏浩铭等通过提取纹理特征结合BP神经网络实现对遥感地物进行判定分类(夏浩铭等,2012);利用支持向量机的方法,通过训练分类器实现阴影区域的检测(Choi等,2010)。现有建筑物结构分类方法主要有现场调查、遥感影像人工解译、影像光谱特征分析、影像多特征融合等(李强等,2016;杜浩国等,2018;李金香等,2019),与机器学习方法相比人工干预较为显著。采用较为先进的图像分类及处理技术,可以提高分类精度及效率。
本文基于深度学习方法构建建筑高度、建筑功能和建筑结构类型识别模型,完成基于机器视觉的建筑高度模型;运用训练好的基于Xception神经网络深度学习模型和基于机器视觉的模型,对北京地区的建筑高度进行模型测试,此方法可为地震保险分析提供重要的基础数据支持。
1. 基于深度学习的建筑信息识别模型
1.1 数据来源及深度学习网络识别模型
本文所采用的街景图像主要来自于北京市主城区,获取内容如下:
(1)目标城市主城区道路分布图(shp格式),主要包括空间位置、道路长度、道路级别等信息,坐标系为WGS84。主城区建筑分布图(shp格式),包括空间位置信息(经纬度、轮廓范围,坐标系为WGS84)和房屋属性信息(编号、存在状态、地址、房屋层数、结构类型、建筑年代、面积、周长等)。
(2)选取所需关注因素:房屋编号、经纬度、房屋层数、结构类型、建筑年代、面积、周长等,对相应数据进行筛选和清洗。
(3)利用百度地图JavaScript API,将地理信息数据由WGS84坐标转化为百度地图BD09中可以使用的地理坐标。
(4)考虑建筑物中心点坐标以及全景的位置,选择视角、视野等参数,利用百度地图中的全景静态图服务批量获取街景图。建筑数据来源及入库流程如图 1所示。
本项目对建筑高度的识别主要通过提取建筑物的层高特征进行判断,将建筑物按照层高分为1层,2-3层,4-6层以及7层以上。其中训练集为15000张,验证集为1000张,测试集为895张,通过将训练集输入至深度学习模型进行计算,最后模型在测试集的准确率为52.4%,识别受限于树木、道路遮挡等状况。本文通过Xception神经网络中的卷积神经网络进行建筑特征图像识别,包括Entry flow、Middle flow、Exit flow三部分,其中Entry flow包含8个conv,Middle flow包含3×8=24个conv,Exit flow包含4个conv,共36层,层与层之间采用残差形式连接。Xception神经网络模型识别建筑信息处理流程如图 2所示。
1.2 模型参数对结果的影响
本文构建的机器学习模型共有5个卷积层,图 3(a)、(b)、(c)分别为冻结全部卷积层参数、冻结前四个卷积层参数、冻结前三个卷积层参数后的计算结果。表 1是冻结不同卷积层参数的结果对比。由图可知,当冻结全部卷积层参数时,只训练全连接层数,网络是发散的,因此训练获得参数无法使用;当冻结前四个卷积层参数或冻结前三个卷积层参数时,均可取得较好的效果,测试精度和测试误差相似,但冻结前四个卷积层参数相比冻结前三个卷积层参数,其收敛更快,能更快达到期望的效果。
表 1 冻结不同卷积层参数计算结果Table 1. The experimental results of freezing different layer parameters冻结层数 每次迭代时间/s 测试集误差 测试准确度 测试误差变化趋势 冻结全部卷积层参数 37 网络发散 — — 冻结前四层卷积层参数 36 0.4400 0.8342 在40次迭代后趋于稳定 冻结前三层卷积层参数 37 0.4189 0.8459 在60次迭代后趋于稳定 2. 基于机器视觉的建筑信息识别模型
2.1 图像来源及处理方法
首先从OSM网站2下载北京地区的地理信息,并将下载的OSM格式数据转化为json格式,再从已有信息中提取所有建筑物坐标和建筑物类型,共计57302栋建筑物。对相应数据进行处理,可将建筑物信息保存为包括建筑物角点坐标、建筑物中心位置坐标的一系列文件,建筑物中心位置坐标通过建筑物角点坐标计算得到;其次,通过百度地图开放网站获取建筑物对应的相机经纬度坐标、偏航角和俯仰角等,通过API接口批量获取对应建筑物的街景图。经统计,存在相机位置的建筑物数量为24437栋(包含损坏图片)。按照相机投影原理,将OSM数据中建筑物的轮廓坐标投影到街景图中,根据两者之间的匹配关系确定建筑物高度,从OSM数据可获得正阳门轮廓中四个角点的经纬度坐标分别为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4),及对应的相机位置为(xc,yc),根据相机位置和建筑物位置,选取四个角中的两个角点作为投影坐标,用P表示:
2 https://www.openstreetmap.org
$$\boldsymbol{P}{\rm{ = }}\left[ \begin{gathered} {x_{\rm{1}}}, {y_{\rm{1}}} \\ {x_{\rm{2}}}, {y_{\rm{2}}} \\ \end{gathered} \right]$$ (1) 获取的街景图宽1024像素,长512像素,偏航角α由建筑物中心位置和相机的相对位置确定,俯仰角β统一设置为0°,翻滚角γ为0°,确定相机外参矩阵及内参矩阵,得到相机投影坐标。外参矩阵和内参矩阵如式(2)—(6)所示:
$$ \boldsymbol{R}=\boldsymbol{R}_{y} \ · \ \boldsymbol{R}_{x} \ · \ \boldsymbol{R}_{z}$$ (2) $${\boldsymbol{R}_z} = \left[ {\begin{array}{*{20}{c}} {\cos (\alpha)}&{ - \sin (\alpha)}&0 \\ {\sin (\alpha)}&{\cos (\alpha)}&0 \\ {0}&{ 0}&1 \end{array} } \right]$$ (3) $${\boldsymbol{R}_x} = \left[ {\begin{array}{*{20}{c}} 1&0&0 \\ 0&{\cos (\beta)}&{ - \sin (\beta)} \\ 0&{\sin ((\beta))}&{\cos (\beta)} \end{array}} \right]$$ (4) $${\boldsymbol{R}_y} = \left[ {\begin{array}{*{20}{c}} {\cos (\gamma)}&0&{\sin (\gamma)} \\ {0}&1&{0} \\ { - \sin (\gamma)}&0&{\cos (\gamma)} \end{array} } \right]$$ (5) $$\boldsymbol{K}=\left[ \begin{matrix} {}^{f}\!\!\diagup\!\!{}_{{{d}_{x}}}\; & \ \ \ 0 & {{u}_{0}} \\ 0 & {}^{f}\!\!\diagup\!\!{}_{{{d}_{y}}}\; & {{v}_{0}} \\ 0 & \ \ \ 0 & 1 \\ \end{matrix} \right]$$ (6) 式中,f为焦距,dx和dy为尺度因子。
世界坐标到相机坐标的映射关系如式7所示:
$$\lambda p = {\rm{[}}K{\rm{|}}{\boldsymbol{O}_{\rm{3}}}{\rm{]}}\left[ {\begin{array}{*{20}{c}} \boldsymbol{R}&{ - \boldsymbol{R}C} \\ {\boldsymbol{O}_{\rm{3}}^{\rm{T}}}&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} P \\ 1 \end{array} } \right]$$ (7) 式中,$\lambda p$为投影到街景图上的坐标,P为投影坐标(辅以高度信息),K为相机内参数,C为相机中心坐标,O3表示零矩阵。
2.2 模型识别效果
为测试并验证本文模型利用街景图识别建筑高度的准确性和适用性,从OSM数据库下载北京市的建筑轮廓数据,并通过上述模型对采集的百度街景图进行识别计算,共获得14056栋建筑的高度。为对比模型计算结果与第三方数据公司提供的近似真实建筑高度的差别,本文按照楼层数量对建筑进行分类分析,具体分为1-9层(高度<30米)和10层及以上(高度≥30米)两类。模型测算高度与真实高度的相关性和误差如图 4-6所示,其中图 4为所有建筑数据集合,图 5、图 6分别为不同高度数据集合。由图可知,模型测算高度与误差之间有较好的相关性。在建筑高度为1-9层(小于30米)时,机器学习获取的建筑高度与误差之间的线性拟合相关性R2达到0.9337,随着建筑高度增加,本模型测算出的建筑高度误差增大,即本模型在识别建筑高度时,对于中低层建筑识别精度较高,建筑过高会增加识别的误差。
3. 结论
本文采用深度学习方法从影像数据中提取面向地震保险需求的建筑特性数据,构建基于深度学习方法的建筑高度识别模型,运用训练好的基于Xception神经网络深度学习模型对北京地区的建筑高度进行测试。结果表明,从技术方法角度,识别是可行的,但从数据源角度,街景图像的背景复杂,车辆、行人和树木可能会干扰提取图像特征,如何进行图像去噪将是后期研究的重点;采用机器视觉技术进行建筑高度识别,在建筑高度小于30米时,模型测算高度与误差之间的线性拟合相关性较高,其线性拟合给出的是误差的平均值,误差的平均值不代表识别精度的高低,主要反应的是整体估计的偏差。楼层越低,模型总体估计越大,楼层越高,模型总体估计越小。新方法和传统方法的结合使用可为地震保险分析提供重要的基础数据支持。
-
表 1 本研究方法获取房屋数据的优点
Table 1. The advantages of our approach in obtaining housing data
比较项 行业专项方法(野外+统计+算法) 本研究方法(遥感信息提取) 效果 格网图 真实空间信息 精度 估算值 测绘级精度 数据呈现 不能完全展示所有要素 全要素展现 数据类型 估算格网数据 属性+影像 制作周期 效率低、周期长 效率高、周期短 制作成本 成本高 成本相对低 表 2 建筑物提取精度评价
Table 2. Accuracy evaluation of buildings
评价区域 Aauto/m2 Amanual/m2 Acommon/m2 TC/% TF/% 1 1213 1128 1081 95.79 11.73 2 1230 1228 1159 94.36 5.81 3 959 938 889 94.77 7.43 4 922 790 774 98.02 18.70 5 925 873 853 97.71 8.20 6 961 946 903 95.45 6.09 7 1752 1373 1157 84.24 43.34 8 5586 4665 4085 87.57 32.17 9 2086 1673 1379 82.45 42.25 10 5242 4806 3631 75.54 33.52 表 3 调查区建筑物提取精度评价(单位:幢)
Table 3. Accuracy evaluation of buildings of the investigation area (unit:building)
房屋类型(调查) 房屋类型(解译) A B C D E 合计 A 0 19 0 0 0 19 B 0 479 0 0 0 479 C 0 0 170 0 0 170 D 0 0 0 126 0 126 E 0 0 0 3 4 7 合计 0 498 170 129 4 801 表 4 研究区各结构类型建筑物面积统计表
Table 4. Statistics of areas of various structure types buildings in the study area
房屋类型 建筑数量 占地总面积/m2 建筑总面积/m2 A 41 9267 9267 B 1396 350982 350982 C 408 115608 213960 D 799 722360 3460573 E 155 166987 414601 F 11 14600 306044 G 42 3407 6813 总计 2852 1383211 4762240 -
曹彦波, 李永强, 曹刻等, 2007.云南数字等震线模型在2007年宁洱6.4级地震预评估中的应用研究.地震研究, 30(4):389-394. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=dzyj200704014 常想德, 孙静, 谭明等, 2017.2016年新疆呼图壁6.2级地震房屋震害及成因浅析.震灾防御技术, 12(1):1-13. doi: 10.11899/zzfy20170101 陈有顺, 李文巧, 哈辉, 2009.青海省海西州大柴旦6.3级地震房屋震害调查与分析.震灾防御技术, 4(1):117-121. doi: 10.11899/zzfy20090112 崔红霞, 林宗坚, 孙杰, 2005.大重叠度无人机遥感影像的三维建模方法研究.测绘科学, 30(2):36-38. http://www.cnki.com.cn/Article/CJFDTOTAL-CHKD200502009.htm 丁文秀, 李志强, 卓力格图等, 2015.四川省房屋数据空间化及在芦山7.0级地震灾情快速评估中的应用.灾害学, 30(2):128-132. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zhx201502025 董小姣, 张东水, 李朝奎, 2013.面向对象的泰安市高分辨率影像住宅建筑物提取.地理空间信息, 11(1):67-69. http://www.cnki.com.cn/Article/CJFDTOTAL-DXKJ201301024.htm 甘承钊, 汪振华, 沈业龙, 2000.合肥市房屋基础资料调查与数据库建立.中国减灾, 10(1):39-42. http://www.cnki.com.cn/Article/CJFDTOTAL-DQHX200606008.htm 高兴和, 2002.地质灾害承灾体易损性探究.中国地质矿产经济, 15(4):28-31. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zgdzkcjj200204010 韩贞辉, 2013. 基于震害分类的房屋数据格网化研究. 北京: 中国地震局地质研究所. 康薇薇, 顾志强, 李斌, 2011.房屋调查在特高压项目中的应用初探.中国科技信息, (21):49-50. http://mall.cnki.net/magazine/Article/HBSL201403017.htm 李慧明, 崔杰, 朱勇, 2010.陇南地区房屋震害调查与易损性矩阵的建立.震灾防御技术, 5(1):137-143. doi: 10.11899/zzfy20100116 李金香, 李亚芳, 李帅等, 2017.无人机遥感技术在新疆皮山地震灾情获取中的应用.震灾防御技术, 12(3):690-699. doi: 10.11899/zzfy20170324 李政国, 张茂省, 李林, 2011.面向对象的遥感影像承灾体边缘提取方法.水文地质工程地质, 38(1):128-132. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=swdzgcdz201101024 乔程, 骆剑承, 吴泉源等, 2008.面向对象的高分辨率影像城市建筑物提取.地理与地理信息科学, 24(5):36-39. http://www.cnki.com.cn/Article/CJFDTOTAL-DLGT200805008.htm 陶超, 谭毅华, 蔡华杰等, 2010.面向对象的高分辨率遥感影像城区建筑物分级提取方法.测绘学报, 39(1):39-45. http://mall.cnki.net/magazine/Article/CHXB201001011.htm 田野, 向宇, 高峰等, 2013.利用Pictometry倾斜摄影技术进行全自动快速三维实景城市生产——以常州市三维实景城市生产为例.测绘通报, 42(2):59-62, 66. http://mall.cnki.net/magazine/Article/CHTB201302020.htm 王锋, 1991.要重视承灾体的考察研究.灾害学, 6(3):86-88. http://www.cnki.com.cn/Article/CJFDTotal-JJSL201602017.htm 王伟, 黄雯雯, 镇姣, 2011.Pictometry倾斜摄影技术及其在3维城市建模中的应用.测绘与空间信息, 34(3):181-183. http://www.cnki.com.cn/Article/CJFDTotal-DBCH201103061.htm 王岩, 王晓青, 窦爱霞, 2009.面向对象遥感分类方法在汶川地震震害提取中的应用.地震, 29(3):54-60. http://www.cqvip.com/QK/92280X/200903/31077162.html 王瑛, 王阳, 2009.城乡承灾体差异对地震灾情的影响——以包头地震和姚安地震为例.灾害学, 24(1):122-126. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zhx200901025 徐昌荣, 葛山运, 2011.基于面向对象的高分辨率遥感影像建筑物提取研究.城市勘测, (1):84-86. http://mall.cnki.net/magazine/Article/XXDL201520015.htm 杨耀中, 刘明, 黄祖英等, 2014.江苏省海洋灾害承灾体调查研究.科技资讯, 12(5):199-200. http://www.cqvip.com/QK/87241X/201405/49369134.html 殷杰, 尹占娥, 于大鹏等, 2012.风暴洪水主要承灾体脆弱性分析——黄浦江案例.地理科学, 32(9):1155-1160. http://geoscien.neigae.ac.cn/article/2012/1000-0690/17605 曾涛, 杨武年, 简季, 2009.无人机低空遥感影像处理在汶川地震地质灾害信息快速勘测中的应用.测绘科学, 34(S1):64-65, 55. http://mall.cnki.net/magazine/article/CHKD2009S2023.htm 曾涛, 杨武年, 黎小东等, 2010.面向对象的高空间分辨率遥感影像信息提取——汶川地震城市震害房屋案例研究.自然灾害学报, 19(5):81-87. http://www.oalib.com/paper/4488785 张继文, 祁冰, 夏树威, 2009.江油地区汶川震害房屋调查与分析.河南科学, 27(12):1579-1582. doi: 10.3969/j.issn.1004-3918.2009.12.027 中华人民共和国国家质量监督检验检疫总局, 中国国家标准化管理委员会, 2005. GB/T 18208. 4-2005地震现场工作第4部分: 灾害直接损失评估. 北京: 中国标准出版社. 中华人民共和国住房和城乡建设部, 2010. JGJ 3-2010高层建筑混凝土结构技术规程. 北京: 中国建筑工业出版社. Jin X. Y., Davis C. H., 2005. Automated building extraction from high-resolution satellite imagery in urban areas using structural, contextual, and spectral information. EURASIP Journal on Applied Signal Processing, 2005(14):2196-2206. http://cn.bing.com/academic/profile?id=b22139f62043718d6cb80d173ef0cfc6&encoded=0&v=paper_preview&mkt=zh-cn -