Design and Implementation of Sina Weibo Earthquake Public Opinion Database
-
摘要: 社交媒体地震舆情数据可实时反映灾区现状，为震后应急提供较好的地震灾情舆情研判服务。选取新浪微博作为数据源，对接EQIM，采用新浪微博开放平台API与分布式网络爬虫相结合的方式获取地震舆情数据。在数据清洗和基于fastText地震相关性分类模型进行数据预处理的基础上，应用MySQL关系型数据库，设计并实现我国大陆地区准实时新浪微博地震舆情数据库及管理平台。现阶段，该数据库收集了2021年1月1日至2022年3月31日我国大陆地区3.0级及以上地震447次、地震舆情数据732 949条，实现数据下载、快速查询及精确查询，方便数据查询与管理，有助于震后舆情监控与灾情快速获取。Abstract: Social media earthquake public opinion data reflect the current situation of the disaster area in real time, and provide a better service of earthquake disaster public opinion evaluation for post-earthquake emergency response.In this paper, selecting Sina Weibo as the data source and connecting EQIM, the combination of Weibo API interface and distributed web crawler is used to obtain earthquake public opinion data.On the basis of data cleaning and data preprocessing based on fastText seismic correlation classification model, using MySQL relational database,we design and achieve the quasi real-time Sina Weibo earthquake public opinion database and database management platform in mainland China area.At present, the database has collected 447 earthquakes with MS3.0 or above in mainland China from January 1, 2021 to March 31, 2022, and 732 949 earthquake public opinion data. It lays a foundation for social media earthquake public opinion data mining and analysis research.
-
Key words:
- Database /
- Earthquake emergency /
- Network public opinion /
- Social media /
- Sina Weibo
-
引言
地震预测预报、震害防御、应急救援是有效避免人员伤亡和减轻地震灾害损失的3个重要手段，有效的短临预报目前仍是一个世界性难题，后两者则成为当今最大限度减轻地震灾害损失的重要研究课题。在人口聚集的城镇区，合理规划地震应急避难避险场所不仅是震害防御准备中不可或缺的措施之一，更是灾后能够及时开展应急救援的必要条件。国内外在学术研究领域和政府政策法规方面，都对地震应急避难避险场所给予了极大关注（Turkstra，1977；姚清林，1997；都市緑化技術開発機構等，2000；周天颖等，2001；杨文斌等，2004；中华人民共和国建设部，2007；李志强等，2013）。这些研究大多着眼于整个城市范围，是基于简化、静态人口数据空间分布模型的宏观评价，而构成城市基本单元的社区，才是防震减灾的基本单元（张勤等，2009），但目前缺乏针对社区级的具体情景和人口时空差异性分布的微观评价研究。
地震最主要的伤亡原因通常是建筑物的倒塌。在人口和建筑均密集的社区，人们的首要需求是在地震发生时附近有可以紧急逃往并躲避危险的场所，即社区级地震应急避险场所（施小斌，2006；樊良新等，2013）。与拥有较为完备的生活设施的应急避难所不同，地震应急避险场所只需要为人们提供一个开放的安全空地，待地震过后返回解除危险的房屋或者转移集合到可以提供生活设施条件的避难所，所以一般使用期仅为几十分钟到一天。目前，城市建筑一般都参照较高的抗震设防标准建设（中华人民共和国建设部，2007），地震发生时人们出于安全考虑，绝大多数都会本能地逃离建筑到安全空地躲避，因此地震应急避险场所要满足区域内所有人的避险需求，其需求量要比避难所大得多。目前城市建设用地追求高效、集约利用，城市单体建筑的高度和密度不断增高，且汽车增多带来的空地被停车场大量占用等，导致居民区、高楼区等城市社区级的地震应急避险场所严重不足（杨文斌等，2004；赖俊彦等，2015）。
与研究整个城市地震应急避难场所不同，评价社区级地震应急避险场所时不应再采用静态的人口分布数据模型。一个城市的总人口在一定时期内是相对固定的（毛夏等，2010），因而研究城市避难所只需要关注受灾人口的空间差异性（李炜民等，2007；陈振拓等，2012；吴健生等，2015）。现今商业工作区和生活居住区通常位于城市的不同区域，城市内部人口流动非常频繁，在非孤立的社区范围层面，人口作为最关键的地震受灾体，具有不可忽视的时空分布差异性（张勤等，2009；Freire等，2012；袁海红等，2016）。
本文以北京丰台区长辛店地区为例，将研究目标细化为社区级别的地震应急避险场所，并根据实地调查、走访、统计获取更符合实情的社区人口空间和时间分布数据，并基于这种具有时空差异性的人口分布模型，提出一套评价社区现有地震应急避险场所的方法，以期为政府在新建社区和城区规划时提供一些有益的参考。
1. 研究区与研究对象
北京市位于北西向张家口-北京-蓬莱地震带和北东向三河-涞水-灵寿地震带的交汇部位（徐杰等，2015），北京及临近地区历史上记录到7级及以上地震6次，其中最大地震为1679年三河-平谷地震，震级高达8级（国家地震局震害防御司，1995；汪素云等，1998；何宏林等，2008）。根据2015年最新发布的《中国地震动参数区划图》（GB 18306—2015），除位于1679年8级大震震中区的马坊镇外，北京市地震峰值加速度在0.1—0.2g之间，其中长辛店地区的地震峰值加速度为0.2g，属于Ⅷ度高烈度区。前人在评估北京城区绿地防灾避险功能时认为丰台区长辛店镇防灾避险的服务覆盖范围较低（张灿强等，2012），但其评价对象只限于能提供综合防灾能力的绿地系统，而具有地震应急避险功能的还有学校操场、城市广场等各类空地。因此，本文选取长辛店镇的人口聚集地区为研究区，如图 1所示。研究区总面积约16km2，主要由长辛店和张郭庄2个人口最多的行政村组成，总户籍人口5万余人，占长辛店镇总人口的一半以上。2个行政村的建筑密集、社区相连，周边被园博园、永定河和山岗地所环绕，构成一个较为独立的人口聚集社区研究单元。
图 1 研究区地理位置及卫星影像Figure 1. Geographic location and satellite imagery of the study area按照国家标准地震应急避难、避险场所可分为规模较大且功能设施较全的中心避难场所，具备一定生活设施的固定避难场所以及仅供临时就近避震疏散的紧急避震场所（中华人民共和国建设部，2007；中华人民共和国国家质量监督检验检疫总局等，2008）。本文的研究对象属于最后一种类别，是人们在感知地震后紧急逃往的最近避险场地，在暂时等待地震危险消除后重新回到工作生活场地，或者震灾后转移到固定避难场所。该类社区级地震应急避险场不需要具备生活设施和很大规模，只要有建（构）筑物倒塌危险范围以外的安全空地即可，居民日常生活圈中的公园绿地、城市片林、绿化带、城市广场、体育场地、学校运动场、停车场地、工程空地等各类场地都可以作为地震应急避险场所。另外，相对固定的应急避难场所在震灾前期也承担临时紧急疏散的功能（张丽梅等，2005）。因此，我们将上述场地都作为本文的研究对象。
2. 评价方法模型
2.1 评价原则指标
地震应急避难过程中，受灾群众一般会有2个空间的转换：首先是以最短的时间从震灾现场紧急疏散到临时的应急避险空间，然后从临时应急避险场所转移到相对稳定的避难空间（张丽梅等，2005）。地震应急避险场所作为人们在获知地震发生时临时紧急躲避危险的空间，不同于相对稳定的应急避难所需要综合兼顾资源保障、社会控制等因素（熊焰等，2014），其只需注重场地本身的环境支撑能力。因此，地震应急避险场所的评价主要有以下4个原则指标（图 2）：
图 2 社区级地震应急避险场所评价指标Figure 2. Assessment index of earthquake emergency shelter of community（1）安全性
安全性是评价避险场地的首要指标（姚清林，1997；苏幼坡等，2004）。可从3个方面评价避险场地的环境安全性：①地震地质环境安全，即应避让地震断层和地震次生地质灾害影响区域，如严重砂土液化地区、易发生泥石流和滑坡及软土震陷地区等；②自然-人工环境安全，如避让水库河堤下游泄洪区，采矿区陡崖陡坡等；③人工环境安全，如避让高层建（构）筑物垮塌范围、地下停车的地面空地、高压线走廊沿线、化学药品及易燃易爆仓库储存地等。
（2）可达性
地震灾害发生后，人们在紧急逃生时一般以步行方式就近选择避险场所，因此避险场所应在步行5分钟内可达，故其服务半径宜为500m（杨文斌等，2004；中华人民共和国建设部，2007）。同时，避险场所附近要有开放的道路允许人们步行到达。
（3）面积容量
人们在应急避险场所停留的时间一般只有几个小时，基本的活动主要有站立和蹲坐（张丽梅等，2005；张灿强等，2012），并且需要一定的身体舒展活动空间，同时考虑社区中老人的特殊身体情况和此阶段可能存在紧急救助伤员的空间需求，人均有效应急避险面积应不少于1.5m2。社区居民在应急避险场所及时开展互救可以大大减少灾害伤亡损失，因此，为满足一定数量居民聚集的需求，社区级地震应急避险场所的面积一般应不小于1000m2（李刚等，2006；陈志芬等，2010；鲁昭等，2011）。避险场所实际的有效避险面积除以人均避险面积即为其避险容量。
（4）均衡分布
为了人们在发生灾难时能够迅速到达地震应急避险场所，避险场所应较均匀地分布，同时还要考虑与人口密度时空差异相对应的合理分布。
2.2 模型的建立
2.2.1 前提假设
（1）以小区为单位调查统计人口的空间分布，并依据人口分布的时空差异性将目标区分为住宅区、工作区、地震应急避险场所以及既不适合避险又鲜有人口分布的其他区域；
（2）假定每个人口分布区（住宅区、工作区）内的人口均匀分布；
（3）不考虑地震应急避险场所中的人口分布；
（4）每处地震应急避险场所的边界向外延伸500m（服务半径）的区域称为该地震应急避险场所的服务区；
（5）当研究区内地震应急避险场所的服务区已覆盖所有人口分布区时，各服务区间通常会有重叠区域，导致重复计算人口需求，为消除重复计算，将重叠区域分别只划归到最近的地震应急避险场所，此时得到的互不重叠的服务区划分结果称为地震应急避险场所的“最邻近区”；
（6）考虑城市中人口分布随上下班时间段有明显的变化，且工作区域和居住区域甚至分处城区和郊区，本研究考虑的人口分布随时间的差异变化仅区分白天（即工作时间）和夜间（非工作时间，节假日时间等同夜间），不同时间段目标区内人口总数可能不同；
（7）考虑住宅区白天仍有退休老人等，设定夜间人口分布数量为Lj（工作区夜间无人口分布），白天时段工作区人口数为Wi，白天生活住宅区人口分布数量为夜间人口分布数量的a%，由此计算服务区和最邻近区内人口总数的公式为：
$$ \left\{ \begin{array}{l} 白天人口总数D = \sum {{W_i} + a\% \times \sum {{L_j}} } \\ 夜间人口总数E = \sum {{L_j}} \end{array} \right. $$ (1) 2.2.2 评价等级
（1）A级：目标区内地震应急避险场所的服务区覆盖全部人口分布区，并且目标区内每一个避险场所的容量都不小于其对应的服务区内所有时段的人口总数且满足可达性原则。该级别区域内地震应急避险场所分布合理，且容量充足，人们可以任意选择服务半径内的避险场所。
（2）B级：目标区内地震应急避险场所的服务区覆盖全部人口分布区，并且目标区内每一个避险场所的容量都不小于其对应的最邻近区内所有时段的人口总数并且满足可达性原则。该级别区域内地震应急避险场所分布合理，但需要指导人们只能到最邻近的避险场所进行避险。
（3）C级：目标区内地震应急避险场所的服务区覆盖全部人口分布区，但部分避险场所的容量小于其最邻近区内所有时段的人口总数。该级别区域内地震应急避险场所分布合理，但避险场所容量不能满足人们的避险需求，应扩建避险场所规模。
（4）D级：目标区内所有地震应急避险场所的服务区未覆盖全部人口分布区。该级别区域内地震应急避险场所分布不合理，存在避险场所服务空区，应增建避险场所。
2.2.3 评价流程
地震应急避险场所分布合理性的评价可以分为4个阶段，如图 3所示。阶段1为评判工作的资料准备和预处理阶段；阶段2评估应急避险场所服务区覆盖能力，如果能覆盖全部人口分布区就进入下一个评判阶段，否则就应评为D级；阶段3评估应急避险场所的容纳能力，若其容量不少于其服务区各时段的人口总数，就可评为A级，否则进入阶段4，只考量各应急避险场所最邻近区域的人口数，当应急避险场所的容纳量可满足其最邻近区域人口需求时，评估为B级，否则评为C级。
图 3 地震应急避险场所分布合理性的评价流程Figure 3. Flowchart of assessing rationality of spatial distribution earthquake emergency shelters3. 分析与结果
采用上述评价指标和流程，对目标区北京长辛店地区进行了地震应急避险场所的时空差异性评价。
3.1 资料准备和预处理（阶段1）
（1）地震断裂带、地震次生灾害的分布区域
通过搜集目标区及周边的遥感影像、地图和地震构造图、地震区划图等相关地震、地质资料，我们了解到北京市主要发育北东向和北西向2组断裂带（徐锡伟等，2015），其中一条北西向的永定河断裂从本目标区的西北端通过，该断裂沿永定河河谷延伸，长30余千米，根据构造地貌解译和物探推测其为一条隐伏的中更新世活动正断裂（图 4）。由于在该断裂展布的位置规划建设了园博园，使得重要设施和一般住宅等建筑物合理地避开了断裂，不会对地震应急避险场所的有效面积产生影响，所以该断裂对分析评估目标区内应急避险场所的影响可以不计。此外，目标区地处平原开阔区域，距离西山较远，地质灾害如泥石流、山体滑坡等对本区域地震应急避险场所的影响也可以不予考虑。
图 4 北京市活动断裂分布（资料来源于“活动断层探测数据汇交与共享管理中心”）Figure 4. Distribution of active faults around Beijing（2）根据步行可通行性划分子目标区
目标区东南角有京港澳高速公路穿过，其在区内5028m的沿线均设有行人无法通行的隔离栏。根据可达性原则，我们以高速路为界将目标区划分为2个子目标区域，即A区和B区，如图 5（a）所示，A区实际较为狭小，在下文的计算分析中将着重分析B区，对A区只进行简要论述。
图 5 子目标区划分（a）及地震应急避险场所、住宅区、工作区的分布图（b）Figure 5. Sub-target area division; (b) distribution of earthquake emergency shelters, residential area, and working areas（3）住宅区、工作区、避险场所与人口分布统计
根据实地走访调查和遥感数据解译测量，将目标区域划分为地震应急避险场所、工作区、住宅区和既没有人口分布又不符合地震应急避险场所条件的其他区域，并实地走访调查各区域实际人口分布情况。如图 5（b）所示，目标区拥有60处应急避险场所，包括公园、广场、操场、停车场、林地和闲置空地等类型，总面积达到约6.783×106m2；共有住宅小区54个，总居住面积约6.736×106m2，最大居住人口约12.6万人，与2010年第6次全国人口普查中长辛店街道办事处统计的常驻人口8.1万人相比较，并考虑近年北京外围城区的发展导致的外来人口加快增长等情况，认为该调查结果具有可信性。同时参考人口普查数据，丰台区65岁及以上人口占常住人口的8.9%，故将公式（1）中的比例指数a取10。区域内共有工作区（场所）57个，总面积约6.552×106m2，最大总人口约16.7万人。在ArcGIS中建立地理数据库，填写存储以上各地理要素的属性信息（如类型、面积、人口数或容量等）。
3.2 地震应急避险场所的服务区覆盖范围分析（阶段2）
利用ArcGIS软件的ArcToolbox邻域分析中的缓冲区分析工具，以服务半径500m作为缓冲半径，计算出每个地震应急避险场所的服务区（图 6）。明显可见A、B区域地震应急避险场所的服务区均覆盖全部人口分布区域，证明目标区初步满足地震应急避险的需要，排除了D级的可能。
图 6 A区域（a）和B区域（b）中地震应急避险场所的服务区覆盖范围Figure 6. Coverage of service area of all earthquake emergency shelters in the Area A (a) and Area B (b)3.3 地震应急避险场所容量（阶段3）
子目标区A区没有工作区，住宅小区人口最大为7830人，唯一的地震应急避险场所为大宁山庄公园，面积266770m2，可容纳177846人进入避险，足以容纳其服务区内的所有人，所以A区符合A级合理性评估标准。
B区既有住宅区也有工作区，需要对其分白天和夜间2个时间段进行分析。首先用ArcToolbox工具箱中叠加分析的相交分析来解析B区中每个地震应急避险场所服务区分别与住宅区、工作区重叠的部分（图 7（a）），然后根据公式（1）计算每个服务区内2个时间段的人口总数。结果显示，夜间所有应急避险场所的服务区人口数均小于其容纳量，而白天时间段则有19处应急避险场所的服务区人口需求超过其容纳量（图 7（b）），其服务区影响范围几乎覆盖了长辛店和张郭庄行政中心区域。因此，子目标区B区不符合A级合理性标准，但从图 7明显可见各地震应急避险场所服务区重叠度偏高，以服务区总人口需求计算存在大量重复冗余，因此，需要针对白天时间段继续进行最邻近区人口需求的评估分析。
图 7 B区应急避险场所服务区覆盖住宅区和工作区情况（a）及容量不满足服务区人口需求的应急避险场所分布图（b）Figure 7. (a) Residential area and work area covered by service area of all earthquake emergency shelters in the Area B, (b) residential area and work area covered by service area of earthquake emergency shelters with shortage of capacity in the Area B3.4 地震应急避险场所容量能否覆盖最邻近区域人口（阶段4）
利用ArcGIS软件中Spatial Analyst工具集的欧式分配工具，结合栅格转面要素工具，得到B区中距离每个地震应急避险场所500m内的最邻近区域（图 8（a）），然后再利用相交分析工具并结合公式（1）得到白天时间段各地震应急避险场所最邻近区域的人口总数。与各地震应急避险场所容量比较后仍有6处应急避险场所的容纳量小于其最邻近区域内的人口总数（图 8（b））。如表 1所示，与地震应急避险场所最邻近区的最大人口需求相比，长辛店二小和长辛店七小附近的避险场所需扩充的面积大于1000m2，在该区域附近地震应急避险场所明显不足。综上，子目标区B区大部分区域满足B级合理性标准，而长辛店二小、长辛店七小、长辛店一小周边区域地震应急避险场所规模相对总人口的避险需求偏小，应评价为C级。
图 8 B区应急避险场所最邻近区覆盖住宅区和工作区情况（a）及容量不满足最邻近区人口需求的应急避险场所分布图（b）Figure 8. (a) Residential area and working area covered by the nearest neighborhood area of all earthquake emergency shelters in the Area B, (b) residential area and working area covered by the nearest neighborhood area of earthquake emergency shelters with shortage of capacity in the Area B表 1 容量不满足最邻近区人口需求的地震应急避险场所Table 1. Earthquake emergency shelters with shortage of capacity to the need in their nearest neighborhood area应急避险场所名称 类型 面积/m2 容纳量/人 最邻近服务区面积/m2 最邻近服务区最大人口需求/人 应急避险场所需扩充的面积/m2 长辛店二小操场 操场 1070 713 284453 3357 3966 长辛店七小操场 操场 1334 889 84050 2027 1707 长辛店一小操场 操场 1780 1186 303273 1725 809 长铁培训学校空地 空地 4225 2816 272454 3160 516 北京十中分校操场 操场 5685 3790 284625 3953 245 西后街空地 空地 4733 3155 377299 3316 242 注：容纳量根据避险场所的总体面积计算，即容纳量=面积÷1.5m2/人。 4. 讨论和认识
在实际调查研究中发现，与政府规划的城市级别的固定地震应急避难所不同，地震应急避险场所在人口密集的社区需求更大，但更易被人们忽视，进而在无意中被占用、破坏。采用本研究提出的地震应急避险场所分布合理性评价方法，对北京市丰台区长辛店地区的地震应急避险场所的分布合理性进行评估，结果显示，其综合整体评价结果为C级。问题主要表现为在长辛店二小、长辛店七小、长辛店一小周边区域地震应急避险场所的规模（避险容量）不足，相对该区域实际居住人口的密度存在一定的差距，紧急状态难以承担现有人口的避险压力。另外，对于公园、停车场等类型地震应急避险场所，应该排除树林、灌木、假山、停放车辆等地物占用部分面积，以及高层建筑崩落影响范围区的面积（李继东等，2008），但鉴于此情况数据获取复杂以及存在不确定性，本研究未排除上述影响，所以目标区内实际有效应急避险的面积应更少。
造成不合理的原因主要有2个方面：其一，近年来年北京市发展迅猛，人口急剧膨胀，诸如公园、绿地等一些公共设施的规划不足；其二，过去的城市建设规划很少考虑应急避险场所，而是建设完成后再考虑应急避险场所的布设，分布难以达到合理，存在先天不足。另外，随着近年防震减灾意识以及建筑物抗震性能的增强，在一定程度上减轻了人们对应急避险场所的巨大需求压力，本文采用研究区内全部人口数作为需求量应是评价标准的上限指标。
针对造成分布不合理的原因，有2条建议可供市政规划部门以及小区开发商等相关单位参考：①对已经完成规划建设的区域，政府及社区管理部门可依据城市人口分布规律合理管理甚至扩建地震应急避险场所，增加应急避险场所的有效面积，如整顿在公共开阔区域违章搭建的构筑物，充分利用楼房周边的小片空地作为应急避险场所的补充，增加小区内有效应急避险面积等；②对于新规划社区区域，在规划阶段就应充分考虑区域人口密度分布特征，合理规划建设小区内广场、开阔公园绿地等承担地震应急避险场所功能的区域。
5. 结论
合理规划社区级地震应急避险场所，使人们在地震发生时能够及时有效地逃生避险，是避免伤亡和减轻地震灾害损失的重要手段之一。构成城镇基本单元的社区，也应是防震减灾的基本单元。与政府规划的城市级别的固定地震应急避难所不同，地震应急避险场所在人口密集的社区需求更大，也更易被人们忽视甚至被占用、破坏。如何在社区层面合理布局地震应急避险场所，如何评价已有应急避险场所的合理性并加以改善，这些都是亟待解决的问题。本文采用时间相关的社区人口分布模型，提出的一套评估社区级地震应急避险场所分布合理性的方法模型，在北京市丰台区长辛店地区得到探索应用，结果显示区内的应急避险场所分布存在一定的不合理，主要是长辛店二小、长辛店七小周边区域地震应急避险场所的规模相对该区域白天工作时间的人口密度存在一定程度的差距，紧急状态难以承担现有人口的避险压力。因此，建议政府和社区管理部门能够依据社区实际人口分布规律增强对现有地震应急避险场所的管理或者扩建，以保障甚至增加应急避险场所的有效面积；而对新小区的建设应合理增加绿地、广场等承担地震应急避险场所功能的区域规划。
致谢: 审稿人提出的修改意见使本文有了很大的改善和提高，在此表示诚挚的谢意。另外，感谢北京市科学技术协会组织的“北京青少年科技后备人才早期培养计划”为本研究开展提供的平台支持。 -
图 1 新浪微博地震舆情数据获取流程
Figure 1. Weibo earthquake public opinion data acquisition flowchart
图 3 基于fastText的地震相关性二分类学习模型
Figure 3. Seismic correlation dichotomous learning model based on fastText
图 5 微博文本数据预处理前后结果对比
Figure 5. Comparison of results before and after processing of Weibo text data
图 6 新浪微博地震舆情数据库建设逻辑
Figure 6. Concrete construction logic diagram of Weibo earthquake public opinion database
图 7 Web端新浪微博地震舆情数据库管理平台设计架构
Figure 7. Design framework of Weibo earthquake public opinion database management platform on Web
图 8 新浪微博地震舆情数据库快速查询界面
Figure 8. Quick query interface of Weibo earthquake public opinion database
图 9 新浪微博地震舆情数据库精准查询界面
Figure 9. Accurate query interface of Weibo earthquake public opinion database
图 10 单次地震新浪微博地震舆情示例
Figure 10. Weibo earthquake public opinion case excel display chart for a single earthquake
图 11 地震舆情时间特征分布示例
Figure 11. Example of time feature distribution of earthquake public opinion
图 12 云南、四川地区震级与地震频次及单次地震微博发布量关系
Figure 12. Relationship between magnitude,frequency of earthquakes and Weibo release of single earthquake in Yunnan and Sichuan
表 1 微博数据获取方法
Table 1. Data acquisition methods of Weibo
方法名称 原理与功能 优点 缺点 备注 微博开放平台API 作为1组预先定义的函数，微博运营商将开放的微博产品服务封装为一系列计算机易识别的数据接口，供第三方开发者使用。第三方向固定的网络地址提交参数后，返回数据供使用（杨飞等，2016） 调用简单，无须访问源码及了解内部工作机制等细节，相比网络爬虫等方式，使用更简洁高效 抓取次数有限制，抓取数据不全面，数据获取有一定的成本与难度。运营商对API的权限设置及访问次数进行限制，大部分接口需付费使用（廉捷等，2011） 返回数据格式通常情况下为JSON 和 XML 网络爬虫 作为1段计算机程序， 按照一定的逻辑和算法从互联网上抓取和下载网页，得到网页上的数据。具体操作流程为：设定爬行策略，从预定的1个或多个节点开始爬取网页，获取网页数据及其URL链接，再通过URL链接爬取网络中的其他节点，满足爬行条件后终止爬虫程序，并以文本形式保存（袁浩，2009；廉捷等，2011；游翔等，2014） 数据格式可定制，微博数据的获取一般均适用，且不受微博运营商权限开放范围的限制 稳定性差，时间、人力成本高。微博运营商会不定期调整HTTP请求参数及返回HTML页面格式，导致无法获取和解析微博数据，需定期监测爬虫运行情况（刘晓娟等，2013） 数据源镜像 微博运营商为所需数据的用户提供数据服务（游翔等，2014） 数据质量高 一般不向大众开放，只在政府机关传召时提供 开放数据平台 机构或个人将自己获取的数据集、语料库等以开放平台的形式公开（刘晓娟等，2013） 数据已完成预处理，可直接使用，提高研究效率 常规数据获取类型与范围受限；定制化数据获取收费较高 国内外较著名的数据开放平台有Data mo、Get The Data、SNAP、中国爬萌和数据堂等（刘晓娟等，2013） 
下载: 导出CSV
表 2 新浪微博地震舆情数据库字段属性
Table 2. Field attribute table of Weibo earthquake public opinion database
序号 字段名称 中文含义 数据类型 备注 1 eqid 地震唯一标识码 字符串 — 2 longitude 微博发布位置经度 数值型 — 3 latitude 微博发布位置纬度 数值型 — 4 mid 微博唯一标识 字符串 — 5 Pub time 微博发布时间 字符串 YYYY:MM:DD HH:mm:ss 6 content 微博内容 字符串 — 7 city 微博用户所在城市 字符串 — 8 uid 微博用户ID 字符串 — 9 nick_name 微博用户昵称 字符串 — 10 user_createtime 微博创建时间 字符串 YYYY:MM:DD HH:mm:ss 11 heading 评论人头像 字符串 — 12 belong_to_mid 评论属于的微博 数值型 — 13 pics 发布的图片 字符串 — 14 belong_to_orzid 评论ID 数值型 —
下载: 导出CSV
表 3 部分地震舆情数据（2021年1月1日至2022年3月31日）
Table 3. List of earthquake public opinion data catalogue （From January 1, 2021 to March 31, 2022）
序号 发震时间 纬度/（°） 经度/（°） 深度/km 震级MS 发震地点 数据量/条 1 2021-01-01 6:07:08 26.24 101.27 16 3.0 云南楚雄州大姚县 75 2 2021-01-02 4:24:34 36.86 94.62 9 3.5 青海海西州格尔木市 37 3 2021-01-03 2:40:25 25.63 99.92 11 3.2 云南大理州漾濞县 436 4 2021-01-03 8:34:37 24.69 117.70 28 3.0 福建漳州市长泰县 2 115 5 2021-01-03 16:16:30 43.86 91.48 10 3.6 新疆昌吉州木垒县 18 6 2021-01-04 0:34:11 29.43 104.52 10 3.2 四川自贡市荣县 422 7 2021-01-04 10:58:29 29.41 104.02 13 4.2 四川乐山市犍为县 1 788 8 2021-01-04 21:49:35 31.08 119.51 6 3.3 安徽宣城市广德县 960 9 2021-01-05 8:45:31 35.78 82.49 10 3.1 新疆和田地区于田县 19 10 2021-01-05 11:49:26 42.31 81.13 10 3.1 新疆伊犁州昭苏县 25 …… …… …… …… …… …… …… …… 437 2022-03-25 15:09:42 36.09 77.89 9 3.1 新疆和田地区皮山县 3 621 438 2022-03-26 0:21:02 38.5 97.33 10 6.0 青海海西州德令哈市 3 591 439 2022-03-28 6:21:47 42.88 87.68 14 3.0 新疆吐鲁番市托克逊县 1 071 440 2022-03-28 22:10:00 40.44 83.49 10 3.2 新疆阿克苏地区沙雅县 1 805 441 2022-03-29 5:25:09 30.03 103.41 10 4.3 四川眉山市丹棱县 1 662 442 2022-03-29 9:44:15 42.18 83.51 10 3.2 新疆阿克苏地区库车市 1 175 443 2022-03-29 9:59:33 36.12 77.95 10 3.7 新疆和田地区皮山县 1 141 444 2022-03-30 11:52:28 27.00 103.26 10 3.7 云南昭通市巧家县 1 064 445 2022-03-31 5:59:09 28.35 104.87 10 3.0 四川宜宾市长宁县 1 657 446 2022-03-31 18:05:22 33.77 91.67 9 3.4 青海海西州唐古拉地区 1 922 447 2022-03-31 18:16:02 29.29 105.49 10 3.2 重庆荣昌区 1 892
下载: 导出CSV
-
薄涛, 2018. 基于社交媒体的地震灾情数据挖掘与烈度快速评估应用. 哈尔滨: 中国地震局工程力学研究所.Bo T. , 2018. Earthquake disadter data mining and application of rapid intensity assessment based on social media. Harbin: Institute of Engineering Mechanics, China Earthquake Administration. (in Chinese) 薄涛, 李小军, 陈苏等, 2018. 基于社交媒体数据的地震烈度快速评估方法. 地震工程与工程振动, 38（5）: 206—215Bo T. , Li X. J. , Chen S. , et al. , 2018. Research of seismic intensity rapid assessment based on social media data. Earthquake Engineering and Engineering Dynamics, 38(5): 206—215. (in Chinese) 曹彦波, 吴艳梅, 许瑞杰等, 2017 a. 基于微博舆情数据的震后有感范围提取研究. 地震研究, 40（2）: 303—310Cao Y. B. , Wu Y. M. , Xu R. J. , et al. , 2017 a. Research about the perceptible area extracted after the earthquake based on the microblog public opinion. Journal of Seismological Research, 40(2): 303—310. (in Chinese) 曹彦波, 毛振江, 2017 b. 基于微博数据挖掘的九寨沟7.0级地震灾情时空特征分析. 中国地震, 33（4）: 613—625Cao Y. B. , Mao Z. J. , 2017 b. Analysis of the spatial and temporal characteristics of disaster-information about the Jiuzhaigou, Sichuan MS7.0 earthquake based on data mining of Sina Weibo. Earthquake Research in China, 33(4): 613—625. (in Chinese) 曹彦波, 2018. 基于新浪微博的2018年云南通海5.0级地震舆情时空特征分析. 地震研究, 41（4）: 525—533Cao Y. B. , 2018. Analysis of the spatial and temporal characteristics of public opinion about Yunnan Tonghai MS5.0 Earthquake in 2018 Based on Sina Micro-blog. Journal of Seismological Research, 41(4): 525—533. (in Chinese) 褚俊秀, 徐敬海, 2016. 地震灾情位置微博抓取与展示. 地理空间信息, 14（5）: 38—40 doi: 10.3969/j.issn.1672-4623.2016.05.012Chu J. X. , Xu J. H. , 2016. Capture and display of earthquake disaster information based on geotagged microblog. Geospatial Information, 14(5): 38—40. (in Chinese) doi: 10.3969/j.issn.1672-4623.2016.05.012 何晶, 2012. 新媒体时代的应急响应模式变革. 中国行政管理, （4）: 20—24He J. , 2012. The reform of emergency response model in the new media age. Chinese Public Administration, (4): 20—24. (in Chinese) 李亚芳, 王新刚, 梁庆云, 2020. 基于新浪微博大数据的新疆伽师6.4级地震舆情分析及可视化研究. 内陆地震, 34（1）: 103—110Li Y. F. , Wang X. G. , Liang Q. Y. , 2020. Public opinion analysis and visualization of Xinjiang Jiashi MS6.4 earthquake based on Sina Weibo big data. Inland Earthquake, 34(1): 103—110. (in Chinese) 廉捷, 周欣, 曹伟等, 2011. 新浪微博数据挖掘方案. 清华大学学报（自然科学版）, 51（10）: 1300—1305Lian J. , Zhou X. , Cao W. , et al. , 2011. SINA microblog data retrieval. Journal of Tsinghua University (Science and Technology), 51(10): 1300—1305. (in Chinese) 刘婉婷, 杨新月, 刘耀辉等, 2021. 基于微博数据的西藏那曲比如县地震舆情分析. 震灾防御技术, 16（4）: 771—780Liu W. T. , Yang X. Y. , Liu Y. H. , et al. , 2021. Public opinion analysis of the earthquake in Biru County, Naqu City, Tibet Based on Webo Data. Technology for Earthquake Disaster Prevention, 16(4): 771—780. (in Chinese) 刘晓娟, 尤斌, 张爱芸, 2013. 基于微博数据的应用研究综述. 情报杂志, 32（9）: 39—45Liu X. J. , You B. , Zhang A. Y. , 2013. Review on the data used in researches of microblogs. Journal of Intelligence, 32(9): 39—45. (in Chinese) 刘耀辉, 刘婉婷, 张文焯等, 2022. 基于新浪微博数据的云南漾濞6.4级地震舆情时空特征及情感分析. 自然灾害学报, 31（1）: 168—178Liu Y. H. , Liu Y. T. , Zhang W. Z. , et al. , 2022. Spatiotemporal characteristics of public opinion and emotion analysis of MS 6.4 Yunnan Yangbi earthquake based on Sina Weibo data. Journal of Natural Disasters, 31(1): 168—178. (in Chinese) 聂高众, 安基文, 邓砚, 2012. 地震应急灾情服务进展. 地震地质, 34（4）: 782—791 doi: 10.3969/j.issn.0253-4967.2012.04.020Nie G. Z. , An J. W. , Deng Y. , 2012. Advances in earthquake emergency disaster service. Seismology and Geology, 34(4): 782—791. (in Chinese) doi: 10.3969/j.issn.0253-4967.2012.04.020 闪淳昌, 薛澜, 2012. 应急管理概论: 理论与实践. 北京: 高等教育出版社.Shan C. C., Xue L., 2012. Introduction to emergency management: theory and practice. Beijing: Higher Education Press. (in Chinese) 王艳东, 李昊, 王腾等, 2016. 基于社交媒体的突发事件应急信息挖掘与分析. 武汉大学学报·信息科学版, 41（3）: 290—297Wang Y. D. , Li H. , Wang T. , et al. , 2016. The mining and analysis of emergency information in sudden events based on social media. Geomatics and Information Science of Wuhan University, 41(3): 290—297. (in Chinese) 徐敬海, 褚俊秀, 聂高众等, 2015. 基于位置微博的地震灾情提取. 自然灾害学报, 24（5）: 12—18Xu J. H. , Chu J. X. , Nie G. Z. , et al. , 2015. Earthquake disaster information extraction based on location microblog. Journal of Natural Disasters, 24(5): 12—18. (in Chinese) 杨飞, 江南, 李响等, 2016. 基于多策略的微博位置数据获取方法研究. 测绘科学技术学报, 33（2）: 201—207Yang F. , Jiang N. , Li X. , et al. , 2016. Research on the method of microblog location data acquisition based on multi-strategy. Journal of Geomatics Science and Technology, 33(2): 201—207. (in Chinese) 杨菁, 杨梦婷, 申小蓉, 2014. 突发事件后微博舆情结构及应急反应特征研究——以雅安地震为例. 理论与改革, （3）: 114—118. 游翔, 葛卫丽, 2014. 微博数据获取技术及展望. 电子科技, 27（10）: 123—126, 132You X. , Ge W. L. , 2014. Techniques and forecasts on information retrieval in microblog. Electronic Science & Technology, 27(10): 123—126, 132. (in Chinese) 郁璟贻, 张海涛, 罗桂纯等, 2018. 地震应急视频会议系统的建设与应用. 中国应急救援, （5）: 31—34Yu J. Y. , Zhang H. T. , Luo G. C. , et al. , 2018. Construction and application of earthquake emergency video conference system. China Emergency Rescue, 13(5): 31—34. (in Chinese) 袁浩, 2009. 主题爬虫搜索Web页面策略的研究. 长沙: 中南大学.Yuan H. , 2009. The research of topical crawler search strategy in Web page. Changsha: Central South University. (in Chinese) 期刊类型引用(0)
其他类型引用(1)
-
下载:
点击查看大图
计量
- 文章访问数: 253
- HTML全文浏览量: 73
- PDF下载量: 28
- 被引次数: 1
