Evaluation of the Application Efficiency of the Earthquake Emergency Collaborative Technology Platform
-
摘要: 根据地震灾害应急协同技术平台的保障条件、功能架构、性能指标、成果产出和实震检验等方面的应用情况和特点,采用德尔菲法从影响地震灾害应急协同技术平台状态和应用效能的诸多因素中,梳理出3项准则层指标、13项子准则层指标和52项具体指标,构建应用效能评估指标体系,并运用层次分析法确定各层级指标相对于上一层指标的重要程度排序及权重。运用模糊综合评价法取优、良、差3个等级,以云南省地震灾害应急协同技术平台为例开展应用效能评估。评估结果表明,该平台应用效能处于中等偏上的水平。实例应用结果表明,可利用德尔菲法、层次分析法和模糊综合评价法相结合的方式进行地震灾害应急协同技术平台应用效能评估。Abstract: According to the application and characteristics of the guarantee conditions, functional architecture, performance indicators, achievement output and actual earthquake inspection of the earthquake disaster emergency collaborative technology platform, the Delphi method was used to sort out 3 criterion-level indicators, 13 sub-criterion-level indicators and 52 specific indicators from the many factors that affect the status and application efficiency of the earthquake emergency collaborative technology platform. And an application efficacy evaluation index system is constructed. The analytic hierarchy process is used to determine the importance ranking and weight of each level index relative to the previous level index. The fuzzy comprehensive evaluation method is used to get three grades of “excellent”, “good”, and “poor”, and the application efficiency evaluation is carried out by taking the earthquake emergency collaborative technology platform in Yunnan Province as an example. The evaluation results show that the application performance of the platform is at an upper-middle level. The application results of the example show that the method proposed in this paper combines the Delphi method, the analytic hierarchy process and the fuzzy comprehensive evaluation method to evaluate the application efficiency of the earthquake disaster emergency coordination technology platform. The platform or system to carry out application performance evaluation provides universal experience and has certain reference significance.
-
Key words:
- Earthquake disaster /
- Collaborative service /
- Efficacy evaluation /
- Emergency
-
引言
国家应急体制机制改革后,地震灾害大应急成了新形势下的新要求,以需求为牵引、以服务为目的、以信息为载体的大协同大联动应急信息服务探索和实践势在必行。为适应这一变化,地震灾害应急必须走向联动协同,着重解决前后方、行业间、军地间的联动问题,并解决所涉单位、部门专家团队的实时协同问题。建立健全各级行业部门应急技术平台与同级政府应急指挥平台间的衔接和协调关系,实现多行业部门间的协同应对(姜立新等,2012)。在云南省严峻的震情形势、灾情形势下,需要解决地震发生后几个小时的关键期内各种联动协同内外有别、轻重缓急、需求与能力矛盾的问题,以适应新时代新形势下地震灾害应急工作需求(张方浩等,2019)。根据我国应急体制改革的实际情况、职责划分和过去多年的地震应急处置经验,通过调研分析地震应急响应流程和不同部门在地震应急响应期间的信息服务需求,形成了多部门联动协同、前后方协同、信息服务协同、专家会商协同、行业内部把关协同、灾害评估动态修订协同等方面的本地化应急协同模式。
基于云南省地震应急协同模式,在国家和云南省各类重大建设项目支撑下,经过多年持续投入建设和多次应急实践,总结和借鉴国内外多次重大地震灾害应急协同经验,利用现代化软硬件技术、数字信息服务、通信手段建成了云南省地震局地震灾害应急协同技术平台(曹彦波等,2015;张方浩等,2015;李敏等,2018;李兆隆等,2019)。该平台以电子网页版、纸质版、短信息版适应多种显示场景和设备的服务产品模式,为政府部门、地震系统、抗震救灾指挥部主要成员单位等提供多手段、多方式、多产品的智慧服务。该平台在地震灾害最重、潜在风险最大、社会经济和自然地理条件最复杂的云南地区进行应用,为新的应急体制机制下和现代信息技术支撑下的地震灾害应急协同和全流程信息服务新模式进行了有益探索。为检验平台在云南地区多次地震灾害应急实践中是否行之有效、是否符合云南省实际情况、是否解决重点关切的问题,需要构建评估指标体系,选择合适的评估方法对云南省地震灾害应急协同技术平台开展应用效能评估,对其实用价值进行科学合理地评判,为相似平台建设提供普适性实践经验。
应用效能评估是可为平台或系统的应用分析、效能评价和优化提升提供重要参考的方法,常用方法有德尔菲法、AHP方法、熵权法、ADC方法、模糊综合评价法等。张杰等(2009)在经典效能评估方法等基本原理的基础上,提出了基于组合赋权、多属性决策、灰色关联、粗糙熵和体系结构评估方法等效能评估理论和方法,为提高效能评估分辨率、合理性和可用性提供了新的研究思路。李罡风等(2010)对区域测震台网监测效能进行了综合分析研究。曲凯等(2017)对可定制的软件效能评估系统进行了研究。邓树荣等(2021)利用 ADC 方法对云南省地震现场指挥部视频会议集成系统开展了应用效能评估。对比研究不同效能评估方法后,本文以云南省地震灾害应急协同技术平台于2018年以来7次5.0级及以上地震中的应用数据资料为基础,选用德尔菲法、层次分析法和模糊综合评价法对云南省地震灾害应急协同技术平台进行评估,分析影响平台运行状态、服务能力和应用效能的主要因素,找出平台在应用过程中的薄弱环节,确定优化提升技术平台应用服务效果的方法和措施。
1. 评估方法
开展效能评估时,效能评估方法的选取是至关重要的环节,既关系到评估指标转换为评价数据的过程,又直接影响最终评估结果。效能评估方法是进行定性、定量效能评估的工具,通常根据评估对象和目的进行效能评估方法的选择。一般情况下效能评估多使用量化程度分类法,主要分为定性效能评估方法和定量效能评估方法(邓玉莲,2021)。
根据地震灾害应急协同技术平台的特点,结合平台应用效能评估的目的,本文选择德尔菲法、层次分析法和模糊综合评价法作为应用效能评估方法。进行系统应用效能评估时,通过建立工作小组、设计调查问卷、确定领域专家,经过专家征询,筛选主要影响因子,构建模型指标体系。
德尔菲法(Delphi method)是由调查者拟定调查表,以函件的方式分别向相关领域专家组成员进行征询,专家组成员以匿名的方式提交意见。经过几次反复征询和反馈,专家组成员的意见逐步趋于集中,最后获得具有较高准确率的集体判断结果(徐国祥,2008)。通过该方法设计评估指标,筛选影响平台应用效能评估的主要指标。
Saaty等(1985)提出了AHP决策分析法,该方法是可有效利用定性与定量分析相结合的决策分析方法。其基本思路是将复杂问题分解为若干层次和若干因素,形成多层次的结构,在各层次中诸因素直接进行比较和计算,确定子目标对其上层目标的相对重要性。层次分析法的步骤如下:
(1)构造评估指标及子指标的判断矩阵
由于同一层次各因素对上层目标的影响度不同,对同层次各因素关于上层次目标的重要性进行两两比较构造判断矩阵。假设同层有n个因素A1 ,A2 ,···,An ,使用表1所示的标度aij反映Ai 和Aj 比较的相对重要性。根据标度,构造n阶判断矩阵R。
表 1 标度定义Table 1. The scale definition标度aij 含义 1 表示元素Ai与Aj相比一样重要 3 表示元素Ai与Aj相比略为重要 5 表示元素Ai与Aj相比明显重要 7 表示元素Ai与Aj相比非常重要 9 表示元素Ai与Aj相比绝对重要 2,4,6,8 为以上两判断之间的中间状态对应的标度值 (2)计算各层次中评估指标的权重
将判断矩阵R最大特征根λmax对应的特征向量进行归一化处理(记为W,W为权向量,即指标权重),即得到同层因素对于上层某因素相对重要性的排序权值。最大特征根λmax和权向量W计算步骤如下:
①计算判断矩阵每行元素的乘积Mi:
$$ {M}_{{i}}={\prod }_{{j}=1}^{{n}}{{a}}_{{i}{j}}$$ (1) ②计算Mi的n次方根Wi:
$$ {{{W}}}_{{i}}=\sqrt [{\uproot{6}{\scriptstyle{n}}}]{{{M}}_{{i}}} $$ (2) ③将向量W=[W1,W2,···,Wn]归一化为:
$$ {\boldsymbol{W}}=\frac{{W}_{{i}}}{\displaystyle\sum _{{i}=1}^{{n}}{W}_{{i}}} $$ (3) 得到权向量W=[W1,W2,···,Wn]T。
④ 计算判断矩阵的最大特征根λmax:
$$ {\mathrm{\lambda }}_{\mathrm{m}\mathrm{a}\mathrm{x}}=\frac{1}{{n}}\sum _{{i}=1}^{{n}}\frac{{\left({\boldsymbol{RW}}\right)}_{{i}}}{{W}_{i}} $$ (4) (3)对判断矩阵进行一致性检验
由于层次分析法主观性强,会导致结果与实际情况不符,通常需对判断矩阵进行一致性检验,检验公式如式(5)和式(6)所示。当一致性比率CR<0.1时,认为得出的判断矩阵结果与实际相符。
$$ {C}_{\mathrm{I}}=\frac{{\mathrm{\lambda }}_{\mathrm{m}\mathrm{a}\mathrm{x}}-{m}}{{m}-1} $$ (5) 式中,CI为一致性指标;λmax为判断矩阵特征根;m为判断矩阵阶数。
$$ C_{\rm{R}}=\frac{{C}_{\mathrm{I}}}{{R}_{\mathrm{I}}} $$ (6) 式中,CR为一致性比率;RI为随机一致性指标。
平均随机一致性指标如表2 所示。
表 2 平均随机一致性指标Table 2. Mean values of the stochastic consistency indicator指标 数值 n 1 2 3 4 5 6 7 8 9 RI 0 0 0.58 0.90 1.12 1.24 1.32 1.41 1.45 模糊综合评价法是基于模糊集合论,对分析评价中各种模糊信息进行量化处理,并进行状态判断的分析方法,其特点是评价结果无绝对分明的界限,是以模糊集合表示的(徐建华,2002)。在应用效能评价中,常用“效能优”或“效能差”等描述系统的应用效能,这种描述不能定量给出其产生效益,但管理者可基本了解平台的效能情况,以此制定提高效能的具体措施。模糊综合评价法的步骤如下:
(1)构建指标论域
若有n个评估指标,则评估指标论域U={U1,U2,···,Un}。
(2)确定指标权重
本文采用层次分析法进行权重的划分,一级指标的权向量记为W=[W1,W2,···,Wn],二级指标的权向量记为Wi=[Wi1,Wi2,···,Win]。
(3)构建评判等级论域
等级论域是模糊综合评价法的基础,应包括所有的评价结果,在等级论域的基础上进行隶属度的确定。若给定m个评判级别,则评判等级论域V={V1,V2,···,Vm},每个评价等级可对应1个模糊子集。
(4)构建模糊评判矩阵
确定隶属度是模糊综合评价法的关键,对于评估指标集中的Ui(i=1,2,···,n)进行单指标评价,从指标Ui确定该事物对评判等级Vj(j=1,2,···,m)的隶属度Rij,并由此得到Ui的单指标评判集Ri={Ri1,Ri2,···,Rin}(i=1,2,···,m),并构造模糊评判矩阵R。
(5)计算结果向量
计算权重矩阵和模糊矩阵,将其进行运算得到表征评价目标隶属于等级论域的结果向量。
$$ {\boldsymbol{\beta}}={\boldsymbol{W}}\times {\boldsymbol{R}}$$ (7) 式中,β表示结果向量;W表示权重矩阵;R表示模糊矩阵。
(6)分析评价结果
分析评价结果时,一般认为结果向量中对应于隶属度最大的等级即为评价对象最终的等级,即遵循最大隶属度原则。
2. 评估指标体系构建
2.1 应用效能评估指标体系构建
地震灾害应急协同技术平台是由硬件设备、软件系统、数据单元、计算服务等多种资源集成的平台,其整体效益受支撑基础设施、系统功能及实震检验等多种因素影响。评估指标体系需尽可能地包括影响技术平台状态和应用效能的各种因素,可全面体现地震灾害应急协同技术平台的综合情况。
按照评估指标构建原则,结合地震灾害应急协同技术平台应用所需的基础条件、系统功能性能特点、应急协同需求与真实地震应用情况,初步构建了效能评估指标体系。采用德尔菲法,利用通信咨询方式邀请了13位地震灾害应急管理、理论技术研究、系统应用实践方面的专家,对效能评估指标体系进行函询。专家们对关键指标的选取、指标值表达方式、具体指标值等提出了建议和意见,根据专家意见对指标进行梳理和调整,形成应急协同技术系统应用效能评估指标体系,如图1所示。
运用层次分析法对地震灾害应急协同技术平台进行分析,地震灾害应急协同技术平台应用效能评估体系A为目标层,影响目标层的3个因素(准则层)分别为基础设施B1、系统能力B2和服务效果B3。基础设施用于评估平台应用所需必要条件的准备情况,该指标综合评价越高,表明应用基础设施条件准备越充分,其包含3个子准则层,即场地条件C11、硬件设施C12和数据条件C13,每个子准则层下有具体的指标。系统能力B2用于评估平台软件系统性能、功能和协同能力,该指标综合评价高,表明平台软件系统功能和性能较好,其包含5个子准则层,即系统性能C21、系统功能C22、动态修正功能C23、管理功能C24和协同能力C25。服务效果B3用于评估平台对应用单位的服务质量和效果,该指标综合评价越高,表明平台对应用单位的服务效果越好,包含5个子准则层,即服务方式C31、服务时效C32、服务质量C33、用户满意度C34和结果契合度C35。
2.2 应用效能评估指标权重确定
运用层次分析法确定各评估指标对平台的应用效能影响权重,邀请上述专家对各级评估中的指标参考按标度法进行两两比较,并对各位专家的对比结果进行统计,选用专家人数占比最大的判定值作为指标相对重要度的最终标度。构造目标层与准则层、准则层与子准则层、子准则层与指标层的判断矩阵,如表3~表19所示,并计算各指标的权重,进行一致性检验。
表 3 A-B判断矩阵及其权重Table 3. A-B judgment matrix and its weights影响因素 影响因素 权重W 一致性检验结果 B1 B2 B3 B1 1 1/2 1/3 0.163 4 CR=0.007 9<0.1,
通过一致性检验B2 2 1 1/2 0.297 0 B3 3 2 1 0.539 6 表 4 B1-C判断矩阵及其权重Table 4. B1-C judgment matrix and its weights子准则层 子准则层 权重W 一致性检验结果 C11 C12 C13 C11 1 1/2 1/2 0.2 CR=0<0.1,
通过一致性检验C12 2 1 1 0.4 C13 2 1 1 0.4 表 5 B2-C判断矩阵及其权重Table 5. B2-C judgment matrix and its weights子准则层 子准则层 权重W 一致性检验结果 C21 C22 C23 C24 C25 C21 1 1/3 1/2 1 1/3 0.097 6 CR=0.021 2<0.1,
通过一致性检验C22 3 1 1 3 1 0.269 9 C23 2 1 1 2 1/3 0.184 2 C24 1 1/3 1/2 1 1/4 0.092 1 C25 3 1 3 4 1 0.356 2 表 6 B3-C判断矩阵及其权重Table 6. B3-C judgment matrix and its weights子准则层 子准则层 权重W 一致性检验结果 C31 C32 C33 C34 C35 C31 1 1/2 1/4 1/3 1/5 0.062 7 CR=0.014 5<0.1,
通过一致性检验C32 2 1 1/3 1/2 1/4 0.099 4 C33 4 3 1 2 1/2 0.268 5 C34 3 2 1/2 1 1/2 0.177 1 C35 5 4 2 2 1 0.392 4 表 7 C11-D判断矩阵及其权重Table 7. C11-D judgment matrix and its weights指标层 指标层 权重W 一致性检验结果 D111 D112 D113 D111 1 3 2 0.547 8 CR=0.013 2<0.1,通过一致性检验 D112 1/3 1 1/2 0.150 7 D113 1/2 2 1 0.301 5 表 8 C12-D判断矩阵及其权重Table 8. C12-D judgment matrix and its weights指标层 指标层 权重W 一致性检验结果 D121 D122 D123 D124 D125 D121 1 1/2 4 2 3 0.265 0 CR=0.037 8<0.1,
通过一致性检验D122 2 1 5 3 4 0.420 0 D123 1/4 1/5 1 1/2 1/3 0.061 9 D124 1/2 1/3 2 1 1/2 0.112 7 D125 1/3 1/4 3 2 1 0.140 4 表 9 C13-D判断矩阵及其权重Table 9. C13-D judgment matrix and its weights指标层 指标层 权重W 一致性检验 D131 D132 D133 D134 D131 1 3 3 4 0.512 0 CR=0.030 1<0.1,
通过一致性检验D132 1/3 1 2 2 0.224 6 D133 1/3 1/2 1 2 0.158 8 D134 1/4 1/2 1/2 1 0.104 5 表 10 C21-D判断矩阵及其权重Table 10. C21-D judgment matrix and its weights指标层 指标层 权重W 一致性检验结果 D211 D212 D213 D214 D215 D211 1 1/3 1/4 1/2 1/3 0.073 5 CR=0.007 4<0.1,
通过一致性检验D212 3 1 1/2 2 1 0.215 4 D213 4 2 1 3 2 0.375 0 D214 2 1/2 1/3 1 1/2 0.120 8 D215 3 1 1/2 2 1 0.215 4 表 11 C22-D判断矩阵及其权重Table 11. C22-D judgment matrix and its weights指标层 指标层 权重W 一致性检验结果 D221 D222 D223 D224 D225 D221 1 1/2 1 1/2 2 0.157 8 CR=0.003<0.1,
通过一致性检验D222 2 1 2 1 3 0.297 9 D223 1 1/2 1 1/2 2 0.157 8 D224 2 1 2 1 3 0.297 9 D225 1/2 1/3 1/2 1/3 1 0.088 5 表 12 C23-D判断矩阵及其权重Table 12. C23-D judgment matrix and its weights指标层 指标层 权重W 一致性检验结果 D231 D232 D233 D234 D231 1 2 2 3 0.423 1 CR=0.038<0.1,
通过一致性检验D232 1/2 1 1 2 0.227 4 D233 1/2 1 1 2 0.227 4 D234 1/3 1/2 1/2 1 0.122 2 表 13 C24-D判断矩阵及其权重Table 13. C24-D judgment matrix and its weights指标层 指标层 权重W 一致性检验结果 D241 D242 D243 D241 1 2 1 0.400 0 CR=0<0.1,
通过一致性检验D242 1/2 1 1/2 0.200 0 D243 1 2 1 0.400 0 表 14 C25-D判断矩阵及其权重Table 14. C25-D judgment matrix and its weights指标层 指标层 权重W 一致性检验结果 D251 D252 D253 D254 D255 D251 1 3 2 2 3 0.3682 CR=0.003<0.1,
通过一致性检验D252 1/3 1 1/2 1/2 1 0.1094 D253 1/2 2 1 1 2 0.2065 D254 1/2 2 1 1 2 0.2065 D255 1/3 1 1/2 1/2 1 0.1094 表 15 C31-D判断矩阵及其权重Table 15. C31-D judgment matrix and its weights指标层 指标层 权重W 一致性检验结果 D311 D312 D313 D311 1 1/2 1/3 0.168 0 CR=0.013 2<0.1,
通过一致性检验D312 2 1 1/2 0.277 3 D313 3 2 1 0.554 7 表 16 C32-D判断矩阵及其权重Table 16. C32-D judgment matrix and its weights指标层 指标层 权重W 一致性检验结果 D321 D322 D323 D324 D321 1 3 3 4 0.515 0 CR=0.007 6<0.1,
通过一致性检验D322 1/3 1 1 2 0.190 0 D323 1/3 1 1 2 0.190 0 D324 1/4 1/2 1/2 1 0.105 1 表 17 C33-D判断矩阵及其权重Table 17. C33-D judgment matrix and its weights指标层 指标层 权重W 一致性检验结果 D331 D332 D333 D334 D331 1 1/3 1 1/4 0.109 4 CR=0.007 6<0.1,
通过一致性检验D332 3 1 3 1/2 0.296 7 D333 1 1/3 1 1/4 0.109 4 D334 4 2 4 1 0.484 5 表 18 C34-D判断矩阵及其权重Table 18. C34-D judgment matrix and its weights指标层 指标层 权重W 一致性检验结果 D341 D342 D343 D341 1 2 3 0.524 0 CR=0.013 2<0.1,
通过一致性检验D342 1/2 1 2 0.317 4 D343 1/3 1/2 1 0.158 7 表 19 C35-D判断矩阵及其权重Table 19. C35-D judgment matrix and its weights指标层 指标层 权重W 一致性检验结果 D351 D352 D353 D354 D351 1 1/2 3 2 0.277 6 CR=0.011 5<0.1,
通过一致性检验D352 2 1 4 3 0.466 8 D353 1/3 1/4 1 1/2 0.095 3 D354 1/2 1/3 2 1 0.160 3 相对于目标层A,准则层的相对重要性排序为B3>B2>B1,其中B3的重要性最大,这说明服务效果指标对地震灾害应急协同技术平台开展应用效果评估的影响最大,远大于基础设施和系统能力指标。
3. 地震灾害应急协同技术平台应用效能评估体系和方法的应用
为检验地震灾害应急协同技术平台应用效能评估体系的可靠性和实用性,以云南省地震灾害应急协同技术平台2018年以来7次5.0级及以上地震(包括2018年8月13日通海5.0级地震、2018年9月8日墨江5.9级地震、2020年5月18日巧家5.0级地震、2021年5月21日漾濞6.4级地震、2021年6月10日双柏5.0级地震、2021年6月17日盈江5.0级地震、2022年1月2日宁蒗5.5级地震)中的应用数据资料为基础,采用本文构建的应用效能评估方法和指标,对云南省地震灾害应急协同技术平台进行评估,分析影响该平台运行状态、服务能力和应用效能的主要因素,找出该平台在应用过程中的薄弱环节,确定提升技术平台综合服务水平的措施和策略。
指标层的隶属度表示该指标在应用过程中的优劣程度(周森,2012),根据专家意见,指标层的隶属度等级取优、良、差,并给出具体的等级标准,如表20所示。通过查阅平台2018年以来7次5.0级及以上地震中应用记录资料,根据指标在历次地震应用中落在优、良、差的频次,通过7次实震检验落在不同等级的频次,计算各指标在不同隶属度等级的概率,如表20所示。
表 20 地震灾害应急协同技术平台应用效能评估指标在各隶属度等级的概率Table 20. The probability for different membership degrees of application efficiency evaluation index system of the collaborative technology platform for earthquake emergency指标层 隶属度 优 良 差 标准 概率 标准 概率 标准 概率 应急指挥场所
具备情况D111有专用场所 1 与其他功能共用场所 0 无场所 0 应急指挥场所建筑物设防标准D112 高于本地最新设防要求 1 达到本地最新设防要求 0 低于本地最新设防要求 0 应急指挥场所可
容纳人数D11350人及以上 1 30~50人 0 30人以下 0 网络信道D121 具备互联网、地震行业网、电子政务网3种信道联通 1 具备互联网、地震行业网、电子政务网中的2种信道联通 0 仅具备互联网联通 0 运算设备D122 5~10台专业图形工作站进行评估运算,有数据库服务器和应用服务器 0.71 2~4台专业图形工作站进行评估运算,有1种服务器 0.29 没有或仅有1台专业图形工作站进行评估运算,无服务器 0 打印条件D123 可打印各类尺寸图幅(A0、A1、A3、A4) 1 可打印常用尺寸图幅(A1、A3、A4) 0 仅能打印A3、A4图幅 0 显示条件D124 高精度大屏显示 0 中低分辨率大屏显示,有辅屏显示 1 仅有电脑显示 0 控制设备D125 有中控系统,可远程控制指挥场所所有音视频信号,且可预制模板,一键切换 1 无中控系统,仅在指挥场所内控制音视频信号 0 多源信号控制困难 0 数据库建设D131 已建成且运维正常 1 有,但存在运维问题 0 没有 0 丰富性D132 基础地理信息、地震行业信息、社会经济信息等9大类42子类数据齐全 0 基础地理信息、地震行业信息、社会经济信息等9大类42子类数据基本齐全 1 基础地理信息、地震行业信息、社会经济信息等9大类42子类数据有较多缺失 0 颗粒度D133 可按州(市)、县、乡(镇)、村公里格网统计 0 可按州(市)、县、乡(镇)公里格网统计 1 可按州(市)、县公里格网统计 0 数据时效性D134 实时更新 0 1~3年更新 1 ≥5年更新 0 友好性D211 软件系统易理解、易操作、人工干预 0.29 软件系统较易理解、操作不复杂,不可人工干预 0.71 软件系统难理解,不易操作 0 时效性D212 软件系统在2~5 min内完成启动、计算、传输、显示 0.57 软件系统在5~10 min内完成启动、计算、传输、显示 0.43 软件系统完成启动、计算、传输、显示时间超过10 min 0 稳定性D213 软件系统全年24小时运行,各功能完全正常运行 0.71 软件系统全年24小时运行,各功能基本正常运行 0.29 软件系统部分功能经常不能正常运行 0 可扩展性D214 软件系统可拓展性强,可根据用户需求对系统功能、产出结果进行灵活开发调整 0.29 软件系统具有一定可拓展性,可根据用户需求对部分系统功能进行开发调整 0.71 软件系统部分功能、产品不可调整 0 安全性D215 系统设置了防火墙、访问控制机制、身份认证机制和数据加密机制等安全机制,采用网络监控与入侵防范系统实现入侵检测、病毒和木马扫描、安全扫描、安全审计 1 系统设置了防火墙、访问控制机制、身份认证机制和数据加密机制等安全机制 0 系统仅有身份认证等较少的安全机制 0 自动响应功能D221 自动获取地震三要素,并完成启动、计算、传输、显示 0.57 自动获取地震三要素,并完成启动、计算,需要人工传输和显示功能 0.29 不可自动获取地震三要素,需人工完成启动、计算、传输、显示功能 0.14 快速评估功能D222 在2~5 min完成1次7级地震评估,且产出评估结果完备 1.00 在5~30 min完成1次7级地震,且评估结果完备 0 完成1次7级地震时间超过30 min,评估结果完备 0 人工修正功能D223 平台收到修正信息后,可通过手机远程自动对评估结果进行修正 0.29 平台收到修正信息后可人工对评估结果进行修正 0.43 不能实现平台收到修正信息后对评估结果的修正 0.28 信息发布功能D224 预评估结果自动采用多种手段进行信息发布 0.43 预评估结果自动采用单一手段进行信息发布 0.29 预评估结果仅可通过快速人工手动进行信息发布服务 0.28 产品展示功能D225 实现对基础数据与评估结果数据的可定制化可视化展示,可适应不同显示场景,界面美观 0.43 实现对基础数据与评估结果数据的固定场景可视化展示,且可视化界面美观 0.29 未实现数据远程展示功能 0.29 地震台网数据
自动获取分析修正
功能D231实现速报台网和预警台网产出余震信息、仪器烈度等数据自动获取,并自动分析修正评估影响场 0 实现速报台网和预警台网产出余震信息、仪器烈度等数据自动获取,但须人工分析修正评估影响场 0 未实现速报台网和预警台网产出余震信息和仪器烈度等数据自动获取分析功能 1 震后趋势分析数
据的自动获取分析
修正功能D232自动获取震源机制解、破裂过程、余震时空分布等震后趋势分析数据,并自动根据获取的震后趋势分析数据进行快速动态修正 0 自动获取震源机制解、破裂过程、余震时空分布等震后趋势分析数据,但须人工根据获取的震后趋势分析数据进行快速动态修正 0 未实现震后趋势分析数据的自动获取分析修正功能 1 多源灾情上报
分析功能D233实现移动终端、PC端、APP等多种方式的灾情上报,并对上报的灾情信息进行自动分析,自动灾情研判生成地震影响范围 0.29 实现移动终端、PC端、APP等多种方式的灾情上报,须人工对上报的灾情信息进行统计分析,手动灾情研判生成地震影响范围 0.57 仅实现单一手段的灾情上报功能,对上报信息未进行任何处理 0.14 动态大数据获取
与自动分析修正
功能D234实现互联网(微博等)或物联网(通信基站等)大数据自动获取信息,进行灾情研判与自动分析修正预评估结果 0.29 实现少量或单一动态网大数据获取,自动灾情研判,须手动分析修正预评估结果 0.71 未实现网络大数据获取与自动分析修正功能 0 数据管理功能D241 实现对平台数据库中数据的统计、查询、管理、审核等操作,并对统计、查询结果进行可视化显示与数据导出 1 实现对平台数据库中数据的统计、查询、管理、审核等操作,不可对统计、查询结果进行可视化显示与数据导出 0 无数据管理操作功能 0 接口管理功能D242 实现对平台全功能接口的代码调试、接口设置、接口授权、接口统计等功能 0.43 实现对平台部分功能接口的代码调试、接口设置、接口授权、接口统计等功能 0.29 无法对接口进行管理 0.29 用户管理功能D243 实现对平台用户分级、分层管理,可对软件系统功能权限进行设置管理 0.71 实现对平台用户分级管理,无权限控制管理 0.29 无用户管理功能,仅可对用户信息进行查询 0 系统并发人数D251 ≥50人同时登录访问 0.29 20~50人同时登录访问 0.43 ≤20人同时登录访问 0.28 视频系统连通数D252 实现4个及以上视频系统的互联互通 0.29 实现2、3个系统视频的互联互通 0.71 仅与行业内进行互联互通 0 资源实时共享D253 实现数据、计算资源、计算模型、产出结果模板等资源的实时共享 0.57 实现数据、计算资源、计算模型、产出结果模板等部分资源的实时共享 0.43 不可进行资源实时共享 0 专家协同功能D254 实现地震行业专家文字、语音、视频等多方式的在线协同应急功能 0.29 实现地震行业专家较单一方式
的在线协同应急功能0.71 未实现行业专家系统应急功能 0 部门协同功能D255 实现抗震救灾指挥部成员单位文字、语音、视频等多方式的在线协同应急功能 0.29 实现抗震救灾指挥部成员单位较单一方式的在线协同应急功能 0.71 未实现部门系统应急功能 0 采用技术手段D311 应用系统(APP)、微信、短信推送,全部技术手段 0.29 2种技术手段 0.43 单一技术手段 0.29 服务产品模式D312 电子网页版、纸质版、短信版全部服务模式 0.43 2种服务模式 0.57 单一服务模式 0 服务对象范围D313 行业用户、主要指挥部成员单位、信息发布部门,全部服务对象 0.29 地震行业和主要指挥部成员单位 0.71 单一服务对象 0 产品推送时间D321 产品推送到服务对象的时间,产出后自动推送,10 min内 0.43 人工推送,30 min内 0.57 人工推送,超过30 min 0 产品持续更新D322 72 h内按照应急响应规程和实际的应急救援需求全时程动态更新 0.57 48 h内按照应急响应规程全时程动态更新 0.43 在规定时间内仅能静态产出,无法动态更新 0 专家协同时效D323 1 h内专家快速查询、修改、反馈结果 0.86 2 h内专家查询、修改、反馈
结果0.14 4 h内专家查询、修改、反馈结果 0 部门协同时效D324 2 h内迅速联通多部门视频会议,进行协同 0.71 4 h内逐步联通多部门视频会议,进行协同 0.29 8 h内联通多部门视频会议,进行协同或无法连通 0 专题图件质量D331 图件主题突出、要素完整、配色规范、图幅合适 0.71 图件主题基本突出、要素基本完整、配色基本规范、图幅基本合适 0.29 图件主题不突出、要素不完整 0 评估报告质量D332 评估报告结果准确,评估要素完整 0.29 评估报告结果基本准确,评估要素基本完整 0.71 评估报告结果偏差大,评估要素不完整 0 对策建议产出
质量D333对策建议具有针对性和可行性 0.57 对策建议具有一定的针对性和可行性 0.43 对策建议的针对性和可行性较差 0 灾情研判的
可靠性D334灾情研判结果可靠,可提供决策建议 0.29 灾情研判结果基本可靠 0.71 灾情研判结果可靠性较差 0 地震行业用户D341 满意度90%以上 0.71 满意度60%~90% 0.29 满意度60%以下 0 抗震救灾指挥部成员单位用户D342 满意度85%以上 0.57 满意度60%~85% 0.43 满意度60%以下 0 信息发布部门D343 满意度80%以上 0.57 满意度60%~80% 0.43 满意度60%以下 0 烈度评估结果D351 烈度等级、范围、方向基本一致 0.57 烈度等级、范围、方向有偏差,但在误差范围内 0.43 烈度等级、范围、方向偏差较大 0 人员伤亡评估
结果D352评估结果基本对应,起到了重要的决策支撑作用 0.57 评估结果有误差,与应急响应较匹配 0.29 评估结果存在数量级上的误差 0.14 经济损失评估
结果D353评估结果基本对应,起到了重要的决策支撑作用 0.57 评估结果有误差,与应急响应较匹配 0.43 评估结果存在数量级上的误差 0 应急响应等级
建议D354建议等级与实际相符 0.71 建议等级与实际基本相符 0.29 建议等级与实际相差较大 0 以子准则层C35下指标为例,指标D351、D352、D353、D354相对于C35层的权向量为:
$$ {\boldsymbol{W}}_{\boldsymbol{35}}=[0.277 6,0.466 8,0.095 3,0.160 3]$$ (8) 由表5可知指标D351、D352、D353、D354的隶属度矩阵为:
$$ {\boldsymbol{R}}_{{\boldsymbol{35}}}= \left[\begin{array}{ccc}0.57& 0.43& 0\\ 0.57& 0.29& 0.14\\ 0.57& 0.43& 0\\ 0.71& 0.29& 0\end{array}\right] $$ (9) 评价结果向量为:
$$\boldsymbol{\beta}_{{\boldsymbol{35}}}=\boldsymbol{W}_{{\boldsymbol{35}}} \times \boldsymbol{R}_{{\boldsymbol{35}}}=\left[\begin{array}{lll} 0.59 & 0.34 & 0.07 \end{array}\right] $$ (10) 按照上述步骤分别将C11、C12、C13、 C21、C22、C23、C24、C25、C31、C32、C33、C34、C35 层下各指标的隶属度矩阵与指标权重进行合成,得出各子准则层的评价结果,如表21所示。
表 21 子准则层评价结果Table 21. Evaluation results at the secondary rule level子准则层 评价结果 优 良 差 C11 1.00 0 0 C12 0.77 0.23 0 C13 0.51 0.49 0 C21 0.66 0.34 0 C22 0.60 0.22 0.18 C23 0.10 0.22 0.68 C24 0.77 0.17 0.06 C25 0.51 0.28 0.21 C31 0.32 0.63 0.05 C32 0.57 0.43 0 C33 0.36 0.64 0 C34 0.65 0.35 0 C35 0.59 0.34 0.07 同理计算得到准则层B1、B2和B3的评价结果,如表22所示。
表 22 准则层评价结果Table 22. Evaluation results at the criterion level准则层 评价结果 优 良 差 B1 0.71 0.29 0 B2 0.50 0.25 0.25 B3 0.52 0.45 0.03 最后计算得到目标层A的评价结果向量为:
$$ {\boldsymbol{\beta}}={\boldsymbol{W}}{\boldsymbol{R}} = \left[\begin{array}{ccc}0.55& 0.36& 0.09\end{array}\right] $$ (11) 由表22可知,基础设施指标B1评价等级处于“优”的可能性较大,为71%,评价等级处于“良”的可能性为29%,故可认为云南省地震灾害应急协同技术平台的基础设施处于优等偏下的水平;系统能力指标B2评价等级处于“优”的可能性为50%,评价等级处于“良”和“差”的可能性均为25%,故可认为云南省地震灾害应急协同技术平台的系统能力处于中等偏下的水平;服务效果指标B3评价等级处于“优”的可能性为52%,评价等级处于“良”的可能性为45%,故可认为云南省地震灾害应急协同技术平台的服务效果处于中等偏上的水平。
云南省地震灾害应急协同技术平台应用效能综合评估结果为:有55%的可能性处于“优”,有36%的可能性处于“良”,有9%的可能性处于“差”,因此,可认为云南省地震灾害应急协同技术平台应用效能处于中等偏上的水平。
4. 讨论
开展地震灾害应急协同技术平台应用效能评估的目的,一方面是为了检验构建的应用效能评估体系和方法的科学性和实用性,另一方面是找出平台在应用过程中的薄弱环节,确定提升技术平台应用服务能力和效果的措施与策略。从地震灾害应急协同技术平台应用效能评估方法来看,当技术平台在最理想状态下,即平台基础设施达到理想条件,系统能力包括功能和性能等完全满足需求,各类服务效果达到理想要求时,应用效能综合评估结果趋近于“优”的可能性会无限接近100%。当技术系统在最坏的状态下,平台基础设施准备条件完全不满足,系统功能和性能完全达不到需求,平台服务效果最差时,应用效能综合评估结果会无限趋近于“差”。
(1)从评价结果来看,云南省地震灾害应急协同技术平台的系统能力评估等级不高,主要是受其子准则层的系统功能C22、动态修正功能C23、协同能力C25的评估等级偏低影响,尤其是动态修正功能C23评价等级处于“差”的可能性为68%。从具体的指标来看,地震台网数据、震后趋势分析数据、互联网和物联网动态大数据获取与自动分析修正功能在中低等级的概率较高,说明平台在引入实时行业数据和动态大数据进行自动化分析修正方面还有较大的提升空间。另外,在服务效果方面,真实地震评估结果的契合度评价也不理想,需要在评估模型优化、基础数据精度、新方法引入等方面进行改进,使预评估结果更好地为地震灾害应急响应提供决策支撑和服务。
(2)综合利用德尔菲法、层次分析法和模糊综合评价法,通过定性和定量相结合、专家经验和实震检验相结合的方式进行地震灾害应急协同技术平台应用效能评估。评估结果显示,该方法可较好地检验地震灾害应急协同技术平台的硬件设备、软件系统、计算模型、数据单元、产出成果、服务产品在实际应用中的可行性、可用性和可信性,基本满足全面客观科学地开展地震灾害应急协同技术平台应用效能评估的需求。该方法对其他类似技术平台或系统开展应用效能评估提供普适性经验,具有一定参考借鉴意义。同时需要注意的是,本文提出的地震灾害应急协同技术平台应用效能评估方法具有一定的主观性,在实际应用中对专家经验的依赖较大。受方法和应用数据资料的限制,大量的评估指标不能有效地进行量化,在后续研究中,应注重这方面的研究,尽可能地采用量化指标使评估结果更加客观、真实、可靠。
5. 结论
根据地震灾害应急协同技术平台的架构、功能、产出和应用特点,以应用效能评估为核心目标,在研究对比多种评估方法的基础上,本文利用德尔菲法、层次分析法和模糊综合评价法相结合的方式对地震灾害应急协同技术平台进行应用效能评估。采用德尔菲法从影响地震灾害应急协同技术平台状态和应用效能的诸多因素中,梳理出3项准则层指标、13项子准则层指标和52项具体指标,构建完成应用效能评估指标体系,并运用层次分析法确定各层级指标相对于上一层指标的重要程度排序及权重。最后以云南省地震灾害应急协同技术平台2018年以来7次5.0级及以上地震应用情况为例,使用本文构建的应用效能评估指标体系及权重,运用模糊综合评价法取优、良、差3个等级,对平台支撑条件、系统功能和性能、产出成果的完备性和实用性、用户满意度等方面进行应用效能评估,得到以下结论:
(1)在构建的地震灾害应急协同技术应用效能评估指标体系中,准则层的相对重要性排序为服务效果>系统能力>基础设施,准则层服务效果指标对地震灾害应急协同技术平台开展应用效果评估的影响最大,远大于基础设施和系统能力指标。
(2)云南省地震灾害应急协同技术平台2018年以来7次5.0级及以上地震应用效能综合评估结果为:有55%的可能性处于“优”,有36%的可能性处于“良”,有9%的可能性处于“差”,因此,可认为云南省地震灾害应急协同技术平台应用效能处于中等偏上的水平。
-
表 1 标度定义
Table 1. The scale definition
标度aij 含义 1 表示元素Ai与Aj相比一样重要 3 表示元素Ai与Aj相比略为重要 5 表示元素Ai与Aj相比明显重要 7 表示元素Ai与Aj相比非常重要 9 表示元素Ai与Aj相比绝对重要 2,4,6,8 为以上两判断之间的中间状态对应的标度值 表 2 平均随机一致性指标
Table 2. Mean values of the stochastic consistency indicator
指标 数值 n 1 2 3 4 5 6 7 8 9 RI 0 0 0.58 0.90 1.12 1.24 1.32 1.41 1.45 表 3 A-B判断矩阵及其权重
Table 3. A-B judgment matrix and its weights
影响因素 影响因素 权重W 一致性检验结果 B1 B2 B3 B1 1 1/2 1/3 0.163 4 CR=0.007 9<0.1,
通过一致性检验B2 2 1 1/2 0.297 0 B3 3 2 1 0.539 6 表 4 B1-C判断矩阵及其权重
Table 4. B1-C judgment matrix and its weights
子准则层 子准则层 权重W 一致性检验结果 C11 C12 C13 C11 1 1/2 1/2 0.2 CR=0<0.1,
通过一致性检验C12 2 1 1 0.4 C13 2 1 1 0.4 表 5 B2-C判断矩阵及其权重
Table 5. B2-C judgment matrix and its weights
子准则层 子准则层 权重W 一致性检验结果 C21 C22 C23 C24 C25 C21 1 1/3 1/2 1 1/3 0.097 6 CR=0.021 2<0.1,
通过一致性检验C22 3 1 1 3 1 0.269 9 C23 2 1 1 2 1/3 0.184 2 C24 1 1/3 1/2 1 1/4 0.092 1 C25 3 1 3 4 1 0.356 2 表 6 B3-C判断矩阵及其权重
Table 6. B3-C judgment matrix and its weights
子准则层 子准则层 权重W 一致性检验结果 C31 C32 C33 C34 C35 C31 1 1/2 1/4 1/3 1/5 0.062 7 CR=0.014 5<0.1,
通过一致性检验C32 2 1 1/3 1/2 1/4 0.099 4 C33 4 3 1 2 1/2 0.268 5 C34 3 2 1/2 1 1/2 0.177 1 C35 5 4 2 2 1 0.392 4 表 7 C11-D判断矩阵及其权重
Table 7. C11-D judgment matrix and its weights
指标层 指标层 权重W 一致性检验结果 D111 D112 D113 D111 1 3 2 0.547 8 CR=0.013 2<0.1,通过一致性检验 D112 1/3 1 1/2 0.150 7 D113 1/2 2 1 0.301 5 表 8 C12-D判断矩阵及其权重
Table 8. C12-D judgment matrix and its weights
指标层 指标层 权重W 一致性检验结果 D121 D122 D123 D124 D125 D121 1 1/2 4 2 3 0.265 0 CR=0.037 8<0.1,
通过一致性检验D122 2 1 5 3 4 0.420 0 D123 1/4 1/5 1 1/2 1/3 0.061 9 D124 1/2 1/3 2 1 1/2 0.112 7 D125 1/3 1/4 3 2 1 0.140 4 表 9 C13-D判断矩阵及其权重
Table 9. C13-D judgment matrix and its weights
指标层 指标层 权重W 一致性检验 D131 D132 D133 D134 D131 1 3 3 4 0.512 0 CR=0.030 1<0.1,
通过一致性检验D132 1/3 1 2 2 0.224 6 D133 1/3 1/2 1 2 0.158 8 D134 1/4 1/2 1/2 1 0.104 5 表 10 C21-D判断矩阵及其权重
Table 10. C21-D judgment matrix and its weights
指标层 指标层 权重W 一致性检验结果 D211 D212 D213 D214 D215 D211 1 1/3 1/4 1/2 1/3 0.073 5 CR=0.007 4<0.1,
通过一致性检验D212 3 1 1/2 2 1 0.215 4 D213 4 2 1 3 2 0.375 0 D214 2 1/2 1/3 1 1/2 0.120 8 D215 3 1 1/2 2 1 0.215 4 表 11 C22-D判断矩阵及其权重
Table 11. C22-D judgment matrix and its weights
指标层 指标层 权重W 一致性检验结果 D221 D222 D223 D224 D225 D221 1 1/2 1 1/2 2 0.157 8 CR=0.003<0.1,
通过一致性检验D222 2 1 2 1 3 0.297 9 D223 1 1/2 1 1/2 2 0.157 8 D224 2 1 2 1 3 0.297 9 D225 1/2 1/3 1/2 1/3 1 0.088 5 表 12 C23-D判断矩阵及其权重
Table 12. C23-D judgment matrix and its weights
指标层 指标层 权重W 一致性检验结果 D231 D232 D233 D234 D231 1 2 2 3 0.423 1 CR=0.038<0.1,
通过一致性检验D232 1/2 1 1 2 0.227 4 D233 1/2 1 1 2 0.227 4 D234 1/3 1/2 1/2 1 0.122 2 表 13 C24-D判断矩阵及其权重
Table 13. C24-D judgment matrix and its weights
指标层 指标层 权重W 一致性检验结果 D241 D242 D243 D241 1 2 1 0.400 0 CR=0<0.1,
通过一致性检验D242 1/2 1 1/2 0.200 0 D243 1 2 1 0.400 0 表 14 C25-D判断矩阵及其权重
Table 14. C25-D judgment matrix and its weights
指标层 指标层 权重W 一致性检验结果 D251 D252 D253 D254 D255 D251 1 3 2 2 3 0.3682 CR=0.003<0.1,
通过一致性检验D252 1/3 1 1/2 1/2 1 0.1094 D253 1/2 2 1 1 2 0.2065 D254 1/2 2 1 1 2 0.2065 D255 1/3 1 1/2 1/2 1 0.1094 表 15 C31-D判断矩阵及其权重
Table 15. C31-D judgment matrix and its weights
指标层 指标层 权重W 一致性检验结果 D311 D312 D313 D311 1 1/2 1/3 0.168 0 CR=0.013 2<0.1,
通过一致性检验D312 2 1 1/2 0.277 3 D313 3 2 1 0.554 7 表 16 C32-D判断矩阵及其权重
Table 16. C32-D judgment matrix and its weights
指标层 指标层 权重W 一致性检验结果 D321 D322 D323 D324 D321 1 3 3 4 0.515 0 CR=0.007 6<0.1,
通过一致性检验D322 1/3 1 1 2 0.190 0 D323 1/3 1 1 2 0.190 0 D324 1/4 1/2 1/2 1 0.105 1 表 17 C33-D判断矩阵及其权重
Table 17. C33-D judgment matrix and its weights
指标层 指标层 权重W 一致性检验结果 D331 D332 D333 D334 D331 1 1/3 1 1/4 0.109 4 CR=0.007 6<0.1,
通过一致性检验D332 3 1 3 1/2 0.296 7 D333 1 1/3 1 1/4 0.109 4 D334 4 2 4 1 0.484 5 表 18 C34-D判断矩阵及其权重
Table 18. C34-D judgment matrix and its weights
指标层 指标层 权重W 一致性检验结果 D341 D342 D343 D341 1 2 3 0.524 0 CR=0.013 2<0.1,
通过一致性检验D342 1/2 1 2 0.317 4 D343 1/3 1/2 1 0.158 7 表 19 C35-D判断矩阵及其权重
Table 19. C35-D judgment matrix and its weights
指标层 指标层 权重W 一致性检验结果 D351 D352 D353 D354 D351 1 1/2 3 2 0.277 6 CR=0.011 5<0.1,
通过一致性检验D352 2 1 4 3 0.466 8 D353 1/3 1/4 1 1/2 0.095 3 D354 1/2 1/3 2 1 0.160 3 表 20 地震灾害应急协同技术平台应用效能评估指标在各隶属度等级的概率
Table 20. The probability for different membership degrees of application efficiency evaluation index system of the collaborative technology platform for earthquake emergency
指标层 隶属度 优 良 差 标准 概率 标准 概率 标准 概率 应急指挥场所
具备情况D111有专用场所 1 与其他功能共用场所 0 无场所 0 应急指挥场所建筑物设防标准D112 高于本地最新设防要求 1 达到本地最新设防要求 0 低于本地最新设防要求 0 应急指挥场所可
容纳人数D11350人及以上 1 30~50人 0 30人以下 0 网络信道D121 具备互联网、地震行业网、电子政务网3种信道联通 1 具备互联网、地震行业网、电子政务网中的2种信道联通 0 仅具备互联网联通 0 运算设备D122 5~10台专业图形工作站进行评估运算,有数据库服务器和应用服务器 0.71 2~4台专业图形工作站进行评估运算,有1种服务器 0.29 没有或仅有1台专业图形工作站进行评估运算,无服务器 0 打印条件D123 可打印各类尺寸图幅(A0、A1、A3、A4) 1 可打印常用尺寸图幅(A1、A3、A4) 0 仅能打印A3、A4图幅 0 显示条件D124 高精度大屏显示 0 中低分辨率大屏显示,有辅屏显示 1 仅有电脑显示 0 控制设备D125 有中控系统,可远程控制指挥场所所有音视频信号,且可预制模板,一键切换 1 无中控系统,仅在指挥场所内控制音视频信号 0 多源信号控制困难 0 数据库建设D131 已建成且运维正常 1 有,但存在运维问题 0 没有 0 丰富性D132 基础地理信息、地震行业信息、社会经济信息等9大类42子类数据齐全 0 基础地理信息、地震行业信息、社会经济信息等9大类42子类数据基本齐全 1 基础地理信息、地震行业信息、社会经济信息等9大类42子类数据有较多缺失 0 颗粒度D133 可按州(市)、县、乡(镇)、村公里格网统计 0 可按州(市)、县、乡(镇)公里格网统计 1 可按州(市)、县公里格网统计 0 数据时效性D134 实时更新 0 1~3年更新 1 ≥5年更新 0 友好性D211 软件系统易理解、易操作、人工干预 0.29 软件系统较易理解、操作不复杂,不可人工干预 0.71 软件系统难理解,不易操作 0 时效性D212 软件系统在2~5 min内完成启动、计算、传输、显示 0.57 软件系统在5~10 min内完成启动、计算、传输、显示 0.43 软件系统完成启动、计算、传输、显示时间超过10 min 0 稳定性D213 软件系统全年24小时运行,各功能完全正常运行 0.71 软件系统全年24小时运行,各功能基本正常运行 0.29 软件系统部分功能经常不能正常运行 0 可扩展性D214 软件系统可拓展性强,可根据用户需求对系统功能、产出结果进行灵活开发调整 0.29 软件系统具有一定可拓展性,可根据用户需求对部分系统功能进行开发调整 0.71 软件系统部分功能、产品不可调整 0 安全性D215 系统设置了防火墙、访问控制机制、身份认证机制和数据加密机制等安全机制,采用网络监控与入侵防范系统实现入侵检测、病毒和木马扫描、安全扫描、安全审计 1 系统设置了防火墙、访问控制机制、身份认证机制和数据加密机制等安全机制 0 系统仅有身份认证等较少的安全机制 0 自动响应功能D221 自动获取地震三要素,并完成启动、计算、传输、显示 0.57 自动获取地震三要素,并完成启动、计算,需要人工传输和显示功能 0.29 不可自动获取地震三要素,需人工完成启动、计算、传输、显示功能 0.14 快速评估功能D222 在2~5 min完成1次7级地震评估,且产出评估结果完备 1.00 在5~30 min完成1次7级地震,且评估结果完备 0 完成1次7级地震时间超过30 min,评估结果完备 0 人工修正功能D223 平台收到修正信息后,可通过手机远程自动对评估结果进行修正 0.29 平台收到修正信息后可人工对评估结果进行修正 0.43 不能实现平台收到修正信息后对评估结果的修正 0.28 信息发布功能D224 预评估结果自动采用多种手段进行信息发布 0.43 预评估结果自动采用单一手段进行信息发布 0.29 预评估结果仅可通过快速人工手动进行信息发布服务 0.28 产品展示功能D225 实现对基础数据与评估结果数据的可定制化可视化展示,可适应不同显示场景,界面美观 0.43 实现对基础数据与评估结果数据的固定场景可视化展示,且可视化界面美观 0.29 未实现数据远程展示功能 0.29 地震台网数据
自动获取分析修正
功能D231实现速报台网和预警台网产出余震信息、仪器烈度等数据自动获取,并自动分析修正评估影响场 0 实现速报台网和预警台网产出余震信息、仪器烈度等数据自动获取,但须人工分析修正评估影响场 0 未实现速报台网和预警台网产出余震信息和仪器烈度等数据自动获取分析功能 1 震后趋势分析数
据的自动获取分析
修正功能D232自动获取震源机制解、破裂过程、余震时空分布等震后趋势分析数据,并自动根据获取的震后趋势分析数据进行快速动态修正 0 自动获取震源机制解、破裂过程、余震时空分布等震后趋势分析数据,但须人工根据获取的震后趋势分析数据进行快速动态修正 0 未实现震后趋势分析数据的自动获取分析修正功能 1 多源灾情上报
分析功能D233实现移动终端、PC端、APP等多种方式的灾情上报,并对上报的灾情信息进行自动分析,自动灾情研判生成地震影响范围 0.29 实现移动终端、PC端、APP等多种方式的灾情上报,须人工对上报的灾情信息进行统计分析,手动灾情研判生成地震影响范围 0.57 仅实现单一手段的灾情上报功能,对上报信息未进行任何处理 0.14 动态大数据获取
与自动分析修正
功能D234实现互联网(微博等)或物联网(通信基站等)大数据自动获取信息,进行灾情研判与自动分析修正预评估结果 0.29 实现少量或单一动态网大数据获取,自动灾情研判,须手动分析修正预评估结果 0.71 未实现网络大数据获取与自动分析修正功能 0 数据管理功能D241 实现对平台数据库中数据的统计、查询、管理、审核等操作,并对统计、查询结果进行可视化显示与数据导出 1 实现对平台数据库中数据的统计、查询、管理、审核等操作,不可对统计、查询结果进行可视化显示与数据导出 0 无数据管理操作功能 0 接口管理功能D242 实现对平台全功能接口的代码调试、接口设置、接口授权、接口统计等功能 0.43 实现对平台部分功能接口的代码调试、接口设置、接口授权、接口统计等功能 0.29 无法对接口进行管理 0.29 用户管理功能D243 实现对平台用户分级、分层管理,可对软件系统功能权限进行设置管理 0.71 实现对平台用户分级管理,无权限控制管理 0.29 无用户管理功能,仅可对用户信息进行查询 0 系统并发人数D251 ≥50人同时登录访问 0.29 20~50人同时登录访问 0.43 ≤20人同时登录访问 0.28 视频系统连通数D252 实现4个及以上视频系统的互联互通 0.29 实现2、3个系统视频的互联互通 0.71 仅与行业内进行互联互通 0 资源实时共享D253 实现数据、计算资源、计算模型、产出结果模板等资源的实时共享 0.57 实现数据、计算资源、计算模型、产出结果模板等部分资源的实时共享 0.43 不可进行资源实时共享 0 专家协同功能D254 实现地震行业专家文字、语音、视频等多方式的在线协同应急功能 0.29 实现地震行业专家较单一方式
的在线协同应急功能0.71 未实现行业专家系统应急功能 0 部门协同功能D255 实现抗震救灾指挥部成员单位文字、语音、视频等多方式的在线协同应急功能 0.29 实现抗震救灾指挥部成员单位较单一方式的在线协同应急功能 0.71 未实现部门系统应急功能 0 采用技术手段D311 应用系统(APP)、微信、短信推送,全部技术手段 0.29 2种技术手段 0.43 单一技术手段 0.29 服务产品模式D312 电子网页版、纸质版、短信版全部服务模式 0.43 2种服务模式 0.57 单一服务模式 0 服务对象范围D313 行业用户、主要指挥部成员单位、信息发布部门,全部服务对象 0.29 地震行业和主要指挥部成员单位 0.71 单一服务对象 0 产品推送时间D321 产品推送到服务对象的时间,产出后自动推送,10 min内 0.43 人工推送,30 min内 0.57 人工推送,超过30 min 0 产品持续更新D322 72 h内按照应急响应规程和实际的应急救援需求全时程动态更新 0.57 48 h内按照应急响应规程全时程动态更新 0.43 在规定时间内仅能静态产出,无法动态更新 0 专家协同时效D323 1 h内专家快速查询、修改、反馈结果 0.86 2 h内专家查询、修改、反馈
结果0.14 4 h内专家查询、修改、反馈结果 0 部门协同时效D324 2 h内迅速联通多部门视频会议,进行协同 0.71 4 h内逐步联通多部门视频会议,进行协同 0.29 8 h内联通多部门视频会议,进行协同或无法连通 0 专题图件质量D331 图件主题突出、要素完整、配色规范、图幅合适 0.71 图件主题基本突出、要素基本完整、配色基本规范、图幅基本合适 0.29 图件主题不突出、要素不完整 0 评估报告质量D332 评估报告结果准确,评估要素完整 0.29 评估报告结果基本准确,评估要素基本完整 0.71 评估报告结果偏差大,评估要素不完整 0 对策建议产出
质量D333对策建议具有针对性和可行性 0.57 对策建议具有一定的针对性和可行性 0.43 对策建议的针对性和可行性较差 0 灾情研判的
可靠性D334灾情研判结果可靠,可提供决策建议 0.29 灾情研判结果基本可靠 0.71 灾情研判结果可靠性较差 0 地震行业用户D341 满意度90%以上 0.71 满意度60%~90% 0.29 满意度60%以下 0 抗震救灾指挥部成员单位用户D342 满意度85%以上 0.57 满意度60%~85% 0.43 满意度60%以下 0 信息发布部门D343 满意度80%以上 0.57 满意度60%~80% 0.43 满意度60%以下 0 烈度评估结果D351 烈度等级、范围、方向基本一致 0.57 烈度等级、范围、方向有偏差,但在误差范围内 0.43 烈度等级、范围、方向偏差较大 0 人员伤亡评估
结果D352评估结果基本对应,起到了重要的决策支撑作用 0.57 评估结果有误差,与应急响应较匹配 0.29 评估结果存在数量级上的误差 0.14 经济损失评估
结果D353评估结果基本对应,起到了重要的决策支撑作用 0.57 评估结果有误差,与应急响应较匹配 0.43 评估结果存在数量级上的误差 0 应急响应等级
建议D354建议等级与实际相符 0.71 建议等级与实际基本相符 0.29 建议等级与实际相差较大 0 表 21 子准则层评价结果
Table 21. Evaluation results at the secondary rule level
子准则层 评价结果 优 良 差 C11 1.00 0 0 C12 0.77 0.23 0 C13 0.51 0.49 0 C21 0.66 0.34 0 C22 0.60 0.22 0.18 C23 0.10 0.22 0.68 C24 0.77 0.17 0.06 C25 0.51 0.28 0.21 C31 0.32 0.63 0.05 C32 0.57 0.43 0 C33 0.36 0.64 0 C34 0.65 0.35 0 C35 0.59 0.34 0.07 表 22 准则层评价结果
Table 22. Evaluation results at the criterion level
准则层 评价结果 优 良 差 B1 0.71 0.29 0 B2 0.50 0.25 0.25 B3 0.52 0.45 0.03 -
曹彦波, 李兆隆, 李永强等, 2015. 云南地震应急快速评估模型本地化集成研究. 地震研究, 38(1): 148—154 doi: 10.3969/j.issn.1000-0666.2015.01.020Cao Y. B. , Li Z. L. , Li Y. Q. , et al. , 2015. Research on the localization integration of Yunnan earthquake emergency rapid assessment model. Journal of Seismological Research, 38(1): 148—154. (in Chinese) doi: 10.3969/j.issn.1000-0666.2015.01.020 邓树荣, 余庆坤, 张方浩等, 2021. 基于ADC方法的云南地震现场指挥部视频会议集成系统应用效能评估. 地震研究, 44(2): 292—300Deng S. R. , Yu Q. K. , Zhang F. H. , et al. , 2021. Effectiveness evaluation of the integrated video conference system in earthquake field headquarters based on ADC method. Journal of Seismological Research, 44(2): 292—300. (in Chinese) 邓玉莲, 2021. 城市排水管网状态和运行效能评估方法的研究与应用. 北京: 北京建筑大学.Deng Y. L. , 2021. Research and application of evaluation method for state and operation efficiency of urban drainage network. Beijing: Beijing University of Civil Engineering and Architecture. (in Chinese) 姜立新, 帅向华, 聂高众等, 2012. 地震应急指挥协同技术平台设计研究. 震灾防御技术, 7(3): 294—302Jiang L. X. , Shuai X. H. , Nie G. Z. , et al. , 2012. Study on the design of earthquake emergency command collaboration technology platform. Technology for Earthquake Disaster Prevention, 7(3): 294—302. (in Chinese) 李罡风, 赵建和, 朱生水等, 2010. 安徽地震前兆台网监测效能综合分析. 地震研究, 33(3): 280—286 doi: 10.3969/j.issn.1000-0666.2010.03.007Li G. F. , Zhao J. H. , Zhu S. S. , et al. , 2010. Synthetic study of the observational efficiency of Anhui earthquake precursory network. Journal of Seismological Research, 33(3): 280—286. (in Chinese) doi: 10.3969/j.issn.1000-0666.2010.03.007 李敏, 郑川, 李永强, 2018. 云南省省、市、县级地震应急信息协同技术系统的设计与实现. 地震研究, 41(1): 139—147 doi: 10.3969/j.issn.1000-0666.2018.01.018Li M. , Zheng C. , Li Y. Q. , 2018. Design and implement of research on earthquake emergency information collaborative technology system of provincal-municipal-county in Yunan province. Journal of Seismological Research, 41(1): 139—147. (in Chinese) doi: 10.3969/j.issn.1000-0666.2018.01.018 李兆隆, 吕佳丽, 郑川等, 2019. 云环境下的云南地震应急指挥技术软件系统设计与实现. 地震研究, 42(2): 196—203Li Z. L. , Lv J. L. , Zheng C. , et al. , 2019. Design and implementation of Yunnan earthquake emergency command system in cloud environment. Journal of Seismological Research, 42(2): 196—203. (in Chinese) 曲凯, 陈西选, 徐珞等, 2017. 可定制的效能评估系统研究与实现. 软件工程, 20(2): 19—21, 11 doi: 10.3969/j.issn.1008-0775.2017.02.006Qu K. , Chen X. X. , Xu L. , et al. , 2017. Research and implementation of the customizable effectiveness evaluation system. Software Engineering, 20(2): 19—21, 11. (in Chinese) doi: 10.3969/j.issn.1008-0775.2017.02.006 徐国祥, 2008. 统计预测和决策. 3版. 上海: 上海财经大学出版社.Xu G. X. , 2008. Statistical forecasting and decision-making. 3 rd ed. Shanghai: Shanghai University of Finance & Economics Press. (in Chinese) 徐建华, 2002. 现代地理学中的数学方法. 2版. 北京: 高等教育出版社.Xu J. H. , 2002. Mathematical methods in contemporary geography. 2 nd ed. Beijing: Higher Education Press. (in Chinese) 张方浩, 李永强, 余庆坤等, 2015. 省级地震应急信息公共服务平台设计探讨. 震灾防御技术, 10(3): 657—663Zhang F. H. , Li Y. Q. , Yu Q. K. , et al. , 2015. Design of the public service platform for earthquake-emergency information at the provincial level. Technology for Earthquake Disaster Prevention, 10(3): 657—663. (in Chinese) 张方浩, 李永强, 曹彦波等, 2019. 基于云技术的云南地震现场应急指挥技术系统优化. 地震研究, 42(2): 257—264Zhang F. H. , Li Y. Q. , Cao Y. B. , et al. , 2019. Optimization of the Yunnan post-earthquake field emergency command technical system based on cloud technology. Journal of Seismological Research, 42(2): 257—264. (in Chinese) 张杰, 唐宏, 苏凯等, 2009. 效能评估方法研究. 北京: 国防工业出版社. 周森, 2012. 基于层次分析与概率计算综合法的广州市白云区岩溶塌陷风险分析. 广州: 华南理工大学.Zhou S. , 2012. Risk analysis of the karst collapse in Guangzhou Baiyun district based on analytical hierarchy process combined with probability calculation. Guangzhou: South China University of Technology. (in Chinese) Saaty T. L., Kearns K. P., 1985. The analytic hierarchy process. In: Saaty T. L., Kearns K. P., eds., Analytical Planning. Amsterdam: Elsevier. -