《水利信息化评估体系研究》

水利信息化评估体系研究

后评估指标体系建立的原则和方法

在对水利信息化项目进行后评估的实践中，关键是要建立一套科学、完备、可靠的综合评估指标体系。通过对水利信息化项目特征的深入分析，建立构建后评估指标体系的原则和方法。水利信息化项目不同于传统水利工程项目建设，信息系统专业特征显著。归属水利工程项目纳入其管理体系之后，除了具有建设项目的一般特征外，还具有以下几点特征：a）缺少定量的项目目标。水利信息化项目因其自身特征在项目启动时只对项目的建设目标进行了定性的、较模糊的描述，建设目标难以量化，以至于无法详细、清晰地描述项目成果的特征。b）事前难以准确定义项目交付品质量［2］。水利信息化项目的建设不仅要求拥有项目管理经验，还要求双方具备广泛而深厚的信息化专业知识和相关水利业务知识，往往在项目启动前难以进行深入的调研，因此无法准确把握项目交付品的质量。c）绝大部分无法达到“交钥匙工程”［2］。水利信息化项目不是水行政管理单位（或部门）（甲方）对各承建单位（乙方）撒手不理的“交钥匙工程”，甲方在整个项目的参与程度与其项目完成质量的高低，甚至项目的成功与否密切相关。甲方在信息化项目中的支持越大，参与项目实施的人员越多，特别是业务部门的支持越大，就越有利于项目的成功。d）受项目外其他信息系统影响。信息系统的信息源往往部分来自其他信息系统，因此信息化项目本身能否正常发挥预期的效果并达到设计的效益，通常受项目外其他因素制约;同时，本系统的信息能否顺利为其他系统所共享，间接实现项目的关联效应，同样存在不确定性。e）经济效益难以精准计算。水利信息化项目属于没有直接经济效益的纯公益性建设项目，项目的财务经济性等要求主要在项目的前期阶段和招投标阶段落实，项目建成后产生的经济效益涵义广泛，既包括直接经济效益，更大程度上是产生的巨大的间接经济效益，由于缺乏足够的基础统计数据支撑，因此，水利信息化项目产生的经济效益难以精准计算。f）需大量借助外部技术力量。受到机制体制的限制，水行政管理单位（或部门）在项目的建设过程中，往往注重对信息化项目运维和管理能力的培养与提高，缺少足够的信息人才和经验，因此水利信息化项目的各个建设部分都需要借助外部技术力量的支持。充分结合水利信息化项目的特殊性，以全面、准确地反映项目建设的完整情况及其效益和影响为目标，项目后评估指标体系应贯彻以下构建原则［3－5］：a）科学性与可操作性原则。根据水利信息化项目后评估目的设计的后评估指标，在理论上必须有科学根据，在实践上必须可行有效。确定后评估指标体系中任一单项指标，都应考虑此项指标在整个指标体系中的地位和作用，依据所反映的某一特定研究对象的性质和特征，科学地确定该指标的名称、涵义和口径范围。但是各项指标并非单纯的理论探索，而是要能切实发挥实际作用，因此必须具有可操作性，要充分、合理地开发利用可收集的信息，对不实用或难以收集数据的指标不必采用。b）系统性与完整性原则。指标体系作为一个整体，要比较全面地反映被评估对象的特征。因此，构建水利信息化项目后评估体系时，要从系统的观点出发，把整个系统的建设过程作为一个相对独立又与社会经济发展紧密联系的系统。在保证完整性地原则下，充分考虑系统建设的全局性因素，选取能反映项目与社会经济资源结合的特点，与信息化发展、水利现代化进程相结合的、能考虑到项目建设的广度和深度的各种因子。只有这样，才能使评估体系真正地反映项目建设中及建成后带来的各种影响。c）定性与定量相结合原则。为了能够全面细致地反映本项目情况，选取的指标包括定性指标和定量指标;为了能够准确客观地反映问题，把定性指标量化，把数值运用到指标体系中，最终得出定量的结论。d）项目完成过程、项目效益与可持续发展相统一原则。水利信息化项目通常是一项覆盖范围广、涉及专业多、建设历时长的系统工程，大体上分为项目建设过程（包括前期、设计、实施、试运行、验收等各个阶段）、项目效益（包括社会效益、财务经济效益、环境效益、管理效益等）和可持续发展三大部分。项目建设后评估的目的，在于分析问题、总结经验教训，以利于今后项目建设的开展实施。项目的质量及效益如何，是检验项目决策及建设成绩的标准。项目效益是决定项目实施成功与否的决定因素，是项目可持续发展的基础和保障，是整个项目后评估的核心内容。项目后评估的开展本身就是一种可持续发展的思想，项目后评估的评估内容、方法的研究和指标的选择都要基于可持续发展的观念进行。因此，只有将三者很好的结合在一起，才能全面、客观的评估本项目。e）联系性和动态性原则。在后评估指标体系中的各个单项指标之间，都必须是相互衔接且相互联系的;同时，反映静态水平的指标与反映动态趋势的指标相结合，要综合分析各影响因素的静态水平和动态趋势才能做出合理的评判。根据水利信息化项目的特征，基于后评估指标体系建立的原则，对水利信息化项目后评估指标体系的建立采用流程遍历分析方法［3，5］，即首先对评估对象的建设过程和可能对项目产生影响的外部因素进行分析，然后对项目各阶段和具体环节展开详细分析找出关键因素，组成评估指标体系。具体建立指标体系包括以下3个阶段：a）系统分析评估对象。在建立后评估指标体系时，必须首先对评估对象（项目）进行深入系统的综合分析，确定评估项目的目标、任务、特点、关键问题、影响范围等要素。b）初拟各项评估指标。在对项目进行系统分析的基础上，对项目目标按其内在因果、隶属等逻辑关系进行项目目标分解，并对分解产生的各层次项目目标确定相应的评估指标，初步构成项目评估指标的层次结构。c）筛选并优化评估指标体系。通过上述内容建立起来的评估指标体系，应进一步筛选和优化，并综合采用合并、剔除、替换等手段进行优化设计，对指标体系进行修改和完善。同时广泛征询各方面专家的意见，并综合运用各专家的意见、建议对评估指标体系进行修改后，最终确定项目的后评估指标体系。

以后评估指标体系的建立原则为指导，以流程遍历分析方法为手段，充分结合水利信息化项目的特征，参考国内工程项目后评估的常规做法以及水利信息化评估工作的最新研究成果［1］，初步构建较为通用的水利信息化项目后评估指标体系框架，并明确指标含义。采用可扩展的树形多级指标体系形成后评估指标体系评估框架，即一级指标下包含若干个二级指标，二级指标下又包含若干个三级指标，等等。下层指标是上层指标的基础，上层指标由下层指标组成，指标层之间有机结合、相辅相承，最终得出本项目后评估的综合结果（即后评估结论）。后评估指标体系共有4个一级指标，即项目建设过程评估指标、项目目标评估指标、项目效益评估指标和项目可持续性评估指标，在一级评估指标下相应地建立二级、三级评估指标，后评估指标体系框架图见图1。项目的建设过程是指水利信息化工程项目自前期可行性研究至竣工验收的整个阶段。此阶段是项目人力、财力、物力集中投放和建设成果逐步形成的时期，对项目是否高效稳定运行、发挥效益起着关键作用。项目建设过程评估的目的，在于分析问题，总结经验教训，以利于在将来水利信息化项目的续建、扩建、改建中进一步提高立项决策、组织管理和技术应用的水平。需要说明的是，项目建设过程评估指标中的项目前期决策评估指标和项目实施准备评估指标适用于大中型的水利信息化项目，对于一些地方上的、小型的水利信息化项目，受到其投资规模、推进路径的影响，没有明显的可行性研究阶段和初步设计阶段，可根据项目实际情况采取相应指标进行评估。a）项目前期决策评估指标。其包括项目决策过程、项目立项依据、可行性研究的批复意见、项目决策周期变化率等。项目目标评估是对照原定目标（设计报告中确定的目标）去分析和检查项目目标实际完成情况和变化情况，分析既定目标是否已达到，以判断项目目标发生变化的原因和程度;同时对原定目标的正确性和合理性进行分析和评价，看是否符合客观实际和社会经济发展的要求，目标是否明确。作为后评估的核心内容，项目效益后评估是从效益方面对水利信息化项目实施的影响进行评估，其目的在于考核项目是否实现了预期的效益并衡量效益的大小。主要包括：a）财务经济效益评估。项目的财务经济效益评估主要是对收入增长率、内部收益率、投资回收期、成本降低率等指标进行评估。由于这些指标需要大量财务数据的支持，对于水利信息化项目，不仅获取难度很大，而且由项目本身产生的直接经济效益难以界定。目前对信息化项目尤其是对水利信息化项目进行准确量化的经济效益评估的成功案例非常少，一般都是定性的评估。因此，对财务经济效益以定性评估为主，以定量评估为辅。b）社会效益评估。社会效益评估旨在调查项目的实施对社会产生的影响及带来的效应，通过分析项目对当地社会生活、经济环境等方面的相互作用、相互影响，对相关因素进行识别和综合分析，评估项目的社会影响。c）环境效益评估。环境效益评估信息化项目通常是水利建设中重要的非工程措施，对保护生态环境、维持生态平衡起到一定的作用。d）运行管理效益评估。运行管理效益评估主要包括项目运行和管理机构的设置情况、项目领导小组情况、项目运行维护规章制度、运行维护人数、运行维护经费、项目管理体制和机制、项目人员构成情况、人员培训情况等三级评估指标。e）技术应用评估。技术应用评估包括技术的先进性、实用性、适应性等评估。3项目可持续评估是指项目建成投入运行后，根据项目现状，结合国家的政策法规、资源条件和社会经济对项目的可持续性进行分析，明确项目的既定目标是否具有可持续性，项目的后续建设是否可以顺利地实施，项目的管理使用单位能否依靠自身能力持续实现项目的既定目标，从项目内部因素和外部条件等方面评估整个项目的可持续发展能力。主要指标包括开放性和可扩展性评估、人员技术力量评估、运行维护与管理评估等。

后评估指标体系的构建是研究后评估方法的基础，为后评估提供科学、准确、可靠的依据。目前，国内专门针对水利信息化项目后评估指标体系的研究较少，而由于水利信息化项目的特殊性和后评估指标体系建立的复杂性，导致一部分指标的选取和量化存在很大难度。充分结合水利信息化项目的特点，借鉴国内政府财政基本建设项目评估的成熟做法及水利信息化评估工作的最新研究成果，对水利信息化项目后评估指标体系进行研究，初步构建具有一定通用性的后评估指标体系框架，并明确指标的含义，从而为水利信息化项目后评估工作的全面展开奠定理论基础，为水利信息化管理和技术工作提供的参考。