澳大利亚项目绩效评价的几个基本问题
澳大利亚从20世纪80年代开始在政府公共管理领域实行项目的绩效管理和绩效评价,取得了比较好的效果。到90年代末期,澳大利亚开始对所有的政府公共部门普遍实行绩效管理,使曾经官僚主义严重的公共服务部门的效率大大提高。本文主要介绍澳大利亚从80年代末期到90年代中期项目绩效评价的主要做法。
一、澳大利亚政府的评价战略
绩效评价在政府的公共改革中扮演重要的角色。1988年12月,联邦政府颁布了《公共服务评价战略》。其目标主要集中在三个方面:一是提供更好的信息基础,帮助管理者改善项目绩效;二是帮助政府在预算执行过程中提高政策的有效性,并促进政府重点项目的有效落实;三是进一步提高政府公共管理对议会和公众的责任性。评价战略的主要内容有以下几个方面:
1.通过对一揽子评价计划的准备,使主要项目的评价活动与联邦的预算执行有机地结合起来,成为整个预算执行的一部分。这一揽子评价计划(以下简称评价计划:PEPs)主要是对国家重大方针、政策的落实情况以及对稀缺资源的分配、使用情况的评价。评价的结果作为内阁或主管部长进一步决策的参考依据。评价计划(PEPs)保证每3--5年(一个评价周期)对所有参加绩效评价的项目或项目的主要部分进行系统的评价。各部门每年要将评价计划交到财政部。
2.通过在每一个评价周期对所有项目的系统评价,不断促进评价计划的完善和发展。对各部门、各机构提交的项目评价报告,财政部都进行了认真的分析研究,以促进评价计划不断改进和完善。这些评价计划既有助于加强部门内部管理,同时也是财政部对各部门进行项目预决算的基础。
3.关于向内阁提交新政策建议(其中包括评价战略)的有关规定。提出这个规定的目的在于保证对将来的评价活动进行详细的说明,并由内阁决定是否接受部门提出的政策建议。如果建议被接受,内阁将决定未来项目评价的规模和时间。自从1993-1994年度预算执行以来,这个程序逐渐得到加强。在向内阁提交部门年度工作报告和部门预算时,首先要被询问是否通过了由财政部认定的评价战略计划。如果评价战略未被通过,内阁拒绝接受部门的工作报告和部门预算(通过这种管理程序,部门和机构提高了自身对项目评价战略的管理水平)。由财政部认定的评价项目表明,部门、机构已经发展了评价战略,并得到了财政部的认可。如果没有得到财政部的认可,部门、机构必须向财政部说明改进和发展评价战略的时间及具体措施。
4.关于主要评价结果对外发布的有关规定。为使各部门和各机构执行规定,内阁签署了特别的规章,要求所有的部门和机构必须公布评价的结果,并由财政部汇总定期出版。评价结果的公开发表,不仅增强了评价计划(PEPs)的责任性,而且使好的绩效得到鼓励,尤其是使外界包括议会和财政部在内的相关部门得到认同,并与下一轮的预算挂钩。财政部每年在《评价报告》上将各部门的评价战略及评价结果定期出版发行二次。
5.通过联邦公共服务系统提高绩效评价技巧的有关措施。各部门和各机构对提高其工作人员的绩效评价技能负有不可推卸的责任。但总体上看,财政部在促进绩效评价技巧的提高方面扮演了重要的角色。财政部通过对联邦所有公共服务部门的有关员工的培训,及建立绩效评价信息网络,普及了绩效评价的技术。同时,通过《堪培拉评价论坛》这份专门的刊物实现了绩效评价的信息共享。
6.绩效战略计划对部门绩效评价计划的有效实施负有重要的责任。评价战略的重要性,具体表现在,在项目管理和决策过程中,按照绩效计划和部门预算的要求,实施绩效计划,提高了公共服务的责任性。总之,财政部在促使战略计划能够保证评价计划的有效执行,以及完善绩效评价的程序方面发挥决定性的作用。
二、项目绩效评价的概念及类型
(一)项目绩效评价的概念
项目绩效评价就是指对一个项目或项目的一部分进行全面、系统的评价。通过项目评价能够使管理者或政策制定者达到以下几个目的:
1.在环境发生变化,尤其是政府的政策发生变化的情况下,评价项目的目标是否具有持续性(即项目目标可行性的评价)。检测项目执行的结果是否达到了预期的目标。确定是否有更简洁、有效的途径达到预期的目标。
2.评价是否有必要设立一个新的项目,或继续扩大项目的规模。
3.决定是否继续增加、减少或维持项目的投入水平。
简言之,通过项目评价可以对资源的分配、项目的改进以及项目的责任做出评判、发现、结论或推荐。在政府评价战略这一特定的环境下,"评价"泛指对项目的评价,如对一揽子评价计划(PEPs)或各部门自身计划的评价;内阁进行的对预算内容及执行情况的评价;对一些重大事件的调查、质询或对主要政策、项目的检查(如议会或产业委员会对有些重大问题的检查和评论等);部门内部的检查与评价;澳大利亚审计署的检查(通过对效率、绩效的审计,提高项目管理的效率和运行的有效性)。
(二)项目绩效评价的类型
为达到政府评价战略的目标,绩效评价的类型主要包括以下几种:
1.项目适当性的评价。这种评价帮助政策制定者决定是否有必要设立一个新项目。如果有必要上这个项目,如何有效地设立;或评价一个项目是否有必要持续下去,如有必要,如何有效地继续进行。
2.项目效率性的评价。这种评价主要检测项目为达到既定的产出水平所投入的程度,即是否以最小的投入达到了既定的产出水平;另一方面,就是是否以既定的投入达到产出的最大化。
3.项目有效性的评价。这种评价主要集中在检测预期结果的实现程度,以及检测影响结果实现的因素。
4.项目执行情况的综合评价。这种评价重点在于检查评价方法本身的技术性、成本-收益、实用性及是否体现了相关的文化、社会伦理和社会公正等。
总之,绩效管理非常强调效率性和结果的有效性,这是绩效评价的重中之重。
三、绩效评价的意义
绩效评价已经成为澳大利亚政府管理项目工作的重要组成部分。然而随着公共项目资金的不断增加和公众对政府项目及其管理的关注,项目评价的重点也从评价项目消耗资源的程度转移到项目是否优化了资源的配置,是否达到了项目的目标,以及项目对社会、经济的影响及效果等。实行绩效评价的优点很多,主要表现在以下几个方面:
1.促进项目管理。绩效评价对项目的运行及其效率情况提供有价值的信息,并判断项目所取得的成绩。这种信息对有效管理项目很重要。评价能够检测项目是否达到了预期的目标,获得了意外的收获或意外的损失等。
2.敦促管理者增强对项目的责任感。通过评价向管理者提供有关项目绩效的信息,使管理者知道所投入的资金是否物有所值。评价的重要性在于促使管理者对公共资源使用后获得的结果向议会和公众报告,这是公共资源管理者不可推卸的责任。
3.向决策者提供更多、更有效的信息。通过评价向项目管理者和政府提供更为广泛、有效的信息,使决策者更好地理解项目所获得的绩效,并决定是否在当前的情况下,维持、扩大或压缩项目的规模。同时,通过评价也能使项目管理者和决策者知道是否达到了项目的预期目标,并以此作为新的政策建议的基础,建议是否应设立新项目。
4促进资源的有效配置。通过评价能够提升政府有效配置资源的能力。在公共部门资源有限和社会公共需求持续扩大的情况下,如何有效地规避政府的短期行为,促进社会的可持续发展和资源的有效利用,是一个重要的问题。评价向政府提供重要的信息资源。这种信息资源决定在项目间如何更有效地配置资源。
5通过评价向澳大利亚的公共服务系统提供更好的信息基础。通过评价可以为政府复杂的项目系统提供有价值的信息,并使现存的项目形成一个有机的整体,避免项目间的重复交叉或项目间出现裂缝。通过项目评价可以不断地促进项目发展的持续性和项目间的可比较性,并最终促进项目系统更好地为社会服务。
6通过对项目的评价,为新项目目标的设立提供更有效的绩效信息。通过对过去项目的评价可以发现已经设立的绩效目标和绩效信息中存在的问题。为新项目绩效目标的设立提供更有效的信息基础。
四、关于项目评价的内容和时间问题
凡是一揽子计划中规定的所有项目及项目的主要组成部分都要作为系统评价的对象。每3-5年要对项目的有效性进行系统的评价。要经常对项目的效率进行评价,尤其是当政治、经济和社会环境发生重大变化时,更要对项目的适当性作周期性的再评价。以下是项目评价的主要内容:
1.评价项目是否按照国家政策的导向,有效地利用资源,为政府工作目标的实现做出贡献。
2.是否应内阁或部长的要求执行评价。
3.项目是否具有很高的公共性或与其它项目有重要的关联。
4.绩效信息是否指出了项目存在的问题。
5.是否提出了项目期限的建议,即项目结束、推迟或改变。
6.项目最后被检查的时间。
五、关于项目评价需要解决的三个问题
在项目评价过程中,必须对项目的适当性、效率性和有效性进行评价。至于一个具体的项目,需要侧重评价哪几个方面,要根据项目评价的目标及项目生命周期所处的发展阶段具体决定,但项目的效率性和有效性问题是绝大多数项目在评价过程中必须要完成的。在评价一个项目的早期计划阶段,一定要确保参与评价的人员知道哪几个问题需要评价,为什么要评价。
1.关于项目的适当性问题
项目的适当性,体现在四个方面:一是项目的设立和实施是否得到政府和社会广泛的认同;二是项目是否符合政府的总体目标及政策导向;三是项目设立的必要性、紧迫性和优先性;四是针对项目所编制的战略计划是否成功,项目是否具有很强的逻辑性。
项目的适当性评价一般在项目正式设立前进行。对于已经存在较长时间的项目,或者因为政治、经济和社会环境发生变化而受到较大影响的项目,进行适当性评价也很重要。
2.关于项目评价的效率性问题
效率是指项目产出的质量,即以最小的投入得到预期的产出水平,或以既定的投入水平得到最大的产出效果。考察效率情况,主要考虑以下几个方面:一是投入情况,即资源的使用情况(资金、人员、技术/设备);二是项目运行或获得项目产出的程序,即为完成项目所从事的活动、战略及操作过程;三是产出,即通过项目管理的直接控制所产出的产品或服务(如提供培训课程的数量、部长签发文件的数量等)。在政府绩效管理这个特定的问题上,提高效率的含义已经不只局限于提高投入-产出的比率问题,更重要的是提高各个环节的工作质量。这是因为,每个人的工作只是整个活动链条的一个环节或一个部分,只有将各个环节有机地统一起来,才能获得高水平的产出。同时,只有每个人的高质量工作,才能提高项目产出水平的质量。在项目的各个阶段,都可以对项目的效率性进行评价。评价项目运行的程序、产出和管理的有效性是否得到提高。在项目的早期阶段,评价项目的效率性尤其重要。因为通过效率性评价可以确保项目获得预期的产出,并取得成功的结果。因为效率是与投入、程序和产出紧密相关的,有关效率方面的管理信息的限定和收集相对来说比较容易,因此,效率就有了测量的基础。
效率性评价有时是指对项目运行程序的评价。如果在项目实施的早期阶段进行评价,通常指对项目实施的检查。
3.关于项目评价的有效性问题
项目的有效性是指与预期的目标相比较,项目实现结果的程度。项目的有效性包括:测量影响结果实现的因素;对结果产生的项目因素或外部因素进行因果说明;确认是否有意外的结果将对预期的目标产生积极或消极的影响。在一揽子计划中所指的责任性就集中在目标的创立、产出和报告,以及产出结果的可视性。因此,有效性评价的重点强调管理的责任性。项目的有效性问题,只有在结果可能实现的情况下,才能进行评价。它一般在项目执行的晚期或项目结束后进行,这要取决于项目所处的阶段。只有这样才能透彻地说明结果的实现程度。例如,评价一个"出口促进"项目的结果,就只有在主要的出口产品实现多年后才能作出全面的评价。如果项目的目标设立在一个不可实现或不现实的水平上,项目有效性的评价就难以实现。使用项目的逻辑分析有助于有效性的评价。评价有效性不仅要集中在预期的结果是否实现,而且还要考虑获得预期结果的成本,即是否做到了"物有所值"。"有效性评价"有时亦指"对结果的评价"。
六.项目评价的主要步骤
要保证项目评价达到预期的效果,持续地、分步骤地进行评价很重要。一旦评价的重点确定下来,按照逻辑分析的方法,围绕评价的重点,首先要确定评价所要解决的主要问题;其次,要按照评价的重点,设计评价的内容、程序;再次,要对评价实施有效的管理;最后,有效利用评价发现的问题,改进项目管理,保证评价报告能够体现评价的内容及评价的结果。
(一)关于项目的逻辑性分析问题
项目的逻辑性分析是一种有用的分析工具。它通过描述预期的项目活动和项目结果间的因果关系,有助于更好地分析理解项目的执行情况。逻辑分析法是实现项目评价目的的一个强有力的机制。一是可以阐明项目是否实现了预期的目标;二是可以勾画项目主要的投入、产出和运行结果,有助于按照因果关系从结果中辨别投入和产出的规模少,并从有效性的角度分析项目的效率性;三是可以分析结果形成的外部因素;四是可以确认结果的成功程度;五是可以分析、确认为测量结果所需要的绩效信息的内容。如果所需信息没有被收集,通过逻辑分析将有助于确认哪些资料需要被收集。分析项目的逻辑性有以下几个步骤:(1)描述项目;(2)阐明项目的目标;(3)勾画项目的逻辑;(4)确认对结果实现程度的评价程度;(5)确认结果的成功程度;(6)确认需要什么样的绩效信息;(7)确认影响结果实现的因素。
(二)关于对评价的管理问题
评价成功的关键在于管理。对评价的管理活动包括:对评价的组织、计划、实施、控制和检查,以及对评价的发现和使用。
1.对评价活动的监管在很大程度上要依赖于评价的规模和复杂性。对评价的管理,从组织结构上看,包括评价指导委员会、项目评价的管理者(负责评价计划的制定和具体的组织实施)和评价工作小组。
2.评价计划及其实施。(1)评价的计划阶段。在此期间,评价计划提出了管理的轮廓。一个好的、详细的计划是一个评价成功的前提。在描述项目逻辑、发展评价战略、阐述财务和预算等方面花费一定时间是十分重要的。在项目评价初期,在设计项目评价计划和评价战略方面花费一定时间,对评价取得成功是至关重要的。在评价计划和评价战略设计阶段花费的时间,约占总体评价时间的20%-40%。然而,由于每一个评价依其项目内容及特点的不同,评价计划的设计也是各具特点的。因此,花费一定时间准备适当的评价计划和评价战略是必然的。(2)评价的实施阶段。评价的实施阶段包括资料的收集、分析和评价报告的起草、发布两个阶段。在这个阶段,与负责资料收集、分析和处理的工作人员商议,研究评价计划是否有效、可行是很重要的。在资料的收集、分析阶段,资料的来源有两个方面,一是现存资料,二是为完成评价目标而收集的有关特殊资料。对现存资料的使用显得更加重要。现存资料包括统计数据、从以往研究评价或相关评价中得到的信息,从相关文献中得到的信息等等。然而,一定要确保上述资料在评价中是有效和可信赖的。如果现存信息不能完全满足评价的需要,就要收集一些特殊的资料。特殊资料的收集包括:调查、听取专家的观点、吸收社会意见或进行典型的案例分析等。这些特殊资料主要在对某些关键问题进行评价时使用,而且这些资料要被限定在一定的范围内。对资料的分析技巧及分析工具,在评价计划阶段也需要予以明确。
3.起草评价报告。评价报告要说明评价的结果。要使那些项目管理者了解项目评价过程中发现的问题。这适用于项目的各个阶段,主要目的是为决策服务、促进项目管理水平的提高以及增强项目管理者的责任感。因此,在起草评价报告的阶段,使相关人士重视该评价报告,对于实现评价的目标至关重要。与评价报告相关的人士主要包括:有关部门的部长、高级官员、项目管理者,以及其他人士(如议会和公众等)。评价报告要说明评价的主要问题及决策者想了解的主要信息(如评价分析的结果及其说明等)。评价过程和在此期间所收集的有关信息及其分析应放在报告的技术附件中。另外,报告要以简明扼要的方式指出评价工作发现的主要问题。
(1)对评价报告的讨论与磋商。在评价报告正式交稿前,要与项目管理者和资深的雇员讨论报告的初稿。在报告送交管理层前一定要得到项目评价顾问委员会的认可。这一步在评价过程中非常重要。
(2)评价报告的对外公布。发布绩效报告的重要意义在于:一是有助于敦促政府部门或有关机构在决策时按规定的程序进行;二是增强项目管理者的责任感;三是让公众了解项目情况。一些主要的评价(包括一揽子评价计划中的所有评价),是内阁考核部门工作效果的重要内容。一旦报告被公布,评价的细节将被刊登在《绩效评价报告登记》上。这份刊物由财政部主管,每年两期,专门刊登各个部门和机构提供的绩效信息。该刊物为各个部门交流绩效评价的经验,沟通评价信息提供了很好的渠道。
4.对绩效评价的控制。对绩效评价进行适当的控制是非常必要的。它保证评价能够按照既定的目标,按时地、且在成本控制的范围内,得出有价值的结论。评价控制的一个重要功能就是保证评价达到适当的质量标准。根据评价的规模和复杂程度,可以选择不同的评价控制机制。(1)评价小组每月(或更频繁地)召开一次计划会,分析评价的进展情况,为评价工作建立一种定期的检查机制。(2)定期召开一些会议,向评价顾问委员会报告评价取得的成绩,收到的信息反馈意见及相关建议。(3)经顾问委员会批准向项目管理者和部门的管理者定期提供项目进展报告。(4)采取有效措施保证评价按规定的时间完成工作任务。(5)尤其对一些大型的评价活动,要在评价的不同阶段,分别对项目的执行情况及进展情况进行回顾。另外,评价必须保证高质量。评价的质量问题也将受到监督和再评价。澳大利亚设立了评价的质量标准体系。
5.对绩效评价的回顾。在评价的最后阶段,或评价即将结束时,要对评价行为本身进行系统的检查。在评价进行的过程中,评价中的一些因素已被检查,其他的因素只有在评价的主要任务结束时,才能予以考虑。对评价的检查与回顾,要结合评价的目标以及相关人士的需求。其内容主要包括:一是评价完成比较好的方面及其原因;二是评价完成得不理想的方面及其原因;三是如果下次进行同样的评价,需要注意的问题及如何操作;四是在评价执行过程中,最好的案例是什么?通过检查回顾,总结评价的经验和教训,并通过召开非正式研讨会,向将来的评价小组提出值得引起注意的一些问题或教训。
6.对"评价发现"的使用。评价效果如何的一个重要标志,就是政府是否采纳了评价所提供的一些信息,并应用在决策中。"评价发现"是指评价的结果、结论和建议。将各个相关阶段的评价结果、结论和建议集合起来,就组成了评价的发现。评价发现的使用,包括制定"使用绩效评价发现的发展计划",并"实施评价结果"的工作程序中。这种定期报告绩效评价发现,并与实施评价结果相结合的监管机制,有利于保证评价的责任性。有些部门为监管评价的功能,专门建立了专职的高水平的监管委员会。在监管委员会的监督下,评价小组将按规定的程序工作,保证评价的管理者及其小组成员尽职尽责的工作,达到评价的目的,实现评价的功能。
使用评价发现的方式。评价发现可以以各种方式用于项目的各个阶段。其主要目标是:为政府决策服务、改进现有项目的管理和增强管理者的责任感。
(1)为决策服务。通常由于社会需求及政府政策变化,由高层管理者、部长和内阁做出的关于是否建立一个新项目(扩大或终止项目)的一系列决定,这种决定通常要与预算安排相衔接。在预算文件中,用一系列评价发现支持新的政策建议,例如:分析说明社会需求的现状及发展趋势;分析说明现有项目的成败;向内阁提议应该优先安排的项目。当评价发现作为决策依据被提交到内阁时,它将对政府决策产生重要的影响,财政部将以此作为预算计划安排的依据。澳大利亚财政部发现,根据评价所作的项目建议预算占总项目预算的比例,由1992-93财政年度的31%,增长到1993-94财政年度的52%。根据评价结果安排的新项目占新增项目的43%。
(2)改进现有项目的管理。在项目评价过程中,通过阐明项目执行的逻辑,充分评价管理人员的相关知识、技能,不断加深他们对项目的理解,促进项目按既定目标和程序运转,在项目自身范围内有效配置资源等,实现战略计划的目标。通过"评价发现",采取有效措施,认识并规避消极结果的出现,改进项目的管理。
(3)增强项目管理者的责任感。一是通过项目评价,使部门高层管理者或部长能够了解项目管理者完成绩效目标的成本-收益。二是通过在年度报告中向公众发布评价发现。这些都有助于增强管理的责任性。在内阁决定新预算前,向其报告项目的执行结果,为内阁决策提供依据。
保证评价发现的有效使用是一个重要的问题。评价发现的使用计划是绩效评价计划的一部分,它要在评价正式执行前作出。在计划设计阶段,要考虑的因素主要包括:使用评价发现的目的(决策、改进项目管理、责任性);谁来使用评价发现;何时使用评价发现;谁影响评价发现的使用;谁将受到评价发现的影响;谁提出改进管理的建议;等等。以上各方面密切相关,要在计划阶段集中考虑。
如果评价的目标是为新的政策建议提供信息,那么,评价发现将成为内阁决策的依据。在内阁使用这些信息前,评价发现要在合适的时间提交给各个部门或机构的负责人。另一方面,如果评价的目标是为改进项目管理,如为提高员工的管理水平,那么,在培训活动的计划阶段就需提交所需要的绩效结果。
对评价发现,应该采取有效的行动。大家一般认为,只有在评价已结束,相关负责人已经收到绩效评价报告后才应该对评价发现采取有效行动,以改进管理。其实,对评价结果或结论采取有效措施,也经常发生在评价即将结束的咨询阶段。为促进以后的项目不断改进管理,在评价小组、顾问委员会、项目管理者和其他相关人员之间,要相互讨论、交流信息,使将来的工作做得更好。