1970년대 정부 주도형 경제 발전 과정에서 경제기획원은 독특한 지위를 가지고 있었다. 계획과 예산을 동시에 관장하면서 부총리의 지위를 가지면서 다른 부처를 조정하는 권한을 가지고 있었다. 이 시기에 예산실은 모든 사업에 대한 조정권을 가지고 있었다. 그리고 이러한 경향은 민주화를 지나면서 1990년대까지 지속되었다.

그러나 1997년 외환위기를 지나면서 예산실 주도의 예산 편성기능에 한계가 지적되고, 재원 배분의 우선순위를 재검토하고자 하는 경향이 발생하였다. 이에 2004년 이후에 “3+1”이라고 하는 재정개혁이 진행되었다(강영철 외. 2008). 그것의 핵심적 요소는 Top Down 방식, 국가재정운영계획, 재정사업에 대한 성과 평가의 3가지 절차와 IT에 의한 디브레인(d brain) 시스템의 구축으로 요약된다.

이러한 재정개혁의 과정에서 재정사업 자율평가도 도입되었다. 즉 이는 단순히 재정 사업을 평가하고 이의 점수를 예산 과정에 반영한다는 산술적 의미로 해석하기 보다는 권력의 변화를 수반하는 과정이라는 의미를 함축하고 있는 것이다. 중앙예산기구에 의한 집권화된 예산 편성 과정이 아니라, 각 부처에 권한을 분산하는 의미를 가지고 있으며, 예산 관련 권력 구도의 개편과정으로 이해되어야 한다. 외형적으로는 재정 사업을 평가하여 계량화된 지수로 예산 편성에 반영하겠다는 것을 표방하고 있지만, 그것의 핵심은 재정 당국과 각 사업부처의 권력 관계를 재편성하는 과정으로 이해되어야 한다. 즉 주어진 재정 당국이 정해준 예산 한도(ceiling) 내에서는 사업부서가 자율적으로 사업을 결정하도록 하겠다는 것이다. 따라서 기획재정부는 사후적으로 이에 대한 성과 평가를 강화하는 것이다.

2004년 재정 개혁에 대한 이러한 배경을 이해한다면 재정사업 ‘자율’평가의 의미가 해석된다. 그리고 이 제도에 대한 연구는 평가의 결과에 대한 분석뿐만 아니라, 평가의 과정에도 관심을 가져야 한다. 그러나 지금까지 상대적으로 평가의 점수를 분석하여 점수의 특징을 분석하는 접근이 많았다. 숫자가 있기 때문에 이를 바탕으로 한 계량적 연구가 가능한 요인이 크게 작용했다고 볼 수 있다.

그러나 사업부서에 의한 ‘자율’평가를 그대로 반영하는 것이 아니라, 기획재정부에 의한 ‘상위’평가를 거쳐서 최종 점수가 결정되는 과정을 염두에 둔다면 이러한 과정에서 어떠한 의사결정이 이루어지는 가를 분석하는 것도 중요한 의미를 가지고 있다.

이에 본 연구에서는 계량화가 비교적 어렵다고 하는 환경부를 대상으로 부처의 자율평가 점수가 기획재정부의 상위 평가 과정에서 어떠한 변화가 발생하였는가를 분석하고자 한다. 이를 통해 부처에 예산 사업의 선택권을 주고, 자체 평가를 하도록 하고, 기획재정부가 사후에 성과 평가를 통해 통제하려는 의도가 어떠한 방식으로 진행되는 가를 분석하고자 한다. 이러한 과정에서 자체평가와 상위 평가의 과정을 비교 분석하여 향후 평가 과정의 신뢰성을 제고할 수 있는 방안을 마련할 수 있을 것이다.

재정사업 자율평가에 대한 많은 연구는 진행되어 왔다. 점수로 결과가 주어지지 때문에 계량 연구의 수월한 대상이 될 수 있었다. 그것은 주로 3가지 경향으로 구분된다. 첫째는 평가 결과의 점수에 초점하여 특징을 분석하는 것이다. 매년 사업별 계량화된 점수가 주어지기 때문에 계량 모형을 적용하여 어렵지 않게 분석을 할 수 있는 장점이 있다. 예산 규모가 큰 경우, 부처의 성격에 따른 차이, 예산 사업과 기금 사업의 차이에 따른 평가 점수의 결과를 분석하는 것이다. 윤기웅·유승현(2014)의 연구는 정부 재정 성과 측정 결과의 영향요인 분석을 성과 지표 특성과 사업 특성을 중심으로 분석하고 있다. 하연섭(2013)의 연구도 사업 특성 별 성과 관리제도의 유효성에 관한 연구가 이루어지고 있다. 박노욱·원종학(2012) 연구도 이러한 맥락이다. 이러한 연구 결과에 따르면 정부가 직접 서비스를 제공하거나 관리하는 직접 사업이 다른 기관에 서비스를 위탁하는 간접 사업보다는 평가 결과가 양호하다. 복지 사업 영역의 성과가 다른 사업 영역보다 평가 결과가 부진하다. 예산 규모가 큰 사업일수록 평가 결과가 양호하다. 청 단위의 조직에서 주관하는 사업의 평가 결과가 양호하다. 청 단위에서 주관하는 사업의 경우, 사업의 목적이나 서비스 내용이 구체적이고 명확한 경우가 많기 때문이다. 그리고 청에서 추진하는 사업은 직접 사업의 비율이 높은 것으로 나타나고 있다.

둘째는 성과 결과에 따른 예산 배정의 관계를 분석하는 것이다. 이는 재정사업 자율평가의 실효성을 분석하는 것이다. 점수가 낮은 사업에 대한 예산 배정과 점수가 높은 사업에 대한 예산 배정이 높은 것에 대한 상관관계를 통해 재정사업 성과평가 결과의 유효성을 분석하는 것이다. 윤기웅·공동성(2012)의 연구가 성과와 예산 간 연계성을 분석하고 있다. 박민정·박중훈(2008)의 연구도 재정 성과 결과가 실질적으로 예산의 효율적 사용 측면인 예산의 절감에 미친 효과를 분석하고 있다. 박노욱·원종학·김진·박명호(2012)의 연구도 아직 계량적 분석은 하지 못하고 제도에 대한 평가를 하면서 평균 예산 증가율과 성과 평가의 상관관계를 분석하고 있다. 이에 따르면 재정사업 자율평가는 차년도 정부 예산안 증가율 통계적으로 유의한 영향을 미친다. 특히 등급의 경우 예산 편성에 영향을 미치게 되는데, 미흡 또는 매우 미흡 등급이 예산 증감률과 통계적으로 유의미한 (-)의 관계를 가지는 반면, 우수 또는 매우 우수의 경우에는 통계적으로 유의미하지 않게 나타나고 있다. 이는 재정 사업 자율평가 결과가 주로 미흡 이하 등급을 받는 사업의 예산을 삭감하는데 활용된다는 것을 반영한다. 특히 사업 계획 항목의 회귀계수가 가장 크다. 즉, 사업 계획 항목이 실제 예산 증감에 영향을 가장 크게 미치고, 상대적으로 성과 항목은 실제 예산 증감에 덜 영향을 미친다. 그러나 R2가 낮다는 점에서 성과와 예산간의 연계는 매우 약하다. 성과가 예산에 미치는 정도가 낮다는 점에서 직접적 성과 예산 제도라기보다는 간접적 성과 예산 제도라고 할 수 있다. 제도적인 관점에서 본다면 미흡사업에 대해서 10% 예산을 삭감하기 때문에 직접적 성과주의라고 할 수 있으나, 실제 계량적 분석에서 상반된 현상을 보여주고 있다.

셋째는 평가에 대한 피평가자의 수용성을 평가하는 것이다. 재정사업 자율평가의 평가 결과 점수를 대상으로 분석하는 것이 아니라, 이러한 제도에 대한 피평가자의 입장을 분석하는 것이다. 이석환·조주연(2011)의 연구에 의하면 성과 평가 방법과 운영의 타당성은 수용성에 영향을 미치지 않는 것으로 나타나고 있다. 성과 지표 및 활용의 실용성과 성과평가결과 반영의 공정성만이 수용성에 영향을 미치는 것으로 나타나고 있다. 그리고 지표가 가장 중요하다. 즉, 평가 지표는 현실을 반영해야 하고, 체감지표 위주로 설계되어야 하며, 부서와 부서의 환경 차이를 반영해야 하는 것으로 나타나고 있다.

그러나 이러한 연구 방법의 공통된 특성은 기획재정부에서 부여한 최종 점수를 대상으로 분석하고 있다는 점이다. 개별 부처에서 부여한 점수가 기획재정부의 상위 평가 과정에서 어떻게 반영되었는가, 즉 자율평가와 상위 평가의 관계를 대상으로 연구하고는 있지 않다. 본 연구의 특징은 재정사업 자율평가의 특성을 반영하여 자율평가와 상위평가의 관계를 분석하는 것에 있다.

미국의 경우 의회가 예산 심의권을 가지고 있고, 상대적으로 관리예산처(Office Of Management and Budget; OMB)의 권한은 강하지 않다. 1993년 정부성과관리법(GPRA) 이후에 성과 관리 체계가 도입되면서 재정사업에 대한 성과 평가 기능도 강화되고 있다. 이는 OMB가 예산 사업에 대한 조정 권한이 아니라, 평가를 통해 개별 부처에 대한 권한을 확보하는 과정으로 이해할 수 있다.

한국의 경우 2004년 재정사업 자율평가 제도가 시범적으로 도입되고 2006년 국가재정법의 제정으로 “3+1” 재정 개혁이 정착되었다. 이에 top down 방식의 예산 결정 방식이 도입되었다. 이러한 과정에서 중앙예산기구의 성격이 구체적인 사업 조정권을 축소하는 과정을 거치게 되었다.

과거에는 중앙예산기구가 사전적인 사업 심의권을 강조하였으나, 이제는 각 부처가 한도액(ceiling)의 범위에서 자율적으로 사업을 선정하게 되기 때문에 중앙예산기구의 성격이 바뀌게 된 것이다. 한도액을 정하고 나면, 구체적인 사업 선정은 개별 부처가 하게 되고, 이에 따라 중앙예산기구는 부처가 자율적으로 선정한 사업에 대한 사후적인 성과 평가 기능을 강화하게 되는 것이다. 과거처럼 중앙예산기구가 사전적으로 직접 사업을 조정하고 최종 선택을 한 경우에 비해 한도액을 정하고 이러한 한도액의 범위 내에서는 개별 부처가 사업을 결정하는 경우에 평가의 의미는 달라질 것이다.

이러한 top down 방식이 예산결정 과정에서 재정사업 자율평가는 중앙예산기구가 개별 부처의 권한을 통제하는 방안이 될 수 있다. 재정사업 자율평가에 대해 자율이라는 용어를 활용하고 있으나, 결국 중앙예산기구가 상위평가(meta-evaluation)이라는 이름으로 사후적인 통제를 하는 경우에 평가는 개별 부처의 자율성에 대한 책임을 묻는 과정이 되는 것이다.

1) 재정 사업 자율평가의 절차와 특징

<표 1>에서 보는 바와 같이 우리나라 성과 관리 체계는 우선 PART(Program Assessment Rating Tools)라고 하는 미국에서 개발된 성과 관리 방식을 적용한다. 이는 기획재정부가 사업별 평가항목과 평가지침을 사전에 제시하여 부처 소관별로 재정사업을 자율 평가하는 방식이다. 그리고 부처 소관별 자율평가를 기획재정부가 평가결과를 점검한다.

평가 지표는 크게 계획, 집행, 성과의 3개 부문으로 나누어진다. 평가 항목은 매년 변화를 하였다. 다만 계획(30), 집행 또는 관리(20), 성과(50)의 비중은 일정하게 유지하고 있다. 이에 의하면 성과가 50점 비중으로 가장 높은 특징을 보이고 있다. 그러나 계획의 범주에 있는 성과 계획의 적정성(15)이 결국은 성과와 연관되어 있다고 보면 성과가 65%를 차지하도록 되어 있다고 할 수 있다.1)

2) 분석 대상

부처에서 일차적으로 제시한 점수와 기획재정부에 의한 최종 점수 간에 일관성이 어느 정도 존재하고 있고, 이를 통해 최초의 점수를 어느 정도 신뢰할 수 있는 가를 분석하고자 한다. 이에 본 연구에서는 다음과 같은 문제점을 천착하고자 한다.2)

첫째, 전반적으로 부처 점수와 예산실 평가 점수의 편차는 어떻게 나타나고 있는가? 총점을 중심으로 평가하면서 다음과 문제점을 구체적으로 분석한다. 계획, 집행, 성과의 영역으로 나누어 차이가 크게 발생하는 영역은 무엇인가를 분석한다.

둘째, 학습 효과를 평가한다. 만약 재정 사업 자율평가가 처음 도입되는 시기에 개별 사업 부처가 평가에 대한 이해도가 낮았기 때문에 점수가 낮았다면 시간이 지나면서 차이는 줄어야 한다. 그리고 장기적으로 재정 사업 ‘자율평가’가 정착되려고 한다면 개별 부처에 평가를 위임할 수 있어야 한다. 학습효과가 나타나는 가를 평가하는 것은 그러한 측면에서 의미가 있다.

셋째 이러한 과정에서 평가의 과정에 대한 분석을 한다. 평가의 목적에 비추어 지표별 구성과 평가의 방식에 대한 분석과 대안이 모색될 것이다.

특히 본 연구는 환경부에서 자체 평가를 통해 부여한 자율 평가 점수와 이를 기획재정부에서 다시 조정한 최종 점수간의 차이를 분석하여 성과 평가 관련 정보가 어떻게 변화를 하게 되는 지를 분석한다. 이를 통해 성과 평가 관련 효율성과 신뢰성에 관한 분석을 하고자 한다. 이를 위해 이명박 정부의 시기에 해당되는 2007년에서 2011년의 5년간 자료를 통해 분석한다. 2004년부터 시도된 재정사업 자율평가가 2006년 국가재정법 제정을 통해 본격적으로 제도화가 이루어지는 시기에 해당되기도 한다.3)

1)2015년 기준으로는 계획 20점(사업 계획 10점, 성과 계획 10점), 관리 30점, 성과 50점으로 되어 있다. 계획의 점수가 10점 감소하고, 집행 관리의 점수가 10점 증가한 특징을 보이고 있다. 관리와 관련하여 계획대로 집행하였는지가 15점, 사업 추진 중 문제점 해결이 10점으로 되었다.  2)본 연구는 선행 연구에서 분석된 변수들을 추출하여 모형을 설계하고 분석하는 것이 아니다. 선행 연구의 대상이 최종 점수에만 관심을 갖고 있는 것에 대한 반성에서 부처의 자체 점수와 기획재정부의 최종 점수 관계를 분석하는 것이다. 자체 평가의 점수와 상위 평가의 점수 차이 분석을 통해 자체 평가의 실효성을 제고하고 궁극적으로 재정사업 자율평가의 정착을 위한 과제를 도출하고자 하는 것이다.  3)2007년에 대통령 선거가 있었고, 이에 따른 정부 조직 개편이 있었다. 이에 2008년에 실시된 2007년에 대한 재정 사업 자율평가는 매우 부실하게 진행되어 자료 자체의 체계적인 관리가 어렵게 되어 있다. 부처를 넘나드는 조직 개편의 과정에서 책임을 묻기가 어렵게 되었고, 이에 성과 관리가 제대로 이루어지지 못하였다. 재정사업 자율평가의 결과에 관한 수치를 대상으로 계량 분석을 하는 경우에는 이러한 조직 변화를 고려하여 해석할 필요가 있다.

2007년부터 2011년도까지 환경부와 기재부의 자체평가와 상위평가를 비교하여 두 부처 간의 평가결과에 유의미한 차이가 나타나고 있는지 분석하였다.

2007년의 평가결과의 경우에는 각 요인별 유의미한 결과(p<0.05)로 두 부처 간의 평가결과에 차이가 나타나고 있음을 알 수 있다.

2008년의 평가결과 분석에서는 총점 기준에서는 유의미한 결과를 나타나고 있지만, 계획에 대한 평가에서만 유의하지 않는 결과가 나타난다. 이것은 환경부와 기재부의 계획부분 평가에서 차이가 발생하지 않고 동일시되어 가고 있는 것으로 분석된다.

2009년의 평가에서는 두 부처 간의 차이가 존재하는 가정에 전체적인 유의미한 결과를 나타내고 있지만 집행부분의 평가에서만 유의미한 결과를 나타내지 않고 있어 차이가 없음을 알 수 있다.

더욱이 2010년의 평가에서는 평가결과에 영향을 미치는 계획과 집행부분이 유의미한 결과를 나타내고 있지 못하는 상황에서 총점에 의한 두 부처 간의 평가결과에는 차이가 나타나고 있음을 알 수 있다. 이러한 결과는 이미 각 요인별로 적용하는 점수의 비중에서 차이가 존재하고 그 중 성과부분이 절반을 차지하고 있기 때문에 성과부분에서 유의한 결과가 총점에 대한 유의한 결과를 나타내는데 결정적인 역할을 하고 있는 것으로 분석된다.

그러나 2011년의 분석을 살펴보면 두 부처 간의 차이가 존재하지 않음을 알 수 있다. 즉 평가에 영향을 미치는 모든 요인들이 유의한 결과를 가져오지 못하고 있으며 이에 따라 총점에도 영향을 미치게 되어 두 부처에서 실시하고 있는 자체평가와 상위평가 간에 차이가 존재하지 않고 동일한 수준에서 평가가 실시되고 있음을 알 수 있다.

결과적으로 환경부와 기재부의 자체평가와 상위평가 분석을 통해서 두 가지의 함의를 얻을 수 있다. 첫째, 자율재정평가가 도입된 2007년의 경우 각 요인에 대한 두 부처 간의 평가가 상이하였으나, 점차적으로 평가에 영향을 주는 요인들이 동일한 수준으로 맞추어 변화되었으며 점차 전체 평가에도 동일한 수준으로 나타나고 있다. 이것은 서로 상이한 결과로 평가되는 두 부처가 동일한 수준으로 평가되는 자율 재정평가의 학습효과가 나타나고 있음을 알 수 있다. 둘째, 자율재정평가의 중요한 영향력을 미치는 요인은 성과부분이다. 평가에 있어 50%의 비중을 차지하고 있는 성과부분의 비중으로 인하여 계획 및 집행부분의 평가가 전체 평가에 대하여 영향을 미치지 못하고 있음을 알 수 있다.4)

초기에 환경부는 90점 이상의 점수를 부여하면서 관대화 경향이 지속되고 있었다. 그러나 기획재정부는 확고한 의지로 60점대의 점수를 부여하였다. 이에 2010년이 되면서 환경부가 대폭 점수를 현실화시키고 기획재정부의 눈높이에 맞추게 된다. 2010년에는 환경부의 자체평가 평균 점수가 75점으로 하락을 하였고, 2011년에는 60점대로 하락을 하였다. 그러자 2011년의 경우에는 환경부의 자체 점수보다 기획재정부가 높은 점수를 주는 특이한 현상까지 발생하였다.

자체평가의 허풍전력(bluffing)이 실효성이 없다는 것을 인지하면서 평가가 현실화된 것으로 분석할 수 있다. 이는 부처 간 지식의 차이를 반영한다거나, 정보의 차이를 반영한다고 설명하기에는 편차가 너무 크다고 할 수 있다. 이러한 모습은 평가가 학습의 과정으로 접근하는 것이 아니라, 예산 심의 자료로 활용되는 이유로 인해 부처의 정치적 경향이 강화되었기 때문이라고 평가된다.

환경부와 기획재정부의 점수 차이를 유발하는 요인을 계획, 집행, 성과의 기준에 따라 분석하면, 성과의 요인이 가장 크게 작용하고 있다. 즉, 성과의 단계에서 부처와 재정 당국의 인식 차이가 큰 것이다.

총점의 차이를 100% 기준으로 보면, 성과가 2007년에는 58.4%가 차지하고, 2008년에는 68.5%, 2009년에는 79.6%, 2010년에는 60.3%, 2011년에는 111%를 차지한다.5) 물론 이는 성과의 비중이 다른 항목에 비해 높은 이유이기도 하다.

이에 평가 항목에 대한 비중의 차이를 상쇄하기 위해 차이가 발생하는 총점 대비의 각 항목의 차이 점수 비중이 아니라, 배정된 점수 비중 대비 점수의 차이를 비율로 계산할 필요가 있다. 예컨대 계획에 배정된 점수가 20점인데, 이중 차이가 나는 점수가 5점이라면 25%(5÷20)의 배점 대비 차이가 발생하는 것이다. 이러한 방식으로 계산된 것이 <표 5>이다.

이에 따르면 성과 항목에서의 점수 차이가 여전히 큰 비중을 차지하고 있다. 다만 계획의 경우 배점 대비 차이의 비중에서는 상대적으로 중요성을 보여주고 있다. 즉 계획 단계에서는 점수의 차이 그 자체는 크게 나타나지 않았지만, 20점이 배정된 것을 고려하여 점수 차이의 비중을 계산하면 상당한 의미가 있는 것으로 나타나고 있다.

모든 것을 종합하여 보면 결론적으로 성과 항목에서 환경부와 기획재정부의 입장에서 큰 차이를 보이고 있다. 그리고 그것이 총점 기준으로 환경부와 기획재정부의 점수 차이를 유발하는 가장 큰 요인이 되고 있다.

계획의 경우 점수 차이가 계속 축소하고 있다. 비중은 30점으로 그리 낮지 않은 편이지만, 실제 평가의 결과 환경부 점수와 기획재정부 점수에 큰 차이가 발생하지 않고 있다. 그것은 사업의 필요성, 중복성, 성과 체계 수립 등 워낙 본질적인 질문을 하고 있기 때문이다. 사업의 설계 단계에서 확인되어야 할 질문의 수준이다. 그래서 계획은 평가의 과정이 아니라, 컨설팅의 과정으로 전환할 필요성을 제기하는 대목이다.6)

즉, 계획을 평가 항목으로 할 것이 아니라, 평가를 위한 성과 지표 개발, 성과 목표치의 설정 등과 관련하여 성과 계약의 항목으로 전환할 필요성을 제기하고 있다.

집행 항목을 기준으로 자체평가 점수와 상위 평가 점수를 비교하면 연도별로 큰 차이가 발생하지 않고 있다. 이는 집행을 예산 집행률로 평가했기 때문에 계량적 평가가 가능했기 때문이다.

향후 평가와 관련하여 피평가기관의 수용도를 높이기 위해서는 가능한 계량적 지표를 개발하여 적용하는 것이 중요하다는 것을 보여 준다.

성과 관리와 관련하여 초기에 환경부는 매우 관대한 경향을 보이고 있다. 반면 기획재정부는 이 부분에서는 매우 강력한 입장을 고수하고 있다. 성과와 관련하여 가장 많은 쟁점이 포함되어 있다는 것을 알 수 있다.

평가와 관련하여 가장 많은 논쟁이 발생하는 부분이 성과 지표의 설정과 이에 근거한 평가이다. 특히 이 지표는 성과 계획과 연계되어 있다. 성과 목표의 지표를 잘 못 선정하였거나 목표치가 적극적으로 설계되어 있지 못하다고 하면, 성과 목표치를 달성하더라도 좋은 점수를 받지 못하기 때문이다. 사실 이런 논리적 연계는 적합하다. 잘못된 목표를 달성한다는 것이 의미가 없기 때문이다. 마치 탈선한 기차에 속도를 내라고 독촉하는 것과 같다.

무엇보다 성과목표치 설정에 있어서 어느 정도의 주관성 개입은 불가피하나, 목표치 설정 근거는 충분히 제시되어야 한다. 과거의 추세실적 및 유사사업의 목표치 등을 풍부하게 제시하여 목표치 설정 타당성을 일반 시민들이 비교 판단할 수 있도록 해야 한다. 목표치가 외부요인 및 과거에 추진했던 사업의 결과로 당해 연도에 당연하게 달성될 수 있는 목표치 설정은 지양해야 한다.

그러나 문제는 성과 목표치의 설정과 관련하여 부처와 중앙예산기구 간에 소모전이 발생한다는 것이다. 예컨대 교육훈련을 실시한 사업의 경우 사업부서는 교육 참가자를 중시하지만, 기획재정부에서는 교육에 따른 효과의 측정을 주장하고 있다. 이에 성과 지표가 적절하지 못하다는 평가를 받게 되면 교육 참가자가 많았다고 하더라도 제대로 점수를 받지 못하는 문제가 발생한다. 이러한 문제는 경제 부처가 아닌 환경부나 복지 관련 부처에 경우 강력한 반발 요인이 되기도 한다. 거시적 관점의 인과 관계와 개별 사업에 따른 인과 관계의 연계성을 찾기가 어렵기 때문이다.

그리고 여기에서 논란이 되는 항목이 2-1 (성과지표가 사업목적과 명확한 연계성을 가지고 있는가?)과 2-2 (성과지표의 목표치가 의욕적인가?) 인데 인식의 차이가 크게 나타날 소지가 있는 영역이다. 더군다나 2-2는 4-1과 연계된다. 이에 2-2의 15점과 4-1의 30점이 결합되는 경우 45점의 점수가 차이가 발생할 여지도 있다.

이는 개별 부처와 기획재정부가 재정사업 자율평가를 바라보는 시각의 결정적인 차이를 유발하는 요인이 될 수 있다. 박민정(2008)의 설문조사에 따르면 “재정 성과 관리의 지표는 성과관리를 측정하기에 효과적인가”라는 항목에서 기획재정부는 70%가 ‘그렇다’, 30%가 ‘보통이다’라고 나타났다. 반면 사업 부처는 ‘그렇지 않다’ 25%, ‘보통이다’ 44%, ‘그렇다’ 31%로 나타나 인식의 극명한 차이를 보여주고 있다. 그리고 “각 사업은 객관적으로 평가되고 있는 가”라는 항목에서 기획재정부는 100%가 ‘그렇다’라고 하고 있는 반면, 사업 부처에서는 36%가 ‘그렇지 않다’, 37%가 ‘보통이다’, 27%가 ‘그렇다’라는 반응이다.

사실 성과 지표는 인과 관계의 추적이라는 과학이라는 측면 못지않게 기술적인 영역이고 철학적 영역이기도 하다. 이를 두고 점수 부여의 논쟁을 야기하는 것은 국가적인 소모라고 할 수 있다. 이는 협의와 상담의 과정이 되어야 한다는 쟁점을 야기한다.

4)이는 평가 점수의 차이에 영향을 미치는 요인이 성과 항목이라고 하는 다른 연구와 같은 방향성을 제시하여 준다. 본 연구에서는 자체평가와 상위평가를 대상으로 하였으나, 상위평가의 결과인 최종 점수를 대상으로 이에 영향을 미친 요인을 분석한 연구와 같은 함축적 의미를 가지고 있다.  5)이는 이석환·조주연(2011)의 연구 결과와도 일관성을 보이고 있다. 이에 따르면 성과 평가 방법과 운영의 타당성은 수용성에 영향을 미치지 않으며, 성과 평가 결과 반영의 공정성 만이 수용성에 영향을 미친다는 결론을 보이고 있다. 이에 성과 지표의 설정이 가장 중요하다는 정책 제안을 하고 있다.  6)실제 계획 항목의 경우는 2015년 20점으로 비중이 줄어들고 있다. 그것은 필요성이 낮아서가 아니라, 평가로서의 유용성이 낮기 때문이라고 해석되어야 할 것이다.

1) 재정사업 자율평가의 관점

2008년 금융위기를 지나면서 재정 여건이 어려워지자, 2004년부터 시도되어 왔고 2006년에 국가재정법으로 정착된 3+1 개혁에 대한 총체적인 반성이 진행되고 있다. 무엇보다 top down 방식, 국가재정운용계획 등은 이미 현실적으로 작동되지 못하고 있다는 반성도 제기되고 있다. 이에 반해 성과 평가 제도는 한국을 대표하는 행정 개혁 사례로 소개되고 있다. 나아가 개발도상국에 한국의 경험을 전수하는 지식공유사업(KSP: Knowledge Sharing Program)의 중요한 대상이기도 하다.

이러한 의미를 살리기 위해 지금 가장 중요한 요인은 각 부처의 자율적 기능을 확립하는 것이다. 재정 사업에 대한 평가 그 자체는 다른 국가들에서도 수행되고 있지만, 사업부처에서 먼저 자율평가를 한다는 것은 매우 중요한 정치경제적 역학 관계를 반영하고 있다고 보아야 할 것이다. 재정사업 자율평가는 재정 사업에 대한 계량적 평가라는 측면 못지않게 자체평가와 상위 평가의 2단계 평가 절차를 가지고 있다는 측면이 부각되어야 한다. 재정사업 자율평가의 정착 여부는 개별 사업부서와 재정 당국의 정치적 관계를 재설계하는 것이며, 이러한 과정에서 개별 부처의 재정에 관한 학습 능력을 갖추는 것이 중요하다.

2) 상위평가의 방향

상위평가란 평가 계획이나 진행 중인 평가, 이미 완료된 평가를 다른 평가자로 하여금 평가하는 것을 의미하는 것으로 평가에 대한 평가라 할 수 있다. 상위평가의 목적은 평가 자체의 실제를 이해하고 이를 향상시키기 위한 것이다. 이에 기획재정부의 상위평가는 다음과 같은 목적을 방향성으로 가져야 한다.

첫째, 평가에 포함된 정보의 질에 관해 의사결정자들에게 독립적인 판단자료를 제공하는 것을 목적으로 한다. 이를 위하여 상위평가에서는 다음과 같은 질문에 대한 답을 구해야 한다. 평가 과정(사용된 척도, 표본추출절차 등)은 적절했는가, 평가 설계는 적절했는가, 적절한 자료수집 및 분석방법이 적용되었는가, 평가에 있어 어떤 편견은 개입되지 않았는가 등이다.

둘째, 평가 작업의 영향 또는 평가결과의 활용도를 측정하기 위하여 상위평가를 실시한다. 이를 위하여 다음과 같은 질문에 대한 답을 구해야 한다. 평가결과의 이용자는 누구인가, 평가보고서는 늦지 않게 제출되었는가, 평가보고서는 연구결과를 명백하게 제시하고 있는가, 평가보고서는 해당 평가 고객들에게 배포되었는가, 평가결과에 따라 내려진 결정은 정당화 될 수 있는가 등이다.

셋째, 상위평가는 장래에 적합한 평가자를 선정하기 위한 지침을 제공하기 위하여도 수행된다. 이러한 목적을 달성하기 위하여 상위평가에서는 다음과 같은 문제를 제기하고 답을 구해야 한다. 평가자는 평가를 수행할 만한 지식을 갖추고 있는가, 그의 교육적 배경은 어떠한가, 평가자는 평가업무를 수행해본 경험이 있는 사람인가, 평가자는 객관적으로 평가할 수 있는 인품의 소유자인가, 평가자는 잘 알려진 사람인가 등이다. 이렇게 볼 때, 상위평가는 평가의 실제를 향상시켜 줄 수 있는 하나의 통제 장치 역할을 수행한다고 할 수 있다.

이러한 과정을 통해 지속적으로 평가문화 및 평가제도 개선에의 기여를 위한 노력을 해야 한다. 이에 기획재정부는 자율평가의 결과를 다시 전면적으로 재평가하는 방식을 지양하고, 사업부서에서 이루어진 자율평가를 점검하는 방식으로 전환할 필요가 있다. 특히 계획과정을 사전 컨설팅으로 전환하고, 집행 기능을 개별 부처에 위임한다면, 기획재정부는 성과 결과에 대한 점검 기능에 국한할 수 있을 것이다. 그리고 필요시 재정사업 심층평가를 요구하여 사업의 효율성을 제고하는 노력을 촉구하는 기능을 가질 수 있을 것이다.

3) 자체평가의 재설계

자체평가는 상위평가가 이루어지기 이전에 해당 기관이 스스로 자신의 업무 성과 제고를 위해 평가하는 것을 말한다. 이를 위해서는 자체평가가 내실화됨에 있어서 장애요인에 대한 발굴 및 해결 노력을 지속적으로 기울여야 한다.

우선 자체평가 목적에 부합하는 평가기준 및 지표를 피평가기관 스스로 발굴하여 적용하여야 한다. 자칫 그릇된 상위평가의 방향으로 인해 나타날 수 있는 그릇된 자체평가 수행이 문제가 될 수 있다. 그 예로 상위평가의 기준 및 지표가 자체평가를 잘못 유도함으로써 해당 업무의 성과제고에 역행하는 경우가 이에 해당된다.

다음으로는 자체평가의 수행이 상위평가를 염두에 두고 이루어져서는 안 된다. 물론 상위평가를 전적으로 배제한 상태에서의 자체평가 수행을 의미하는 것은 아니다. 자체평가의 목적이 해당업무의 성과제고 및 기관의 성과관리에의 기여에 있기 때문에 상위평가를 받기 위해서 자체평가가 이루어져서는 안 됨을 의미한다. 평가(상위평가)를 위한 평가(자체평가)가 되는 것은 오히려 평가가 해당업무는 물론 기관 전체의 업무효율성 및 대국민 책무성 제고에 역행하기 때문이다.

또한 자체평가는 해당 업무 담당자를 비롯하여 조직 구성원 모두가 자신을 위해서 자신의 조직을 위해서 이루어지는 것임을 항상 상기해야 할 것이다. 평가를 귀찮은 일쯤으로 여기는 평가(상위평가)를 받기위한 평가(자체평가)로 여겨서는 안 될 것이다.

자체평가의 내실화를 위해서는 먼저 상위평가가 바람직한 목적과 방향에서 수행될 것이 요구된다. 왜냐하면 바람직한 상위평가, 제대로 된 상위평가, 설득력 있는 상위평가의 수행은 평가현실에서는 자체평가의 내실화에 직접적인 영향을 주고 있기 때문이다.

따라서 상위평가 및 자체평가의 연계 논리 및 방향은 평가업무의 중복문제, 해당 평가대상과제에 대한 성과제고 및 평가결과에 대한 적극적인 수용을 위해서 논의되어야 한다.

성과 평가가 인센티브 제도와 연계되는 경우 피평가자의 입장에서는 좋은 평가를 받기 위한 기회주의적 행동이 발생할 우려가 있다. 특히 평가자와 피평가자의 사이에 정보 비대칭이 있는 경우 이를 통제하기도 어렵다.

성과측정의 왜곡을 개인적 특성에 따라 파악하려는 시도들도 있어 왔다. 일반적으로 성과측정은 행위자들이 비록 자신에게 피해가 되더라도 나타난 결과들을 정직하게 보고하는 양심을 가진 이들로 대부분 구성되어 있다는 전제를 가지고 있는데, 만약 자신의 이익을 극대화하려는 합리주의자들, 혹은 실제 결과를 다소 숨기고 꾸미더라도 더 나은 결과를 보이려는 기회주의자들이 더 많은 비율을 차지할 경우 성과측정에 대한 전략적 대응이 발생하게 된다고 보았다(Hood, 2007). 이러한 측면에서 조직 내 그리고 조직 간에 존재하는 환경적 요소는 이러한 기회주의자들의 활동을 촉진시켜 왜곡현상을 확산시킬 개연성이 매우 높게 만들게 된다고 보았다.

이와 관련하여 유승현(2013)의 연구는 매우 다양한 정보를 제공하여 주고 있다. 부분최적화(suboptimization), 근시안적 관리현성(myopia), 톱니효과(ratchet effects), 문턱 효과(threshold effects), 터널효과(tunnel effects) 등의 개념을 통해 실제 발생할 수 있는 왜곡된 행태를 설명하고 있다. 그리고 최성락. 박민정. (2008)은 13개 정부 부처의 2004년부터 2011년까지의 성과 목표를 검토할 결과, 성과 관리를 본격적으로 시행하기 이전에는 연도별 성장률이 34.55%, 21.81%이상이었지만, 성과 관리를 시행한 이후의 목표 성장률 평균은 4-5% 정도로 하향 안정화되었다는 것을 증명하면서 조직 구성원은 차기 목표가 향상되는 것을 두려워하여 성과를 낮추거나 성과 향상을 위한 새로운 기술이나 아이디어를 낮추는 현상이 나타난다는 톱니효과(ratchet effect)를 증명하고 있다. 이는 성과 조작(performance manipulation)이 발생할 가능성을 경고하고 있다.

실제 재정사업 자율평가의 결과 미흡 판정을 받게 되면, 10%의 예산이 삭감될 것을 예고하고 있는 현실에서 이러한 기회주의적 행동은 발생할 우려가 잠재하고 있다. 이에 상위 평가는 이를 통제하고 정보 비대칭을 극복하는 절차로서 작동할 필요가 있다.

성과 지표는 예산을 배정할 때 합의를 가져야 한다. 국가재정법에서는 다음 회계 연도 개시 90일 전까지 예산요구서를 제출 할 때, 성과 계획서를 제출하도록 하고 있다.

마찬 가지로 기획재정부가 미리 성과 지표에 대해서는 합의를 하고, 재정사업 자율 평가에서는 목표로 한 성과의 달성 여부만 평가를 하는 것으로 전환할 필요가 있다. 즉 성과 지표의 적정성 여부를 성과 평가에서 다루지 말고, 예산 배정 시에 이를 확보하는 과정으로 전환할 필요가 있는 것이다. ceiling에 의한 예산 배정 방식으로 전환하고 이러한 과정과 연계하여 재정사업 자율평가를 한다는 것은 미리 성과 계획에 대한 합의를 한다는 의미가 있기 때문이다. 즉 성과 계획은 사전 합의 사항인 것이다. 이럴 경우 성과지표의 개발은 평가의 과정이 아니라 컨설팅의 과정이 되어야 할 것이다.

자체평가는 가장 기본적인 자료를 생산하는 첫 단계이다. 따라서 자체평가위원회가 부처에 포획되지 않고 객관성과 전문성에 근거한 평가를 할 수 있도록 체계를 정립하는 것이 필요하다. 지금은 개별 부처에 임명을 전부 위임하고 있기 때문에 부처의 입장을 대변하는 위상을 갖기 쉽게 되어 있다.

자체 평가의 객관성을 확보하는 방안의 하나로 국무총리실이나 기획재정부가 인적 DB를 구축하고, 개별 부처는 이중에서 선택하여 위촉하는 방안도 가능하다. 이럴 경우 개별 부처와 평가위원 간의 직접적 관계를 한번은 스크린 하는 장치가 될 수 있을 것이다.

아니면 전체 위원 중 해당 분야의 전문성을 가지는 위원은 해당 부처에서 위촉하되 정책 전문가나 재정 전문가는 인력 풀을 활용하는 2원적 구조를 가지도록 하는 방안도 가능하다.

최근 사업 평가보다는 성과 관리 체계의 구축을 위해 노력하고 있다(윤수재 외. 2008). 재정사업 자율평가는 기본적으로 사업 평가 그 자체보다는 성과 관리의 체계로서 의미를 가지고 있다. 이러한 성과 관리 체계의 구축에서 가장 중요한 것은 성과 지표의 개발이고 이를 위한 체계적이고 합리적인 정보를 창출하는 것이다.

성과 관리와 관련하여 제기되는 ‘자료는 풍부하지만 정보는 부족한(DRIP: Data Rich Information Poor) 현상’처럼 실제 성과측정에 들인 노력과 시간만큼 결과가 보장되지 못한다는 비판과 밀접히 관계되어 있다(Poister, 2003).

재정사업 자율평가의 과정에서 계획, 집행, 평가와 관련한 매우 다양한 정보가 축적되고 있다. 그리고 제시되는 성과지표는 일종의 핵심성과관리지표(KPI)의 역할을 할 수도 있다. 이에 재정사업 자율평가의 정보가 DB로 구축되어 활용될 필요가 있다. 나아가 모든 재정사업에 관리카드를 활용하여 이력 관리(tracking)를 하는 경우 매우 중요한 DB의 요소가 될 수 있다.

1990년대 신공공관리가 중요한 정책 유행이 되면서 경쟁과 성과 관리는 중요한 화두가 되었다. 이러한 과정에서 우리나라는 재정사업의 평가와 관련하여 미국에서 개발된 PART(Program assessment Rating Tool)를 빌려왔다. 그러나 평가의 양식과 방법의 벤치마킹에 그치는 것이 아니라, 우리는 매우 특이하게 사업 부처에서 우선 자율평가를 하고 그 다음에 기획재정부가 상위 평가를 하는 이중적 절차를 가지게 되었다. 미국의 경우 편성권을 사실상 국회가 가지고 있기 때문에 개별 부처의 예산 제안에 대하여 대통령 직속기관인 OMB에서 각 부처를 통제한다는 의미를 가지고 출발한 제도가 우리나라에서는 변형된 형태가 된 것이다.

이에 우리나라의 경우 개별 부처에 의한 자율평가와 기획재정부에 의한 상위평가를 어떻게 정착시키느냐가 매우 중요한 과제이다. 만약 두 개의 평가가 다른 결과로 지속된다면 문제이다. 그러나 한편 두개의 평가 결과가 완전히 일치한다면 이중적이고 중복적인 작업이 된다. 따라서 개별 부처에 의한 자율평가의 전문성과 객관성을 제고하는 노력을 하면서 동시에 기획재정부의 상위평가가 갖는 의미를 재설계하는 노력은 향후 재정사업 자율평가의 정착을 위해 매우 중요한 과제이다.

이러한 맥락에서 환경부를 대상으로 분석한 결과 총점 기준으로 자체 평가와 상위 평가 결과는 어느 정도 수렴하는 모습을 보이고 있다. 학습효과가 발생한다고 할 수 있다. 계획과 집행은 큰 차이를 보이지 않고 있으며, 성과에서는 차이를 보이고 있다. 이러한 결과를 보면 향후 계획 변수는 평가 점수의 대상으로 하기보다는 사전 컨설팅 과정으로 전환할 필요가 있다. 집행의 경우에는 유의미한 차이가 발생하지 않고 있으며, 이는 예산 집행율과 같이 계량화가 되어 있기 때문이다. 가장 중요한 변수는 성과 지표이며, 향후 성과 지표의 개발과 측정에 집중할 필요가 있다는 것을 보여주고 있다.

이러한 분석을 통해 가질 수 있는 중요한 시사점 중의 하나는 기획재정부의 상위 평가가 지금처럼 평가 지표 전체에 대해 자체평가와 꼭 같은 방법으로 다시 평가를 하는 것은 제도의 목적을 달성하기에 오히려 걸림돌이 될 수 있다. 그야말로 meta evaluation의 과정으로 전환하여 평가의 방법론, 평가 주체, 평가 시기 등을 관리하는 전환이 필요하다. 그리고 자체 평가의 내실화를 강화하기 위해 사업 담당 공무원들이 예산의 본질을 제대로 이해하고, 사업 평가와 관련하여 객관성을 갖도록 의식 전환을 하도록 하는 것도 중요하다. 평가의 점수로 예산 배정에 활용하는 인센티브로 작용하기 때문에 평가의 왜곡이 개입될 소지가 있다면 자체평가위원회의 구성에서 이를 객관화 할 수 있도록 DB를 구축하고 인력 풀(pool)제로 활용하는 방안도 가능할 것이다.

성과측정을 통해 사업의 효율성을 제고하기 위해서는 끊임없는 시행착오를 필요로 하고 있다. 그런 의미에서 2004년부터 실시해온 재정사업 자율평가와 관련하여 자체평가와 상위평가의 관계를 재검토할 필요성이 제기된다.