지방자치제 부활 20년이 넘었고, 민선 지방자치 6기에 이르고 있는 현 시점에서도 지방의회의 전문성에 대한 많은 문제제기가 있지만(김명환·박기관, 2001; 박기관, 2005; 최봉기, 2005; 강상원·최병대, 2010; 김진윤·이정훈, 2010; 신원득, 2010; 김미현·정명은, 2014), 실제로 어떤 전문성에 대해 어떻게 지원해줄 것인가 하는 논의가 좀 더 구체적으로 진행될 필요가 있다. 지방의회의 무용론이나 제도적 보완이라는 양 극단 사이에 있는 다양한 대안들이 좀 더 적극적으로 시도될 수도 있기 때문이다.

가령 최봉기(2005)는 전문성 제약 요인을 자치제도의 문제, 행태적 문제, 정치사회적 문제로 구분하고 직무관련 학습 부족이나 연구 기피와 같은 문제를 다뤘다. 강상원·최병대(2010)는 의회 인사권 독립, 의원보좌관제, 교육 훈련, 입법정책 기능 강화 등 지방의회 의정활동 활성화를 위한 집단 간 인식 비교에 초점을 두었다. 윤주명(2003)은 지역사회 일반정보수집이나 지역현안 및 집행정책에 대한 여론 청취, 지역현안문제에 대한 해결방안 등에 도움이 되도록 NGO와의 연계를 제시했다.

지방의회의 연구경향을 분석한 김귀영(2011)에 따르면, 220편의 논문 가운데 조직구성이나 운영활동 등 내부요소에 대한 연구가 70%(159편)를 넘고, 제도나 관계 등 외부 환경에 관한 연구가 30% 정도(61%)를 차지하고 있다. 전반적으로 입법활동이나(박노수, 2010) 입법기능(송광태, 2012), 의정비와 생산성의 관계(김미현·정명은, 2014)에 초점을 맞추기도 하고, 의원의 연수에 대해 다루기도 하지만(하정봉·최봉기, 2007; 박천오·이춘해·서우선, 2008; 허훈, 2010), 전반적인 의정활동 자체를 정량·정성적으로 평가하는 연구가 많은 편이다(송광태, 2003; 강인호 외, 2010; 김진윤·이정훈, 2010; 최창수, 2010). 다수의 연구에서는 지방의원의 개별적인 역량만으로는 한계가 있으므로 법·제도의 정비나 지방의회 운영을 제고하기 위한 제도 개선이 필요하다는 지적과 대안이 제시되고 있다.

조례제정과 개폐 등 의안처리 건수, 예산심의 기간, 지역민원처리 정도, 감사지적 건수, 시정질의 건수 등 의정활동을 정량적으로 측정하는 것이 이론적·실제적으로 기여할 수 있는 중요한 방법이라 할 수 있다. 그런데 이러한 활동을 제도적으로 뒷받침하는 것 외에도 지방의원의 의정활동 가운데 지방정부에 대한 지방의원의 평가활동 자체를 개선, 발전시킬 수 있는 대안을 모색해보자는 것이 이 연구의 문제의식이다. 입법활동, 예산심의, 집행부에 대한 감시감독 등의 기능 가운데 지방의회가 지방정부의 업무를 평가하는 성격의 기능을 찾아, 지방의원이 정책평가자로서의 역할을 수행하는 데 도움을 줄 수 있다는 것이다.

일반적으로 지방정부에 대한 평가는 정성평가와 정량평가로 구성되어 있으며, 성과를 계량화하여 측정 가능한 경우 정량평가를 수행하는 한편, 평가자의 전문적 역량을 바탕으로 통찰력을 가지고 정성평가를 수행할 수 있다. 하지만 공공부문의 성과라는 것은 상당부분 계량화하여 측정 가능하지 않은 경우가 많아 평가자의 전문적 식견에 의한 질적 평가일 경우가 많다. 그러므로 평가자로 하여금 질적 평가의 중요성과 평가 방법에 관해 성찰해볼 수 있는 기회를 만들어주는 것이 중요할 수 있다.

지방의회는 지방정부의 각종 자료를 통해서나 지역구 주민들의 의견을 바탕으로 지방의회 본회의나 상임위원회에서 지방정부 업무 전반에 대한 질의 또는 행정사무에 대한 감사를 통해 지방정부에 대한 평가를 수행하는 것으로 볼 수 있다. 이러한 질의나 행정사무감사의 수행에 지방의원의 통찰력이 발휘됨은 물론이다. 이러한 평가 기능 자체가 평가자로서 지방의원의 전문적인 식견과 통찰력을 반영하는 것이기에 질의나 행정사무감사에서 지방의원이 질적 평가자로서 질적 평가를 수행하는 것임을 환기시키는 것만으로도 큰 의의가 있을 것으로 기대된다.

개인의 철학과 편의(bias)가 방법의 선택에 영향을 미치고, 시간과 비용의 한계가 있으며, 평가자의 능력 자체도 중요하기에 적절한 연구 방법을 선택하는 것이 쉽지는 않을 것이다(Patton, 1987: 170). 하지만 제도적 틀을 갖추는 것과 병행하여 다양한 방법론을 제시해줄 필요가 있다. Robert et al.(2011)와 같이 오랫동안 내려져오는 매뉴얼이나 문화적 전통이 약한 우리나라의 경우 지방의원 개인의 의정활동에 대해 방법론적 규정과 뒷받침도 중요하다는 것이다.

이 연구는 이처럼 평가기능으로서 지방의원의 의정활동을 강조하여 질적 평가의 중요성, 그리고 질적 평가의 도입과 활용 방안을 제시하는 데 목적이 있다. 지방의회와 지방의원의 역할 제고를 위한 법·제도적 정비와 더불어 지방의원의 평가(자) 역할에 대한 인식, 특히 질적 평가 방법의 이해와 질적 평가자로서의 역할 제고에 초점을 맞춘 이 연구가 궁극적으로는 지방의원의 의정활동을 개선, 발전시키는 데 기여할 것으로 기대된다.

이를 위해 서울시의회를 대상으로 서울시 업무에 대한 서울시의회의 평가 관련 기능을 도출하고 그 수행과정을 분석한다. 그리고 이런 기능을 수행할 때 활용할 수 있는 질적 평가 방법을 제안하기로 한다. 연구를 위해서는 관련 문헌과 서울시의회 본회의, 상임위원회, 행정사무감사 회의록 등을 분석하였고, 이 가운데 전형적인 내용을 추출하여 제시하였다. 또한 실제 서울시의회의 운영에 대한 이해와 회의록 등의 해석을 위해 전·현직 서울시의회 의원, 그리고 전문위원들과의 인터뷰를 병행하였다.

지방의회의 기능으로는 일반적으로 자치입법기능, 예산심의기능, 대표기능, 집행부에 대한 감시감독 기관으로서의 기능 등을 들 수 있다. 자치입법기능은 지방자치법 제39조 1항 제1호에 따른 지방자치단체의 조례를 제정하는 입법기관으로서의 기능이다. 지방의원은 주민의 의사를 수렴하여 조례안을 발의하거나 지자체장이 제출한 조례안을 심의하면서 주민의 의사를 바탕으로 수정의결을 할 수 있다. 예산심의기능은 예산심의와 의결활동을 말하는 것으로서 정책의 우선순위 결정을 통해 집행부를 통제할 수 있는 수단이 된다. 대표기능은 주민의 의견을 조정하고 통합하며 정책결정과 집행과정에 주민의 의사를 전달하는 등 더 많은 주민의 기회를 확대하는 것이라 할 수 있다. 그리고 집행부에 대한 감시감독 기관으로서의 기능은 지방자치법 제125조 1항에 명시된 감사권, 조사권, 답변요구권, 서류제출요구권 등을 행사하는 것을 말한다(한국입법학회, 2012: 18-22).

지방의원은 이러한 권한을 바탕에 둔 활동 가운데 조례의 제‧개정 및 폐지, 예산의 심의 및 확정, 청원의 수리와 처리, 지방정부 통제와 같은 기본적인 활동에서도 지방정부에 대한 평가 역할을 수행할 수도 있다. 이 때 의정활동을 위한 계량적인 자료를 수집하고 의정활동을 펼칠 수도 있을 것인데, 다양한 질적 자료와 이에 기초한 통찰력을 바탕으로 ‘질적 평가자’가 될 수도 있다. 의원의 발언, 각종 보고서 작성, 공청회, 간담회 등의 활동을 통해 질적 평가자로서의 역할을 수행할 수 있다고 볼 수 있는 것이다.

예컨대, 서울시의회 홈페이지에 소개되어 있는 서울시의회 의원의 발언만 해도 시정질문, 5분자유발언, 의사진행발언, 신상발언 등으로 구분할 수 있다. 시정을 대상으로 집행부에 질문하는 시정질문, 본회의 개의 동안 5분 이내로 자유롭게 발언하는 5분자유발언, 회의진행과정에서 이의를 제기하거나 자기의견을 개진하는 의사진행발언, 의원의 일신상에 관해 본인이 해명하는 신상발언 등은 질적 평가자로서의 역할을 할 수 있는 기회가 될 수 있다.1) 노인만(2008: 178-179)은 특히 의원의 질문권과 관련하여 답변을 요구하는 것 자체보다는 질문 답변의 과정에서 정보획득기능, 협조 기능, 통제 기능, 갈등해소 기능, 여론화 기능, 동원 기능, 홍보 기능, 기타 길잡이 역할 등을 수행할 수 있다고 보았다. 이밖에도 “중요한 안건이나 전문지식을 요하는 안건을 심사하기 위해 이해관계자나 학식‧경험이 있는 자 등으로부터 의견을 청취”하기 위해 마련되는 공청회, 그리고 “특별한 주제에 관하여 상호 격의 없이 의견을 교환하는”(진두생, 2010: 199) 간담회 역시 지방의원이 질적 연구를 바탕으로 질적 평가를 수행할 수 있는 중요한 기회가 될 수 있을 것이다.

지방정부에 대한 지방의원의 평가 활동과 관련하여 지방자치단체장과 지방의원의 상호작용을 중심으로 살펴볼 수도 있다. 이들 간의 관계는 상호 견제와 균형의 원리를 근간으로 삼고 있다고 할 수 있는데, 지자체장의 경우 지방의회에 대해 재의요구권(거부권), 선결처분권, 제소권(대법원), 동의권 및 의견진술권, 임시회 소집요구권 등을 통해, 반면 지방의회는 의결권, 행정사무감사 및 조사권, 출석요구권, 서류제출요구권, 의장조례공포권 등으로 지자체장을 견제 또는 통제하게 된다. 이러한 활동 가운데 행정사무감사와 조사권의 발휘 과정에서 질적 평가 활동을 수행할 수 있는 것으로 볼 수 있을 것이다.

정책심의과정과 정책화의 대응성(responsiveness)을 연구한 신원득(2002)에 따르면, 지방의원이 배경설명, 현상 진단, 문제점 적시, 대안 제시까지 수반하는 ‘모범적인 질문’을 수행하면, 지방정부의 ‘모범적인 답변’은 77.8%까지 오르지만, ‘의문해소 차원의 질문’에 그치면 모범적인 답변은 32.3%에 불과하고 ‘현장 회피적 답변’(54.8%)이나 ‘소극적인 답변(12.9%)’이 나오게 된다. 지방정부에 대한 평가를 위한 자료의 준비는 계량적인 자료 외에도 의원의 생활세계에서 마주하는 다양한 질적 자료를 통해 가능하며, 이에 바탕을 둔 의원의 통찰력이 중요함을 강조할 필요가 있다.

Glesne(2008)은 질적 연구의 내용과 절차를 설명하면서 ‘그곳에 가 있기’, ‘언어에 날개를 달기’, ‘이야기 찾아내기’, ‘세상의 노래를 지어내기’ 등의 은유를 활용한 바 있다. 이는 참여관찰이나 면담을 통한 이해 증진, 자료 분석, 언어와 표현의 문제 등을 표현한 것으로서 질적 연구자로서의 자세 또는 역할을 잘 드러낸 것이며, 유권자, 지역구, 대표성, 공익 등 지방의원의 자세 또는 역할과도 잘 들어맞는 것으로 볼 만하다.

일반적으로 정책평가란 “정책의 성과를 향상시키고자 정책형성 과정에서 설정된 정책목표에 도달하는 과정을 정책형성과 정책집행 과정으로 나눠 점검하고, 정책성과를 확인, 검토하는 정기적인 활동”(Poister et al., 1979)이라고 정의할 수 있다.

정책평가라는 말 속에는 다음과 같은 의미가 내포되어 있다(Weiss, 1998; Vedung, 1996; 박홍윤, 2012). 첫째, 정부 개입(government intervention)을 대상으로 한다. 둘째, 정부활동을 개선하기 위한 노력이다. 셋째, 정책의 집행, 산출, 결과에 초점을 둔다. 넷째, 일정한 기준과 비교하는 활동이다. 다섯째, 체계적이고 분석적인 활동이다. 여섯째, 다학문적 지식을 요구한다. 일곱째, 정치적 과정이다.

지방정부와 관련시켜 정책평가를 생각해보면, 정책평가란 지방정부의 정책, 프로그램, 프로젝트 등을 평가하여 지방정부의 활동을 개선하고자 노력하는 활동이다. 또한 지역주민의 이해와 요구를 기준으로 비교해보는 활동이기도 하다. 그런데 “정책평가에서 사용되는 방법은 선험적인 선호보다는 항상 실제적인 이슈에 의해 만들어진다.”(Greene et al., 2001)는 지적은 지방 차원에 더욱 잘 적용된다. 지방정부의 업무와 활동에 대한 평가는 정해진 논리와 체계에 따라 연역적으로 이뤄지는 데 한정되지 않고, 실제 주민들의 생활세계에서 생생한 목소리가 귀납적으로 평가에 반영될 수도 있다. 그러므로 반드시 전문가들의 전문지식에 의한 정량평가에 국한되지 않을 것이며, (특히 지역구의) 다양한 이해관계자들의 참여, 조정, 합의가 병행되는 정성평가가 강조될 것이다. 이 과정에서 지방의원은 경청자이자 현장조사 연구자이자 정치 지도자로서의 역할을 수행하는 것이다.

이러한 과정에서 질적 평가의 도움을 받을 수 있다. 질적 평가는 “프로그램 대상 집단 등에 대한 심층면접, 참여관찰, 현지조사, 문서 등의 자료원을 가지고 평가자의 경험, 지식 등에 기초해 주관적으로 평가하는 것”을 말한다(박홍윤, 2012: 369). 질적 평가는 일반화보다는 어떤 쟁점이나 현상에 대한 깊이 있는 이해에 초점을 맞추기 때문에 지방의원의 의정활동에 특히 유용할 수 있다.

일반적으로 양적인 변화의 의미를 알아내는 것이 질적인 쟁점이라는 점에서 정량적인 평가는 정성적인 평가로 보완될 필요가 있고(이성우, 2008; 강근복, 2009), 지방정부에 대한 지방의원의 평가 역시 정량적인 자료 외에도 지방의원의 전문적인 경험과 통찰력에 바탕을 두고 이뤄지는 경우가 많아 질적 평가의 중요성과 관심이 더욱 높아질 필요가 있다. 또한 <표 1>과 같이 지방의원이 상정한 평가 질문을 양적 자료와 질적 자료에 비춰 어떤 질문에 어떤 자료가 적합한지를 판단해볼 수 있다.

질적 평가는 질적 자료를 바탕으로 수행된다. 질적 평가를 위한 질적 자료 수집 방법으로는 인터뷰, 참여관찰, 현장노트 등으로 구분할 수 있다(Patton, 2002). 인터뷰는 사람들의 경험, 인지, 의견, 느낌, 지식을 포착할 수 있다. 관찰은 인간 경험의 다양한 측면들을 현장에서 기록할 수 있다. 현장노트는 맥락을 기록하고 보존하는 방식으로 채취된 문건을 말한다.

인터뷰는 구체적인 정책과 프로그램에 관한 전문적인 대화로서 인터뷰 대상자의 생활세계에 대한 의미를 획득할 수 있다(공병혜‧박순애, 2009: 77). 완전한 구경꾼과 완전한 참여자로서의 위치를 양극단으로 하여 평가의 맥락에 따라 참여와 관찰의 수준이 달라진다(Patton, 2002)는 점에서 관찰은 지역주민의 생활세계를 이해하는 데 도움이 될 수 있다. 현장노트는 참여관찰 방법을 통해 얻어질 수 있는 것으로, 일반화한 기록이 아니라 상세하고 구체적인 묘사를 바탕으로 하는 자료라는 점에서, 관찰자의 주관적 판단이 개입되어 나중에 풍부하게 평가할 수 있는 근거를 방해하지 않도록 할 수 있다.

질적 평가는 연구대상의 선정 → 조사 설계 → 자료 수집 → 자료 분석 → 자료 해석과 결과 활용이라는 일반적인 조사방법 또는 평가방법의 절차를 준용할 것이지만, 비확률 표본추출에 의한 연구대상의 선정에서 출발하여 다수의 참여를 바탕으로 한 자료 분석과 해석으로 이어지며 평가 활용자나 이해관계자를 고려하면서 이뤄지게 된다. 지방의원이 지역주민과의 대면접촉이나 상호작용을 통해 자료를 수집하며 이에 근거하여 의정활동을 펼치는 것을 질적 연구이자 질적 평가라고 할 수 있을 것이다.

이상의 논의를 통해 지방의원의 의정활동 가운데 실질적으로 분석적 의의가 있는 것으로는 회기 중 의원들이 사전에 지방정부에 대한 질의를 보내는 ‘시정질문서’, 각 상임위에서 의원들의 질의를 기록한 ‘회의록’, 그리고 행정사무감사 등이라 할 수 있다. 이는 질의, 공청회, 간담회, 행정사무감사, 조사 등의 의정활동 중에서 지방의회의 본회의와 상임위원회 등에서 정기적으로 기록되는 것이기에 자료 접근성이나 타당성 면에서 양호하다. 자료는 민선 5기 서울시의회 자료를 활용하되, 여기에서의 예시가 각 의원들의 의정활동을 본격적으로 평가하는 것은 아니기에 자료의 구체적인 회기 등을 반드시 명시하지는 않았다.

서울시의회의 경우 시정질문은 질문의 구성이나 근거제시를 통해 서울시정에 대한 평가 기능을 풍부하게 할 수 있을 것으로 기대된다. 또한 실제 시정질의와 답변의 공방을 기록한 회의록의 경우 ‘시정질문서’의 사전 준비 여부와는 관계없이 다양한 논리와 근거제시를 통해 서울시정에 대한 평가 기능을 풍부하게 할 수 있을 것이다. 그리고 행정사무감사의 경우 각 상임위원회별로 서울시 각 실국의 업무에 대한 감사를 수행하는 것으로서 평가 기능이 포함되는 것으로 볼 수 있다.

이 분석을 위해 질문요지서, 질의, 행정사무감사의 경우 상임위원회에서의 예시를 보이고자 하며, 예결산보고서의 경우 하나의 보고서를 예시로 제시하고자 한다. 서울시의회 의원들의 평가 기능 자체를 평가하겠다기보다는 이러한 평가 활동에 질적 평가를 도입할 수 있다는 가능성을 보여주는 것으로 예시를 보여주는 것이다.2)

실제로는 상당수의 의원들이 질문요지서를 제출하지 않았고, 제출한 의원들의 경우에도 질문의 주제나 항목에 대해 요약, 제출했을 뿐 어떤 취지에서 어떤 질문을 할 것이라는 자세한 내용을 갖춘 경우는 거의 찾아보기 어려웠다. 이런 점에서 여기 의정 활동 분석에서 제시되는 것은 질적 평가 방법론을 실용적으로 활용할 경우 질문요지서 작성이나 실제 질의 시 좀 더 내실 있는 평가가 가능함을 알 수 있다. 또한 상임위별로도 큰 차이를 발견할 수 없었고, 다만 질문의 내용이 상임위의 분야를 반영하는 정도였다. ‘활용 가능한 방법’의 경우 실제로 해당 위원회의 의원들이 이러한 방법을 활용했다는 의미가 아니라 질의의 내용에 비춰볼 때, 그러한 내용을 사전에 준비, 분석하거나 질의할 때 활용할 수 있을 것으로 판단되는 방법을 예시로 체크해본 것이라 할 수 있다.

여기에서 각 질문요지서와 질의 활동, 예결산보고서와 행정사무감사의 각 질의들을 몇 가지 범주로 구분해볼 수 있다.

첫째, 통계적 계산이 가능한 경우이다. 이는 지방세 수입규모, 경제성장률 등 계량화가 가능한 경우를 말한다. 즉 정량평가를 통해 성과를 따져 물을 수 있는 내용이라는 것이다. 자료 접근과 측정이 가능한 경우 객관적인 데이터를 바탕으로 서울시정을 평가할 수 있다.

둘째, 서울시정에 대해 시민들이 느끼는 신뢰 정도의 경우처럼 설문조사를 통해 시민들의 인식을 알아볼 수 있는 경우를 말한다. 이 경우 사전에 설계한 설문을 바탕으로 서울시정을 평가하는 것이다. 이를 위해서는 어떤 사안에 대해 어떤 대상에게 어떤 설문을 수행할 것인가가 관건이 될 것이고, 상당한 비용이 수반될 수 있다.

셋째, 버스회사 지원금 대책의 경우처럼 관련 이해당사자들의 면담을 통해 좀 더 심층적인 조사, 연구결과를 제시할 수 있음을 보여주는 것이다. 이 경우 버스회사 지원금의 규모 등을 정량적으로 파악하거나 버스회사 관련자, 버스기사, 또는 서울시민을 대상으로 한 설문조사를 수행함으로써 평가 자료로 활용할 수도 있을 것이다. 하지만 면담을 통해 새로운 정보나 핵심적인 문제를 이해할 수도 있을 것이다.

넷째, 우발채무 최소화를 요구하는 경우에서처럼 ‘우발채무’의 기준을 설정하고 이 기준을 중심으로 성과를 측정하는 평가가 가능할 수 있다. ‘최소화’를 어느 선에서 인정할 것인가 하는 것이 서울시의회 의원들의 전문적인 식견과 통찰력에 기반할 수 있지만, 그 기준점이 설정되고 일정한 범위나 범주로 평가될 수 있다면 정량평가를 가미한 질적 평가가 될 수 있을 것이다.

이밖에 정해진 규칙을 준수하지 않은 경우와 같이 시정이나 준수를 당부하는 것을 추가할 수 있다. 이 가운데 면담을 활용할 수 있는 경우와 기준을 정해 성과를 측정하는 평가를 질적 평가라 할 수 있다. <그림 1>은 분석의 틀을 제시한 것이다.

1)민선 서울시의회 5기 의원인 진두생(2010: 200-202)은 제안 설명, 질의 및 답변, 토론, 보고, 의사진행발언, 신상 발언, 질문, 연설, 인사 등으로 세분화하여 설명한다. 그에 따르면, 미진한 부분에 대해 다시 묻는 보충발언, 안건의 최종 결정 전 의원들이 찬반에 관한 의견을 밝히면서 설득하는 토론이 있다. 본회의에서 위원회 위원장이나 소속위원이 심사결과를 설명하는 심사보고, 정당 대표자의 대표연설, 보궐선거로 선출된 의원이 하는 인사 등도 고려해볼 수 있다.  2)이 연구를 위해 주요 관련자들과의 인터뷰를 수행한 결과 전 서울시의회 K의원(2013. 10. 18 인터뷰), L의원(2013. 10. 25 인터뷰), 현 서울시의회 C의원(2013. 11. 1 인터뷰) 등이 이러한 분석이 가능하고 필요하며, 실제로 이런 활동 속에서 질적 평가가 가능할 수 있다고 설명해주었다.

서울시의회의 의정 활동 중 본회의와 상임위원회 회의에서의 질의는 사전에 ‘질문요지서’의 형식으로 전달된다. 여기에서는 각 상임위원회별로 질문요지서 사례를 제시하여 분석하기로 한다. 이는 상임위원회별로 어느 상임위원회에서 질적 평가가 좀 더 활용도가 높을 것인지를 따지는 것이 아니라 현재의 제8대 서울시의회에서 무작위로 선정한 회기와 질문요지서 중에서 질적 평가의 가능성을 확인하고자 하는 것이다. <표 2>는 상임위원회 질문요지서의 질의 내용과 평가를 위해 활용 가능한 방법을 예시로 든 것이다.

건설위원회의 경우 당초 계획을 변경할 경우 타당성 조사를 거쳐야 함에도 불구하고 타당성 조사를 실시하지 않았다면 이에 대해서는 시정이나 준수를 요구할 수 있을 것이다. 시스템 운영 전담팀이 필요할지, 시스템 사용을 위한 제도적 장치가 필요할지, 타당성 조사의 신뢰성을 인정할 수 있을지 등의 내용은 관련자들에 대해 설문을 수행하거나 면담을 통해 밝힐 수 있을 것이다. 통합대금 지급확인 시스템의 명칭이나 추진 경위에 대해서는 관련자들과의 직접적인 면담을 통해서만 알아볼 수 있을 것이다. 반면 타당성 조사의 비교는 비율과 같은 비교의 기준점을 설정하고 그 기준에 비춰 얼마나 늘었는지 또는 줄었는지를 분석하면서 평가해볼 수 있을 것이다.

교육위원회의 경우 뉴타운 학교부지 매각관련 진행상황에 대해서는 매각 절차를 잘 준수하도록 요청할 수 있을 것이다. 국가정체성 및 국기문란 등 범죄자에 대한 처리와 관련된 질의, 박정희 가옥주변 공원화 문제의 경우 법과 규정에 맞게 적절한 조치를 취했는지를 확인할 수도 있지만, 그 정당성에 대한 판단을 설문으로 구할 수도 있을 것이다. SSM 및 대형마트에 대한 규제대책의 경우 규정을 잘 준수하고 있는지를 확인할 수도 있고, 규제대책에 대한 인식을 설문조사를 통해 알아볼 수도 있으며, 주요 이해당사자들과의 면담을 통해 중요한 쟁점들을 도출해낼 수도 있다. 또한 규제의 목표에 비춰 일정한 기준을 설정해두고 기준치와의 비교를 통해 성과를 평가할 수도 있다. 정부수반 유적사업의 내용과 필요성, 전시관 및 운영상의 문제점, 산책로의 필요성, 버스차고지 밀집지역 해소방안 등에 대해서는 전반적으로 시민들에 대한 설문조사를 통해 확인해볼 수도 있다. 이 가운데 전시관 및 운영상의 문제점이나 버스차고지 밀집지역 해소방안의 경우 주요 이해당사자들과의 면담을 통해 쟁점을 이끌어낼 수도 있을 것이다.

도시계획관리위원회의 경우 시정 질문 지적 사항에 대한 약속 준수 여부는 시정이나 준수를 촉구하는 것으로 질의할 수 있다. 단지 약속 준수를 촉구하는 것을 넘어 이행률 같은 성과평가를 시도해볼 수도 있다. 노후 상수관 누수사고 발생 해결 예산의 경우 예산확보 정도나 B/C 분석과 같은 정량적인 평가를 시도해볼 수 있다. 법정의무경비 및 경직성 경비증가에 따른 대응이나 중점투자방향에 꼭 필요한 예산의 경우 범주별 증감을 계량화하여 평가하거나 일정한 기준을 설정하여 성과를 평가할 수 있다. 국공유지 무상양도와 관련 개선방안이나 대형공사, 책임감리, 일반계약의 문제 개선 방향의 경우는 시민 또는 주요 이해관계자 등을 대상으로 한 설문조사를 통해서나 면담을 통해 얻어낼 수 있다. 관리처분업무의 효율적 관리 및 검증 제도 개선, 정비사업의 정책방향 및 업무수행 전문성 강화, 조합의 계약 및 자금관리의 조달청 의탁 여부 등은 설문이나 면담 외에도 효율성이나 전문성 강화 등에 대한 일정한 기준을 설정하고 성과를 평가할 수 있을 것이다. 국공립어린이집 확충에 따른 민간어린이집 피해의 경우 피해규모를 정량적으로 평가하는 것, 관련자들에 대한 설문이나 면담, 국공립어린이집과 민간어린이집 간의 균형 또는 정책방향에 비춘 성과 평가 등을 시도해볼 수 있다.

이상에서 살펴본 바와 같이 각 위원회별로 다양한 쟁점이 존재함에도 질의의 근거로서 활용할 방법으로는 시정 또는 준수 여부, 계량 분석, 설문, 면담, 성과 평가 등의 각 방법을 활용할 수 있는 가능성을 확인할 수 있다. 그런데 대부분의 경우 질문요지만 키워드를 중심으로 간략하게 정리하고 있어 실제 시정질문 시에는 질적 자료를 바탕으로 하기보다는 전적으로 의원 개인의 전문적인 식견과 통찰력에 의존하는 경우가 많다.

시정 또는 준수 여부는 다음과 같은 내용에서 찾아볼 수 있다. 물론 서울시가 반드시 미혼모에 대한 통계를 갖추고 있어야 한다는 규정이 존재하지 않을 수도 있지만, 시정 운영의 기초 자료로서 갖출 필요가 있음을 역설한 것이다.

정량적인 자료를 바탕으로 계량 분석을 수행할 수 있음을 보여주는 내용은 다음과 같은 질의에서 찾아볼 수 있다. 2002년 대비 6배나 증가한 2007년 미혼모의 아동 양육 희망자 비율을 보이고 있음을 말하고 있는 것이다. 물론 이러한 주장은 의원 스스로 새로이 설계하여 수행한 설문 자료를 바탕으로 이뤄질 수도 있을 것이다. 여기에서는 이미 존재하는 정량적인 자료를 활용한 것이다.

다음과 같은 질문은 심층면담을 통해 이뤄지는 질적 평가의 예시라 할 수 있을 것이다. 즉 오랫동안 미혼모를 지원하는 일에 헌신해왔던 대표적인 인사를 만나 심층면담을 수행함으로써 미혼모 지원 관련 상황의 심각성을 전달하고 있는 것이다.

다음과 같은 질문은 엄격한 정량평가를 수행할 수는 없지만 경제 수준을 기준으로 하여 일정한 비교대상과의 비교를 통해 문제의 심각성을 질적으로 평가할 수 있음을 보여주는 예시라 하겠다.

여기에서는 서울시의회 상임위원회에서 의원들이 실제 질의하는 과정에서 질적 자료를 준비하여 질적 평가를 수행할 수 있다는 가능성 예시를 소개한다. 질의한 의원의 질의 자체를 평가할 수는 없지만, 질의 내용을 통해 질적 자료가 뒷받침되는 질적 평가가 이뤄질 수도 있음을 이해하는 데 도움이 될 수 있을 것이다.3)

다음과 같은 질의는 지역구민과의 면담 또는 간담회 결과를 활용하여 질의 과정에서 질적 평가를 수행할 수 있는 가능성을 보여준 예라 할 것이다. “사람들이 ⋯⋯ 저를 만나면 얘기를 많이 해서”라는 주장의 근거를 좀 더 질적 자료를 갖춰 제시할 수 있다면, 질적 평가로서의 의의를 살릴 수 있을 것으로 볼 수 있다.

다음과 같은 질의에서도 심층적인 인터뷰나 관찰기록 등을 통해 ‘다 아는 얘기’를 좀 더 효과적으로 전달할 수 있음을 알 수 있다. 의원들의 질의가 평소의 전문적인 식견과 통찰력에 근거한 것이지만, 질적 평가로서의 의의를 싣는다면 훨씬 설득력 있고 권위 있는 질의가 될 수 있을 것이다.

다음 질의는 적절한 관찰과 사례연구에 기반한 질적 평가가 가능할 수 있음을 보여주는 예시라 할 수 있다. 해외 사례와의 비교를 통해 제도적 장치의 미비를 지적하는 질적 평가를 수행한 것이라 할 수 있다. 효과적인 사례연구는 생생한 관찰 역할을 할 수 있고, 중요한 문헌자료가 될 수 있는 것이다.

다음과 같은 질의는 질적 자료의 종류가 다양할 수 있음을 보여주는 사례라 할 수 있다. 여기에서는 콘텐츠로서의 영상자료 자체를 지적한 것이지만, 영상 자료가 지역의 다양한 현안들을 생생하게 보여줄 수 있는 질적 자료로서 활용되어 질적 평가에 도움을 줄 수 있다는 것이다.

다음 질문은 사회복지 종사자들의 처우가 열악함을 지적하는 것이다. ‘열악함’을 증명할 수 있는 자료로는 급여 수준에 대한 정량적인 자료를 제시하는 방법을 활용할 수 있었을 것이다. 또는 유사한 직종이나 해외 사례와의 비교를 통해 정량평가를 가미한 질적 평가를 수행하는 방식으로 질의를 할 수도 있었을 것이다. 그런데 이러한 자료에 대한 접근이 물리적으로 역부족이었을 경우에는 ‘열악함’을 실감할 수 있는 몇 가지 인터뷰 자료나 사례를 제시함으로써 질적 평가를 수행할 수 있었을 것이다.

다음의 질문은 이미 조사된 정량적인 자료를 자치구별로 비교하여 자원회수시설 가동률이 낮은 이유를 질의하는 것이다. 이 경우 서울시행정부의 답변으로 이해가 된 상황이지만, 가동률의 상중하 그룹을 나눠 각 그룹의 특징을 판단한다거나 가동률에 대해 몇몇 구의 담당자들과 심층면담을 수행하였다면 훨씬 효과적인 질적 평가를 수행할 수 있었을 것으로 볼 수 있을 것이다.

이상에서 살펴본 바와 같이 각 상임위원회의 실제 질의 과정에서도 시정이나 준수 요구에서부터 설문이나 면담 자료가 근거로 활용되기도 하고, 실제 기준에 따른 성과 평가의 가능성을 확인할 수 있다. 또한 의원 개인의 판단이 아니라 설문, 면담, 성과 평가에 근거한 질적 평가가 뒷받침 된다면 양질의 의정 활동이 될 수 있다는 가능성도 확인할 수 있다.

여기에서는 서울시립미술관의 2012년 결산 검토보고서 중 검토의견 일부를 예시로 세입세출예산 검토 과정의 평가 활동을 소개하였다. 이러한 검토의견은 세입과 세출에 대한 정량적인 자료를 바탕으로 이뤄지기 때문에 좀 더 구체적이긴 하지만, 정성적인 판단을 바탕으로 좀 더 체계적인 방식의 검토의견을 제시할 수도 있을 것이다.

행정사무감사의 경우 질문요지서와 시정질의의 성격이 섞여 있는 것으로 볼 수 있다.4) 즉 질문요지서와 같이 질의 내용을 미리 준비하면서도 실제 질의에 대한 답변에 대응할 필요가 있기 때문이다. 그럼에도 다음과 같은 몇몇 상임위원회의 행정사무감사의 질의 내용을 분석한 결과 앞서 살펴보았던 질문요지서와 같이 시정 또는 준수, 계량 분석, 설문, 면담, 일정한 기준을 설정한 성과 평가 등으로 평가를 준비하는 데 활용이 가능할 수 있음을 알 수 있다.

<표 3>은 행정자치위원회 행정사무감사 질의 예시이다. 이 가운데 조례안이 부결된 것을 명기하지 않았다는 것이 자료왜곡이라고 지적한 것은 정해진 규정이나 절차에 대한 시정이나 준수를 요구한 것이다. 용역 관련 수탁기관 선정 문제의 경우 주요 관계자들과의 면담을 통해 문제를 드러낼 수 있을 것이다. 마을 공동체 사업이나 마을안전망 구축 사업의 경우 설문이나 면담을 통해 문제의식이나 만족도 등을 나타낼 수 있다. 마을 공동체 사업의 지역별 편중 문제는 추가적으로 계량화도 가능할 것이다. 마을공동체 사업 관련 자치구 인센티브 평가가 모호한 문제, 시민 주거문화 개선 사업의 추진 사업의 경우 주요 이해관계자들과의 면담을 통해 핵심 쟁점을 도출해내는 방식으로 질의를 준비할 수 있을 것이다. 갈등조정 실적이나 주민참여예산제 예산 증액 방식의 경우 핵심 쟁점 도출을 위한 면담도 가능하고 일정한 기준을 세워 성과 평가도 가능할 것이다.

3)의원들의 실제 질의 내용은 개인적인 의견일 수도, 이해관계에 의한 의견일 수도, 소속 정당의 당론일 수도, 지역구민의 의견일 수도, 공익이나 공공성을 고려한 의견일 수도 있다(2013. 10. 18 전 서울시의회 K의원과의 인터뷰).  4)전 서울시의회 L의원(2013. 10. 25), 현 서울시의회 C의원(2013. 11. 1)과의 인터뷰

서울시의회 의원들은 다양한 의정활동을 통해 자신의 전문적인 식견과 통찰력을 발휘한다. 그러나 실제로는 의원들의 식견과 통찰력이 충분히 축적될 만큼 오랜 의정활동 경험이 없는 경우, 질적 자료의 수집이나 분석 자체도 훈련이 필요하다는 사실 등으로 인해 질적 평가자로서의 역할을 수행하는 데 한계가 있는 의원도 있을 수 있다. 하지만 효과적으로 질적 자료를 제시함으로써 질적 평가자로서의 역할을 수행할 수 있을 것이다.

1) 평가의견의 체계화

질의나 감사 과정에서 평가 의견을 체계적으로 제시하는 것은 질적 평가의 의의에 매우 부합한 것이라 할 수 있다. 다양한 근거를 가지고 체계적으로 구성할 수 있다면, 그것 자체로 전문적 평가 의견이 될 수 있을 것이다. 다음은 ‘기후변화 대책 추진’과 관련한 평가 의견 예시다.

기본적으로 관련 자료나 활동을 나열하는 것으로, 객관적인 자료나 활동을 바탕으로 그 우수성이나 미흡함을 평가할 수 있다. 그런 다음 기대했던 자료나 활동의 부재에 대해 지적하거나 추가적으로 필요한 사항을 요구하는 것이다. 마지막으로, 구체적인 평점 방식의 평가를 내리며 대안을 제시하는 것이다.

2) 평가항목의 세분화

질적 평가를 용이하게 하면서도 신뢰성을 좀 더 부여할 수 있는 방법 중의 하나는 평가항목을 세분화하고 평가지표를 설정하는 것이다. 이 때 평가항목의 세분화를 위해서는 상임위원회 내 또는 의원 간의 합의를 거쳐, 나아가 관련 분야 전문가들과의 논의를 거쳐 평가지표를 확정하여 여기에 대한 평가를 수행하고 질의할 수 있을 것이다.

<표 4>는 정책과정별로 나누어서 평가질문을 수행하는 것이다. 이렇게 하면 좀 더 체계적으로 평가를 수행할 수 있고, 각 단계별로 잘된 점 또는 미흡한 점, 간과한 점 등을 생각해볼 수 있을 것이다. 또한 <표 5>와 같이 정책이나 프로그램에 대해 몇 가지 평가지표를 설정하여 평가를 수행할 수도 있다. 나아가 각 평가지표별로 몇 가지 산식이나 질적 자료의 범주별 점수 부여 등을 혼합하는 것도 평가의 객관성을 확보하는 데 도움이 될 수도 있다.

3) 스코어카드의 도식화

평가 대상에 대해 일정한 기준을 적용할 때, 등급을 매기는 기준을 도식화함으로써 이해하기 쉽게 하면서도 질적 수준에 대한 근거를 명확히 전달할 수 있다는 점에서 스코어카드를 도식화하는 방안을 모색할 수 있다. 표나 그림, 사진이나 영상과 같은 도식화는 시각적인 척도를 제공하면서 서면 척도보다 더 정확할 수도 있다. 이러한 스코어카드를 활용하여 서울시의회 의원들이 효과적으로 질적 평가를 수행할 수 있을 것이다. 가령 도로의 상태나 청결 상태에 대해 일반적으로 양호하거나 미흡하다는 방식으로 전달할 내용에 대해, 누구라도 그림을 보면 쉽게 동의할 수 있는 형태로 기준을 설정함으로써 효과적으로 전달할 수 있는 것이다.

질적 평가를 활용하기 위해서는 많은 시간과 비용이 소요되는 만큼 이와 관련하여 국회 입법조사처나 예산정책처와 같은 전문 평가기관이 필요할 수도 있는데, 그 이전까지는 탐색적인 연구가 필요한 분야, 큰 쟁점으로 부각되고 있는 분야, 갈등이 첨예하게 진행될 것으로 예상되는 분야, 중장기적인 연구가 필요한 분야 등에서 몇 가지를 선정하여 실험적인 질적 평가를 연구, 수행해볼 필요가 있다.

최근까지도 지방의원의 의정활동에 대한 평가는 의원들의 발언횟수나 의안발의 건수 위주로 수행되는 경우가 대다수이다. 그러나 지금까지 살펴본 바대로 의원들의 의정활동에 대한 평가 자체가 질적 평가로 이뤄져야 하고, 또한 그것이 가능함을 알 수 있었다. 즉, 의원들의 의정활동이 실제로는 행정부를 견제하고 감시하는 기능이 큰 한 축을 차지하고 있음에도 의원들의 활동을 계량화할 수 있는 부분에 한정하여 평가해왔다는 것이다. 의원들의 실제 의정활동 중에서 행정부를 평가하기 위해 얼마나 충실하게 자료를 수집하였고, 실제적인 자료를 바탕으로 평가활동을 수행하고 있는지에 대한 평가가 제대로 이뤄질 필요가 있다는 것이다.

이 연구는 지방자치단체에 대한 지방의회의 평가 기능이 실질적으로는 지방의회 의원들의 경험과 통찰력에 바탕을 둔 정성적인 판단이 중요하다는 점에서 이러한 정성적인 판단의 수행을 질적 평가 방법론 차원에서 뒷받침 해줄 필요가 있다는 문제의식에서 출발하고 있다. 이에 따라 이 연구는 서울시의회 의원들이 서울시 업무를 평가할 때 활용할 수 있는 질적 평가 방법론을 제공하는 데 목적을 두었다. 서울시의회 의원들이 서울시정에 대한 평가 기능을 수행하는 것으로는 ‘질문요지서’, 상임위원회에서의 실제적 ‘질의’, 그리고 예결산보고서와 행정사무감사 등이 분석적 의미를 갖고 있다. 또한 분석 결과 질적 자료의 수집을 바탕으로 한 질적 평가를 수행할 여지와 가능성이 높다는 것을 알 수 있었다.

질적 평가는 연구대상의 선정, 조사 설계, 자료수집, 자료의 분석, 자료의 해석 및 결과 활용이라는 절차를 거쳐 수행된다. 이러한 과정을 거쳐 국내외적으로 다양한 질적 평가와 질적 평가에 관한 연구가 수행되어 왔다. 하지만 지방의회의 경우 자원 확보나 전문성 확보가 어렵고 사후적인 행정부 감시 기능에 국한되는 경우가 많아 질적 평가를 도입하는 것이 쉽지는 않을 것이다. 하지만 서울시의회 의원이 서울시에 관련 자료를 요구할 때나 각종 안건의 심사 및 처리를 위해 현장을 시찰할 때 질적 평가를 실험적으로 시도해볼 필요가 있다. 나아가 주요 현안에 대해 의도적으로 실험에 나서볼 필요가 있다. 이는 점차 늘고 있는 다양한 갈등과 점차 복잡해지는 주민들의 이해와 요구를 확인하고 반영하는 데 도움이 될 수 있을 것이다.

중장기적으로는 평가에 대해 투입 또는 산출 위주로 생각하는 관행을 벗어버리고 주민들의 생활세계를 이해하는 방식으로 관련 업무를 수행할 수 있도록 관련자들에 대한 체계적인 교육이 이뤄질 필요가 있다. 또한 관련 전문가들과 함께 주요 현안을 선정하여 사전적 또는 사후적으로 질적 연구와 질적 평가 방법론을 실험적으로 적용해볼 필요가 있다. 그리고 전문가들의 도움을 받아 주민들과 함께 직접 질적 평가를 설계하여 주민들 스스로 참여적 질적 평가를 수행해볼 수 있게 하는 것도 대안이라 할 수 있다.

나아가 서울시의회는 물론 서울시 공무원 전반에도 질적 평가와 관련된 교육을 수행할 필요가 있으며, 서울시의회에는 질적 평가를 위한 연구와 질적 평가를 위한 질적 연구 수행 인력과 예산을 좀 더 할당할 필요가 있다. 또한 의원들의 의정활동 가이드북을 현장 기반의 질적 평가를 충실히 담아 만들 필요도 있을 것이다. 향후 지방의회와 지방의원의 역할론 입장에서 정책평가 방법론에 대한 논의가 더욱 확산되고, 주민의 대표라는 사회적 입장과 정당정치의 입장 간 균형과 조화에 대한 논의도 활발해지기를 기대한다.