전 세계적으로 많은 조직에서 다면평가를 도입, 운영하고 있다. 다면평가는 구성원의 직접 피드백이라는 매우 고급 정보를 기반으로 하기 때문에 국내에서도 여러 민간기업에서는 다면평가 결과를 임원 인사 등에 적극 반영하고 있다.
한편 어떤 공기업에서는 정부 권고에 따라 실행은 하지만 사실상 유명무실하게 운영되고 있다는 인사 담당자의 고백 내지 푸념을 듣게 된다. 여기서는 다면평가를 조직과 구성원에게 실제 도움이 되도록 운영하려면 어떤 점들을 고려하고 시행해야 하는지를 살펴본다.
01 점검과 준비
일반적으로 다면평가의 성공 요인은 다음과 같이 정리해 볼 수 있다. 아래 사항을 체크리스트로 만들어 활용해도 좋겠다.
➊ 구성원과 리더 본인이 설계 과정에 충분히 참여해야 한다.
➋ 피드백 항목을 절차적으로 타당하게 선정해야 한다.
➌ 본인과 상사 이외에 타당한 피드백 제공자 네 명을 선정해야 한다.
➍ 익명성과 결과의 비밀을 절대적으로 보장해야 한다.
➎ 다면평가 관련한 연구 결과에 기반해 자료수집, 채점, 결과 보고 절차를 밟아야 한다.
➏ 모든 참여자들이 피드백 제공과 피드백 결과 수용에 관한 교육을 받아야 한다.
➐ 진행 과정이 이해하기 쉬워야 한다.
➑ 모든 참여자에게 공정성을 담보할 안전장치들이 충분히 공지되어야 한다.
➒ 효과성, 공정성, 정확성, 타당성이 모두 고려되어야 한다.
➓ 이의제기 절차가 있어야 한다.
한편, 다면평가를 현장에서 운영해 본 경험자들은 다음과 같은 원칙들을 준수하는 것이 유용하다는 데 대체로 합의하고 있다.
➊ 평가자 수는 대개 4명에서 8명으로 구성한다.
➋ 평가 도구는 15분 이내에 응답할 수 있도록, 평가자가 피로하지 않도록 짧게 구성한다.
➌ 통상 많이 쓰는 5점 척도보다는 10점 척도를 사용하는 것이 좋다. 때로 7점 척도를 쓸 수도 있다.
➍ 무효(invalid) 응답을 과학적으로 걸러내는 방법을 사용하는 지능적 채점을 한다.
➎ 오류를 줄이고 공정성을 올리기 위해 다양한 안전장치를 투입한다.
이러한 요건들을 충족하면서 다면평가를 진행하려면 우선 충분한 작업 기간을 확보할 필요가 있다. 다면평가 시행을 ‘Plan-Do-Check’단계로 구분해 보면 다음과 같이 계획해 볼 수 있다.
한편, 다면평가를 처음 도입하는 기관이나 오랜만에 도입하는 기관에서는 여러 부서나 관계자의 두려움과 저항 등에 직면할 수 있다. 이런 경우에는 처음부터 전면적으로 도입하려고 하지 말고, 일부 대상자나 조직 등에 파일럿 테스트를 시행한 후 문제점을 보완해서 시행하는 방안을 추진하면 대개는 원활하게 진행할 수 있다.
02 20~35개 정도의 질문으로 구성
글로벌 기업에서는 다면평가를 리더들의 역량 인식과 향상을 목적으로 하는 경우가 많고, 이런 목적이라면 표준 질문지를 활용하는 것이 더 나은 경우가 많다. 한편 다면평가를 성과 평가 목적으로 활용하려면 조직과 직무의 특성을 반영해야 하기 때문에 외부에서 개발된 일반적 질문지를 사용하지 않고 내부적 타당화를 거치게 된다. 이 경우에는 질문 개발이 다면평가를 실행하는 데 있어 가장 어렵고 가장 오래 걸리는 작업이 된다.
따라서 질문 개발에는 다양한 이해관계자가 폭넓게 참여하도록 할 필요가 있다. 이 전제가 충족되지 않으면 실시 과정 중에나 나중에 결과를 적용하는 데 큰 저항에 부딪칠 가능성이 커진다.
질문 개발을 위해서는 대개 포커스 그룹 인터뷰(Focus Group Interview, FGI)를 진행하는데, 그룹을 구성할 때 다음과 같은 사항을 고려할 필요가 있다.
➊ 경영진, 노동조합, 주요 보직자 등 다양한 그룹이 두루 대표되도록 한다.
➋ 최소한 한 명 이상의 ‘빅 마우스’를 포함하도록 한다.
➌ 의사소통 역량이 뛰어나고 어휘력이 좋은 사람을 선정한다.
➍ 고성과자 중심으로 구성한다.
이렇게 모인 사람들이 조직의 미션, 비전, 가치와 다면평가의 목적을 고려해 다양한 행동 준거를 브레인스토밍한 후 유사한 것들끼리 묶어 평가 항목의 행동적 준거를 확정하게 된다. 이런 과정을 거쳐 준비된 질문을 갖고 다면평가를 실시해야 결과에 대한 구성원의 수용도와 조직의 활용도를 높일 수 있다.
적당한 설문의 길이는 어느 정도일까? 연구 결과를 보면 설문 응답자가 15분이 지나면 피곤해 하거나 귀찮아하는 경향이 나타난다. 그리고 대개 1분에 질문 3개 정도에 응답하는 것으로 나타난다.
한편, 연구에 따르면 설문의 길이가 두 배로 길어지면 설문을 완료하지 못하는 사람의 비율이 두 배로 증가하는 것으로 나타난다. 또 뒷부분으로 갈수록 문항의 편차도 작아지고 응답하지 않는 문항 수도 증가하는 것으로 나타난다. 즉, 응답자가 피로해지면 응답을 포기하거나 그냥 같은 번호로 응답하는 경향이 강해진다. 따라서 다면평가는 20개 내지 35개 정도의 질문으로 구성하는 것이 적절하다.
03 평가자와 평가대상자 교육
다면평가를 시행하면서 많은 조직에서 교육을 상대적으로 소홀히 하는 경향이 있다. 교육이라기보다는 다면평가에 대한 충분한 정보제공이 필요한 것인데, 다면평가의 목적과 절차에 대해 그리고 결과 수용에 대해 조직이 충분하게 안내를 해줄수록 더 효과적으로 다면평가를 활용할 수 있다.
다면평가 시행 전에 평가자들에게 교육해야 할 내용은 다음과 같다. 평가자들에게는 다면평가의 목적과 절차에 대한 안내가 중요하다.
· 다면평가란 무엇인가?
· 왜 조직이 다면평가를 도입했는가?
· 다면평가를 하면 평가자에게 좋은 점은 무엇인가?
· 내가 하는 평가의 익명성이 보장된다는 점을 어떻게 믿을 수 있는가?
· 누가 결과를 볼 것인가? 결과가 어떻게 활용될 것인가?
· 나는 어떻게 평가해야 하는가? 어떻게 피드백을 주어야 하는가?
· 나의 역할과 책임은 무엇인가?
· 일정 계획이 어떻게 되는가?
· 평가에서의 오류를 어떻게 피할 수 있는가?
· 평가가 공정하게 진행되도록 하는 안전장치에는 어떤 것들이 있는가?
다면평가를 시행한 후에는 평가대상자들에게 먼저 교육을 하고 평가 결과를 알려주는 게 좋다. 교육 내용은 주로 피드백 수용 방법, 다면평가의 내용과 결과 해석, 향후 개선 방법 등이다. 이 교육은 최소 30분은 확보되어야 하며, 충분한 질의응답을 포함해 2~3시간 정도 진행해야 다면평가의 효과를 볼 수 있다.
· 어떻게 하면 피드백을 건설적으로 수용할 수 있는가?
· 수행 개선 모형을 어떻게 적용할 것인가?
· 결과표에는 어떤 것들이 들어 있는가?
· 결과를 어떻게 해석할 것인가?
· 개인적 행동 계획(action plan)을 어떻게 작성하고 실행할 것인가?
· 어떻게 지속적으로 학습과 개선을 평가할 것인가?
다면평가 결과에 기반해 개별 피드백이나 코칭을 하게 될 경우, 평가대상자가 결과표를 충분히 숙고하고 음미한 후에 진행하는 것이 좋다. 부정적 피드백에 대해서는 평가대상자가 부정(denial), 회피(evasion), 합리화(rationalization), 통제(control), 행동화(acting-out), 수동-공격(passive-aggressive), 반동 형성(reaction formation) 등 다양한 방어기제를 동원하기도 하므로 적절한 예방 교육이 필요하다.
04 관대화 경향을 막기 위한 ‘부분 입서티브’ 형식 질문
우리나라의 많은 공공기관과 공기업에서 다면평가를 실제로 무력화시키는 주범은 바로 관대화 경향이다. 관대화 경향이란 평가자가 전반적으로 높은 점수를 주는 왜곡 현상을 말하는데, 평가대상자 대부분이 95점 이상을 받는 경우도 있고, 평균 점수가 99점이 되는 경우도 있다. 이런 상황에서는 누가 봐도 정확한 평가가 이뤄졌다고 보기 어렵다.
관대화 경향을 막기 위해 조직에서는 다양한 대안을 고민하게 되는데, 한 가지 대표적 방법론이 비교형 설문이다. 실제 여러 기관에서 비교형 설문을 사용해서 관대화 경향의 폐해를 극복한 사례가 있다. 비교형 설문에서는 전문 용어로 ‘부분 입서티브’(partial ipsative) 형식으로 질문을 구성한다. 이 형식에서는 바람직해 보이는 문장 두 개를 제시하고, 평가자가 두 문장 쪽 어느 쪽에 가까운지를 평가하도록 한다. 이 때 실제 평가는 한 문장에 대해서만 수채점하도록 한다. 예를 들자면 [표 1]과 같은 식이다.
물론 실제 평가를 운영할 때는 위 예시에서 평가자에게는 평가 반영 여부 및 평가 항목은 제시하지 않는다. 그리고 점수 집계는 평가에 반영되는 항목을 기준으로 하여 결과를 산출한다. 이런 방식에서는 평가자 자신도 어떤 방향으로 응답해야 평가대상자에게 좋은 결과가 나올지 쉽게 예단할 수 없기 때문에 솔직하게 응답하게 될 가능성이 커진다.
이렇게 ‘부분 입서티브’ 방식으로 문항을 개발할 경우 일반적으로는 점수 분포가 100점 만점에 50점을 평균으로 하는 정규 분포(normal distribution)을 따르게 된다. 이 점수를 그대로 활용할 경우 상당수 인원이 40점 이하를 받게 될 수 있으므로 필요에 따라서는 일반적 점수 분포와 유사한 분포가 되도록 점수 조정을 할 수 있다. 그리고 중심화 경향 방지를 위해 위 예시에서 ‘미’ 평가가 일정 비율을 초과하지 못하도록 시스템적으로 제한을 두거나 평가 사항을 6점 척도나 10점 척도 등으로 운영할 수도 있다.
05 안전장치로서의 사후분석과 평가자 분석
여기서 사후분석은 흔히 하는 조직간 분석이나 직급별 분석 등을 의미하지 않는다. 그보다는 다면평가 자체의 품질이 어떠했는지를 알아보기 위한 분석을 의미한다. 일반적으로 다면평가가 효과적으로 작동하기 위해서는 다음과 같은 기준을 충족시켜야 한다고 본다.
➊ 전체 평가자의 80% 이상이 응답해야 한다.
➋ 전체 평가대상자의 95% 이상이 결과표를 받기에 충분한 데이터를 확보해야 한다.
➌ 응답자 과반이 10점 척도에서 4점 이상의 범위를 보이며 응답해야 한다.
➍ 평가자 간 일치도가 70% 이상이어야 한다.
➎ 다른 응답자와 20퍼센트 이상 차이가 나는 특이응답자가 전체 응답자의 5% 이내여야 한다.
➏ 극단 값으로만 응답한 응답자가 전체의 5% 이하여야 한다.
일반적으로 다면평가는 평가대상자를 기준으로 해서만 분석을 하는데, 서구에서는 이에 그치지 않고 평가자를 기준으로 한 분석을 통해 평가를 제대로 했는지를 알아보는 경우도 많다. 이 평가자 분석은 한 평가자가 다른 평가자들과 얼마나 상이한 평가를 했는지를 요약해서 보여줌으로써 보다 책임감을 갖고 정직한 평가를 하도록 유도할 수 있다. 또한 많은 평가자들이 자기가 평가를 제대로 했는지를 궁금해 하기도 하기 때문에 이 리포트는 올바른 평가를 강화하는 데 도움이 된다.
이 평가자 피드백 리포트는 평가자 본인에게만 제공하며 평가대상자에게는 비밀로 할 필요가 있다. 물론 인사팀에서는 이 리포트를 활용할 수 있다. 평가자별 분석은 종종 공모한 관대화 경향을 잡아내기도 한다.
예를 들어 왼쪽 페이지의 표2와 같이 평가자 피드백 리포트를 작성할 수 있다. 표2의 예시는 어떤 평가자가 평가대상자 김**, 이**, 박**, 최**를 평가하는 데 있어서 다른 평가자들에 비해 일정 범위 이상 높은 점수를 주었는지, 혹은 낮은 점수를 주었는지를 요약하는 표이다.
표2에서 ‘H’(=High)는 평가자가 평균 대비 20% 높은 점수를 주었을 때 표시하고, ‘L’(=Low)는 평가자가 평균 대비 20% 낮은 점수를 주었을 때 표시한다. ‘N/A’(=Not Applicable)는 평가자가 평가하지 않은 문항을 나타낸다. 여기서 평가자는 전체 60 문항 중에서 약 12% 이내에만 이상 응답을 했으므로 양호한 평가를 한 셈이다. 만일 전체에서 20% 이상이 H, L, N/A에 해당한다면 세부적 검토가 필요하다. 이후는 정책적 의사결정이 필요한데, 대개는 이상 응답이 많으면 무효로 처리하고 그 평가자의 평가는 결과 산출에서 제외한다.
이 리포트는 문항별로도 살펴볼 필요가 있다. 특정 문항에 여러 평가자가 이상 응답을 보였다면 그 문항은 좋지 않은 문항일 가능성이 크다. 좋지 않은 문항은 당장 총점 합산에서 제외하거나 아니면 다음 다면평가에는 사용하지 않는 것이 좋다.
06 과학적 다면평가로 조직과 구성원의 발전을 도모해야
많은 조직에서 다면평가는 계륵과도 같이 여겨지고 있다. 왠지 하기는 해야 하겠는데 여러 가지 부작용이나 저항이 있고, 실제 실행해 봐도 유의미한 결과가 나오지 않는 경우도 많다.
세상에 완벽한 제도는 없지만, 그래도 우리 앞에 이미 많은 성공과 실패 사례들이 있어서 우리는 거인의 어깨 위에 올라탄 난장이처럼 과학적, 실천적으로 검증된 다양한 방법을 사용하면 실패 확률을 줄이고 조직과 구성원에게 도움이 되는 다면평가를 시행할 수 있다. 이렇게 시행한 다면평가는 조직의 장기적 발전에 정말 도움이 된다는 피드백을 많이 접할 수 있다. 한 번에 크게 하려고 생각하지 말고 작은 파일럿 테스트부터 도입해 보자.
