텍스트 분석을 하는 이유는 주어진 문서를 정량적으로 이해하는 것이다. 현재의 텍스트 분석 기술은 아직 인간의 언어를 이해하는 수준에는 한참 미치지 못한다. HR 맥락에서 대표적인 텍스트 데이터 중 하나인 평가 의견을 중심으로 텍스트 분석의 과정과 시사점을 살펴보겠다.
평가의견은 S, A, B, C 등으로 직원의 성과에 따른 등급을 부여하면서 뭘 특별히 잘해서 S등급을 주었는지, 아니면 뭘 특별히 못해서 C등급을 주었는지에 대한 평가자의 의견이다. 국내에서는 업적과 역량에 대한 평가가 종종 구분되서 이루어지는데 이 글에서는 역량에 대한 평가의견을 다루겠다. 물론, 사람이 평가 의견을 일일이 다 읽어 보고 전체적인 감상을 요약할 수도 있지만 주관이 개입될 소지가 크다.

평가 텍스트 분석은 다른 데이터 분석 작업과 마찬가지로 주어진 평가 문장에서 정량적 특성을 뽑아 요약하거나 서로 다른 집단 간 특성 차이를 비교하는 식으로 이루어진다. 다음과 같은 다양한 질문에 대한 답변을 평가 텍스트 분석으로 찾을 수 있다.

• 고/저성과자 사이에는 어떤 역량 차이가 있는가?
• 직무별로 어떤 역량 차이가 존재하는가?
• 고성과 리더와 저성과 리더의 평가 내용에 차이가 있는가?
• 피평가자 수와 평가자의 평가제도에 대한 효능감 사이에 관계가 있는가?

평가의견 텍스트 분석 절차
평가 텍스트 분석은 크게 아래 그림의 절차로 진행할 수 있다. 우선 주어진 평가 문서에서 단어나 문구(토큰 또는 키워드라고 함)를 추출한 후 추출된 토큰(Token)을 분석 목적(토큰의 빈도 랭킹, 직원 집단간 토큰 사용빈도의 차이 분석 등)에 맞게 테이블 형태로 가공하게 된다. 그 후 집단간 텍스트 특성의 차이나 토큰 사이의 관계 등을 분석하게 된다.

[그림: 평가의견 텍스트 분석 절차]

① 토큰/키워드 추출: 평가...

아래의 내용은 지난 4년 동안 빅데이터, 인공지능(기계학습) 기술을 HR 데이터에 적용하면서 배우고 경험했던 내용들입니다. 한 분야의 전문가로 불리기엔 짧은 기간이지만 HR데이터를 기계학습 기술로 분석하는 것이 워낙 새로운 분야인지라 국내나 해외에 전문가라고 자부할 수 있는 사람은 많지 않을 거라고 생각합니다. 지금은 국내나 해외 마찬가지로 HR 데이터 분석을 통해 비지니스 성과를 개선하는 일의 가능성과 한계를 시행착오를 겪으며 하나씩 배우는 시기입니다. 이 글이 인공지능 기술이 가져온 새로운 변화와 도전에 슬기롭게 대처하고자 하는 국내의 HR Professional들에게 작은 도움이 되길 바랍니다.

4차 산업혁명
과거 200여년 동안 경제적 성장을 이끌었던 동력은 단연 기술 혁신이었다. 이전 산업혁명을 이끌었던 증기기관, 내연기관, 전기, 컴퓨터, 인터넷 기술들은 그 파급력이 개인, 기업, 사회에 넓고 고르게 미쳤던 보편적이고 범용적인 기술이었다. 그렇다면, 현재, 그리고 가까운 미래에 산업 전반에 다양한 혁신과 기회를 창출할 보편적 기술은 무엇일까? 4차 산업혁명이라는 용어 자체보다 해당 기술이 앞으로 가져올 변화의 크기와 보편성을 생각한다면 인공지능 기술, 좀 더 구체적으로는 기계학습 기술을 꼽을 수 있다.
인터넷 기술이나 모바일 기술 초창기에 기업들이 새로운 기술과 변화에 대응하기 위해 전담조직을 꾸려 인터넷 전략, 모바일 전략을 세웠던 것과 마찬가지로 인공지능 기술 역시 기업의 현실과 성장 목표에 맞는 AI 전략이 필요하다. 국내의 HR 전문가들이 인공지능 기술이 개별 기업과 산업에 가져올(가져오고 있는) 변화를 좀 더 객관적으로 내다볼 수 있게 현재 인공지능의 수준과 한계, 그리고 HR 적용 방안을 살펴 보겠다.
(인공지능 기술은 빅데이터, 클라우드 컴퓨팅, 모바일 등...

텍스 분석 in HR
텍스트 분석을 하는 이유는 주어진 문서를 정량적으로 이해하는 것이다.

HR 맥락에서 대표적인 텍스트 데이터 중 하나인 평가 의견을 중심으로 살펴보자.
평가의견은 S, A, B, C 등으로 직원의 성과에 따른 등급을 부여하면서 뭘 특별히 잘해서 S등급을 주었는지, 아니면 뭘 특별히 못해서 C등급을 주었는지에 대한 서술이다.
사람이 평가 의견을 일일이 다 읽어 보고 요약할 수도 있지만 주관이 개입될 소지가 크다.

TF: Term Frequency
문서를 정량적으로 이해하기 위해 가장 먼저 할 수 있는 일은 특정 문서를 구성하는 단어와 해당 단어의 출현빈도로 정리하는 것이다. 특정 문서에서 특정 단어가 얼마나 빈번히 사용되었는지를 측정하는 지표를 tf(term frequency)라고 한다.

예를 들면, 고성과자의 평가의견으로 구성된 문서(class=high-performers)와 저성과자의 평가의견으로 구성된 문서(class=low-performers) 각각에서 추출한 단어(wordsvec)와 해당 단어의 빈도(Freq)로 구성된 테이블을 아래처럼 만들 수 있다.
total은 해당 class 문서에서 추출된 단어들의 빈도를 모두 더한 총합이며 tf=freq/total이 된다

IDF: Inverse Document Frequency
문서를 정략적으로 이해하는데 요긴한 또 다른 지표로는 단어의 idf(inverse document frequency)가 있다. idf는 해당 단어가 다른 문서들에서는 잘 사용되지 않은 경우 증가하게 된다. idf는 해당 단어가 문서의 특징을 얼마나 잘 나타내주는지에 대한 척도라고 생각할 수 있다.
특정 단어의 idf 값은 총문서의 갯수를 해당 단어가 포함된 문서의 갯수로 나눈 값에 대한 자연로그 값이다. (아래그림 참고)
총...

사장님이 원하는 것 vs. 내가 원하는 것
데이터를 통해 효율과 변화를 추구한다는데 싫다는 사장님은 없다. 내가 자신 없는 거다. 무지의 장막 뒤에 숨어 편안함과 익숙함을 유지하고 싶은 거다.
제한된 정보, 시간, 능력을 가지고 파악한 현실 인식에 근거하여 내린 의사결정은 우리 가치관에 일관성과 질서를 부여하는 만족스러운 결정이지 조직의 효용을 고려한 최적의 결정일 수 없다.

구상 vs. 추상
고객과 관련된 이야기(해석)나 행동들은 매출성장, 이익 등 객관적으로 측정가능한 지표를 중심으로 이루어진다. 손에 잡으려면 잡을 수 있는 해석이 쉬운 구체적 숫자들이다.
반면 직원의 경우 몰입, 열정, 혁신, 리더쉽 등 그 단어가 지칭하는 대상이 명확한 실체로 존재하지 않는 것이 주요 관심사이다. “네 이웃을 사랑하라."에서의 "사랑"처럼 규범적이고 손가락 사이로 스르륵 빠져나가는 형체를 구상화할 수 없는 개념들이다.

허구 vs. 데이터 기반 허구
그래서, 직원과 관련된 이야기나 행동들은 - 많은 경우 - 그 효용(Utility)을 객관적으로 측정할 수 없기에 서사(허구)에 기반하여 이루어진다. (허구를 창조하여 다양한 사람들을 결집시키는 것은 물론 인간의 큰 재능이다.)
천명의 사람이 천가지 서로 다른 해석을 할 수 있는 몰입, 에너지와 같은 추상을 이해하고 개선하기 위해 데이터를 활용하면 "허구"가 "데이터 기반 허구"가 된다.

Business and People Alignment
많은 산업/직종에서 직원의 특성/행위와 기업의 성과(주가, 매출, 이익) 사이의 직접적인 연결 고리를 찾기 힘들다. 이 경우, 기업의 성과를 만들어 내는 추상적 규범(예, 고객 중심, 혁신의 속도)이나 생산성/운영효율성 등 대리 성과지표(Proxy Performance Metrics)를 정량적으로 측정할...

한국경제신문 2017년 1월 5일자 지면에 소개된 글을 옮깁니다.

미국의 심리학 교수 폴 밀(Paul Meehl)은 본인의 저서 [임상적 예측과 통계적 예측의 비교(Clinical versus Statistical Prediction)]에서 “부러진 다리 사례(broken leg case)”로 알려진 내용을 소개한 바 있다.

내용을 간략히 옮겨보면 이렇다. 과거 데이터에 따르면 김교수님은 매주 화요일 저녁마다 동네 극장에 갔다. 그런데, 김교수님이 지난 주말 저녁에 다리가 부러져 깁스를 하게 되었다. 해당 사실을 모르는 (알 수 없는) 통계 모델은 통계적 추론을 통해 이번 주 화 저녁에도 김교수님이 영화를 보러 갈 것이라고 높은 확률로 예측을 할 것이다. 반면, 동네 사정을 훤히 꿰고 있는 극장 매니저 최씨는 김교수님이 당분간 극장 출입을 못 할 거라는 사실을 잘 알고 있을 것이다.

최씨의 경우처럼 기계(알고리즘)가 모르는 “유용하고 적절한 사실”을 아는 경우 기계의 예측을 무시해도 좋다. 중요한 것은 나는 알고 기계는 모르는 사실이 예측하려고 하는 행위와 관계가 있는지 여부이다. 면접관이 면접을 통해 지원자 역시 나랑 같은 야구팀의 골수팬이라는 사실을 알게 되었다고 하자. 해당 사실은 예측하려고 하는 행위(우리 회사에서 일을 행복하게 오래 잘 할지 여부)와 관계가 없는 무시해야 하는 정보이다.

이번 기사에서는 피플 애널리틱스의 맥락에서 데이터 분석을 수행할 때 활용할 수 있는 데이터 분석 기술과 각각의 한계점을 간단히 살펴 보겠다. 분석 기술의 장점과 한계에 대해 이해한다면 나의 주관적 경험과 지식을 분석 알고리즘이 발견한 패턴과 조화하여 더 좋은 의사결정을 내릴 수 있을 것이다.

기술 분석 (Descriptive Analysis)
데이터에 대한 요약(총합, 평균...

2016년 12월 29일 한국경제신문에 기고했던 글을 옮깁니다. (제목 클릭하면 원본기사로 이동)

지난 11월 중국의 상하이지아통 대학에서 사람의 얼굴 사진만 보고 범죄자 여부를 판단하는 실험에 관한 논문(“Automated Inference on Criminality using Face Images”)을 발표했다. 연구자들은 중국 남성을 대상으로 700명의 범죄자(수배중인 300명 포함)들과 1,100명의 다양한 직업을 가진 비범죄자들의 사진을 데이터로 활용하였다. 다양한 인공지능 알고리즘으로 범죄자와 그렇지 않은 사람을 구분짓는 얼굴의 특징(미간 사이의 거리, 코끝과 양 입꼬리 사이의 각도 등)을 분석했고 90%에 가까운 정확도로 두 집단을 구분하는 분류규칙을 만들 수 있었다.

범죄가 일어나기 전에 범죄를 예측해 범죄자를 단죄하는 미래를 그린 영화 “마이너리티 리포트”를 떠올리게 하는 이 논문은 당신이 데이터와 세상에 대해 가지고 있는 가정과 질문에 따라 전혀 상반된 해석이 가능하다.

만약, 현재의 사법 시스템이 공정하게 작동하고 있다는 가정 아래에 사람 얼굴의 특징과 범죄행위와 관련이 있는가라는 질문을 품고 분석을 시작했다면 분석 결과는 얼굴 특징과 범죄행위 사이에 아주 높은 상관관계가 있다는 객관적인 증빙이 될 것이다.
반대로, 현재의 사법 시스템이 체포에서 심판의 과정 전반에 걸쳐 특정 생김새의 사람을 차별하고 있다는 가정 아래에 정말 특정한 얼굴 생김새를 가진 사람들이 유죄판결을 더 받는가라는 질문으로 데이터 분석을 수행했다면 동일한 결과에 대해 전혀 다른 해석이 가능했을 것이다.

이처럼 사람의 특정 행위를 설명하고 예측하는 모형을 만드는 경우, 우리가 이미 세상에 가지고 있던 믿음이나 데이터를 통해 확인하려고 하는 질문에 따라 분석 결과에 대한 해석이 크게...

[2016년 12월 22일에 한국경제신문에 기고한 글입니다.]

올 10월 프랑스 파리에서 열린 인사분야 기술 박람회(HR Tech World Congress)에서 세계 최대 에너지 기업인 쉘은 인사데이터 분석 전담 부서 피플애널리틱스팀이 임직원 보안사고를 줄이기 위해 데이터를 분석한 결과를 선보였다.

쉘 임직원은 1주일 평균 100여명이 부주의로 피싱이나 바이러스 공격을 받고 있는 상황이었다. 인사 데이터와 보안사고 데이터를 결합해 통계 분석을 해보니 피싱 사고는 재직기간 5년을 기점으로 빠르게 증가하고, 컴퓨터 바이러스 사고는 5년을 기점으로 빠르게 감소하는 패턴을 보였다. 임직원이 보유한 스킬이나 배치 유형(단기 해외 배치 등)도 보안사고와 높은 상관관계를 보인다는 결과가 나왔다. 패턴을 확인한 피플애널리틱스팀은 인공지능의 한 분야인 기계학습 기술을 활용해 임직원의 보안사고를 예측하고 설명하는 분석모형을 만들었다. 그리고 보안사고 고위험군 직원을 대상으로 교육했다.

이후 쉘은 보안과 관련한 교육비용과 리스크가 감소하는 성과를 거뒀다. 재직기간, 자격증, 배치정보 등의 전통적 인사 데이터와 임직원별 보안사고 유형 및 건수 같은 비전통적인 데이터를 결합해 새로운 가치를 뽑아낸 사례다.

이렇듯 기업의 성과 개선을 위한 도구로서 잠재력이 큰 피플 애널리틱스가 왜 최근에 와서야 주목받기 시작한 걸까. 마케팅이나 영업 분야에서는 10여년 전부터 고객 데이터를 분석해 구매 행위·특성을 객관적으로 이해하려고 노력했다. 인사부서에도 데이터를 통해 직원들의 바람직한 행위·특성 패턴을 분석해 과학적인 의사결정을 내리고 싶은 욕망이 있었다. 다만 아래 세 가지 차원에서 나타난 최근의 변화가 인사부서의 욕망을 실행으로 옮길 수 있도록 수단과 명분을 제공한 것이다.

데이터 차원의 변화

[한국경제신문에 2016.12.08일에 기고한 글입니다.]

‘사람 일은 모른다’는 말이 있다. 그러나 빅데이터를 활용한 인재분석 기술 ‘피플 애널리틱스(people analytics)’를 활용하면 이런 말을 하기 어렵다. 피플 애널리틱스는 사람(직원)과 일(성과)의 관계에 대해 객관적으로 이해할 수 있는 인재경영의 도구다. 세계 주요 기업의 관심이 높아지고 있는 이유다. 국내에서는 데이터 기반 의사결정(DDD: data-driven decision-making) 시스템이 아직 초보 수준에 머물고 있다. 인사데이터 분석 서비스 전문회사 아이디케이스퀘어드 양승준 대표의 칼럼을 통해 피플 애널리틱스에 대해 알아본다.

피플 애널리틱스는 ‘통계학, 인공지능(기계학습), 데이터 시각화 기술을 인적자원 데이터에 적용해 확률과 증거에 기반한 의사결정을 하는 인재경영 시스템’이다. 피부에 와 닿게 표현하자면 성과 차이를 보이는 직원들의 특성과 환경적 요인을 찾아 생산성을 높이는 방식이다. 분명히 존재하지만 희미한 느낌으로만 파악이 가능했던 직원들의 성향을 정량적으로 보여준다. 사람과 관련한 주요한 문제에 대해 더 좋은 의사결정을 내리도록 돕는 지원 도구다. 데이터를 기반으로 의사결정을 내리면 불확실성을 최소화할 수 있다. 기업의 생산성을 높일 수 있고 비용은 최소화할 수 있다.

“하나를 보면 열을 안다”는 말은 열 가지를 모두 보고 판단하지 않는 게으름에 대한 핑계다. 커다란 눈이 어울리지 않는 얼굴도 있고, 작은 눈이 잘 어울리는 얼굴이 있듯이 회사에서도 필연적으로 일을 잘하는 보편적인 조건이 존재하지 않는다. 복잡하고 우연적 요소가 높다는 이유로 무원칙과 직관으로 인사를 하는 경우가 많은 게 현실이다.

특정 직원에 대해 가지고 있는 선입견과 협소한 인식의 틀을 뛰어넘기 위해서는 피플...

데이터를 분석해서 모형을 만드는 이유는 특정 변수(성과, 매출, 위반 등)에 영향을 미치는 다른 변수들(학점, 나이, 소득 수준, 성격/태도)을 이해하여 현실에 개입(intervention)하기 위해서이다.
Bias를 진실(현실)과 모형의 분석결과 사이의 차이라고 한다면 Bias는 아래 세가지 불확실성에서 기인한다.

• 분석에 사용된 데이터에서 비롯된 불확실성 (충분하지 않은 데이터, 잘못된 측정값, 기타 noise/error)
• 분석 방법에서 비롯된 불확실성 (learning model에 내재된 편견, 알고리즘의 흠결)
• 세상과 인간에 대한 이해의 부족에서 비롯된 불확실성

오늘은 이런 불확실성과 모델에 내재된 Bias를 불가피한 조건으로 인정했을 때 분석 결과로 얻은 상관관계(선형적 관계 내지 평균의 차이 등)를 어떻게 이해하고 활용해야 하는지에 대해 이야기해보려 한다.

직원들의 성과점수 분석을 했더니 명문대 출신들이 성과 점수가 통계적으로 유의미하게 높게 나왔다고 하자.
명분대 출신들이 일을 잘한다고 할 수 있을까? 출신대학과 성과점수 간의 관계가 관찰/측정되지 못한 제삼의 변수 때문일 수도 있지 않을까? 명문대 출신이기 때문에 신입사원 때부터 성과를 내기 좋은 프로젝트/업무에 배정되고, 그 경험을 통해 fast track을 밟게 되고, 명문대출신이기 때문에 명문대 출신 매니저들이 의식, 무의식적으로 더 좋은 평가를 하고…
만약 성과점수와 출신대학 간에 상관관계가 나타난 원인이 후광효과와 정실인사때문이었다면 명문대학 출신을 더 많이 뽑는 것은 회사의 근본적인 성과 개선과는 상관없이 그냥 기존의 현실 - 대부분의 경우 만족스럽지 않은 현실 - 을 더욱 공고화하고 강화하는 일일 것이다.

그렇다면, correlation(상관관계)을 어떻게 해석해야 하나? 결론부터 말하면, 특정...