[해석할 수 있는 기계학습(2-4)] 설명의 특징

 

 

 기계학습 모델에 대해 설명을 하기 위해서, 설명을 생성하는 알고리즘을 설명하는 방법이 필요합니다. 하나의 설명은 대개 하나의 인스턴스의 특성값을 사람이 이해할수 있는 방법으로 특성값의 모델 예측과 연관시키는 것입니다. 다른 유형의 설명은 하나의 데이터 인스턴스의 세트로 구성되어 있습니다(k-nearst neighbor model이 대표적이라 할 수 있습니다). 예를 들어, 우리는 서포트 벡터 머신(Support vector machine)을 사용하여 암의 위험을 예측할 수 있고, 일부분 대리 모델(local surrogate method, LIME)을 활용하여 의사결정 트리(decision tree)를 사용하여 설명을 생성하여 예측을 설명할 수 있습니다. 또는 서포트 벡터 머신 대신에 선형 회귀 모델(linear regression model)을 사용하는 방법도 있습니다. 선형 회귀 모델의 경우 이미 가중치의 해석을 통해 설명을 할 수 있도록 함수가 구현되어 있습니다.

 

 여기서 우리는 먼저 설명 방법의 특성에 대해 이야기해본 후 설명 자체의 특성에 대해 면밀하게 살펴보고자 합니다(Robnik-Sikonja and Bohanec, 2018). 아래에서 이야기할 특성들은 설명 방법 혹은 설명 그 자체가 얼마나 좋게 판단될 수 있는지에 대해 사용될 수 있습니다. 하지만 모든 특성들이 판단함에 있어 명료하지 못할 수 도 있습니다. 그렇기에 아래의 특성들을 활용해 설명 방법 혹은 설명 그 자체가 정량화될 수 있는지는, 해석할 수 있는 기계학습에 있어 주요한 도전 중 하나라 할 수 있겠습니다.

---

설명 방법(Explanation method)의 특성

1. 표현력(Expressive power)

 표현력은 설명 방법이 생산할 수 있는 설명의 "언어" 또는 구조입니다. 이 설명 방법은 IF-THEN 룰, 의사결정 트리, 가중 합(weighted sum), 자연어 혹은 무언가로 생성할 수 있습니다.

2. 반투명성(半透明,Translucency)

 반투명성은 설명 방법이 매개변수와 같이 기계학습 모델을 조사하는데 얼마나 설명하는 방법입니다. 예를 들어 선형회귀 모델(모델특정법, model-sepcific)과 같이 사람의 직관으로도 해석 가능한 모델에 의존하는 설명 방법은 반투명성이 매우 높다고 할 수 있습니다. 시나리오에 따라서는 다른 수준의 반투명도가 필요할 수도 있습니다. 높은 반투명성의 장점으로 설명 방법이 설명을 생성하기 위해 더 많은 정보에 의존할 수 있다는 것입니다. 한편으로 낮은 반투명성의 장점은 설명 방법이 더욱 이식이 쉬워진다는 점입니다.

3. 이식성(Portability)

 이식성은 설명 방법을 사용할 수 있는 기계학습 모델의 범위를 말합니다. 반투명성이 낮은 설명 방법은 기계학습 모델을 블랙박스로 취급하기 때문에 이식성이 더 높아집니다. 대리 모델(Surrogate model)은 이식성이 가장 높은 설명 방법일 수 있습니다. 반면 RNN(Recurrent Neural Network)은 이식성이 낮습니다.

4. 알고리즘 복잡도(Algorithmic Complexity)

 알고리즘 복잡도는 설명을 생성하는 방법의 계산 복잡성을 설명합니다. 이 특성은 계산 시간이 설명을 생성하는데 시간 복잡도가 매우 오래 걸릴 경우 사용을 하는데 많은 고려가 필요합니다.

---

 다음으로 각 설명의 특성에 대해 살펴보겠습니다.

---

설명(Individual Explanations)의 특성

1. 정확도(Accuracy)

 설명의 관점에서 보이지 않는 데이터를 얼마나 잘 예측할 수 있을까요? 기계학습 모델 대신 예측에 설명을 사용할 경우 높은 정확도는 특히 중요합니다. 기계학습 모델의 정확도가 낮을 경우, 그리고 블랙박스 모델이 무엇을 하는지를 설명하는 것이 목표라면 낮은 정확도는 문제가 되지 않을 수 있습니다. 이 경우 충실도만이 중요하게 적용됩니다.

2. 충실도(Fidelity)

 그 설명은 블랙박스 모델의 예측과 얼마나 잘 맞아떨어질까요? 높은 충실도는 설명의 가장 중요한 특성 중 하나입니다. 왜냐하면 낮은 충실도를 가진 설명은 기계학습 모델을 설명하는 데 전혀 도움이 되지 않기 때문입니다. 정확도와 충실도는 밀접한 관련이 있습니다. 블랙박스 모델이 정확도가 높고 설명이 충실도가 높으면 설명도 정확도가 높습니다. 일부 설명은 로컬 충실도만 제공되는데 이는 설명이 데이터의 서브셋(일부분 대체 모델, local surrogate models) 또는 개별 데이터 인스턴스(섀플리 값, Shapley Value)에 대한 모델 예측에만 잘 근접한다는 것을 의미합니다.

3. 일관성(Consistency)

 동일한 괴제에 대해 훈련된 모델과 유사한 예측을 생성하는 모델간의 설명은 얼마 정도 차이가 날까요? 예를 들어, 동일한 작업 환경에서 서포트 벡터 머신(support vector machine)과 선형회귀 모델(linear regression model)을 학습시켰을 때 두 모델 모두 매우 유사한 예측을 하는 것을 확인할 수 있습니다. 이 때 자신이 선택한 방법으로 설명법을 만들고 이것이 다른 설명들과 얼마나 다른지를 분석합니다. 자신이 만든 설명이 다른 설명들과 유사하다면, 설명이 일관성이 있다고 할 수 있습니다. 두 모델이 서로 다른 특성을 사용할 수 있지만 비슷한 예측(라쇼몬 효과, Rashomon Effect)을 얻을 수 있기 때문에 이 특성은 다소 까다롭습니다. 이 경우 설명이 매우 달라져야 하기 때문에 높은 일관성은 바람직하지 않습니다. 모델들이 정말로 유산한 관계에 의론한다면 높은 일관성이 더 가치가 있다고 할 수 있겠습니다.

4. 안정성(Stability)

 유사한 인스턴스들에 대한 설명은 얼마나 유사할까요? 일관성은 모델간 설명을 비교하지만 안정성은 고정된 모델의 유사한 인스턴스 간 설명을 비교합니다. 높은 안정성은 인스턴스의 특징에서 약간의 변화가 설명을 실질적으로 바꾸지 않음을 의미합니다(미묘한 변화 또한 예측을 상당히 바꾸지 않는다는 가정하에는 말이지요). 안정성이 무족하면 설명 방법에 많은 변화를 줄 수 있습니다. 다시 말해, 설명 방법은 설명될 인스턴스의 특성값의 조그마한 변화에 의해 커다란 영향을 받습니다. 안정성의 부족은 일부분 대체 방법(local surrogate method)과 같이 데이터 샘플링 단계와 같은 설명 방법의 비결정적 구성 요소로 인해 발생할 수도 있습니다. 높은 안정성은 언제나 가치가 있다고 할 수 있겠습니다.

5. 이해력(Comprehensibility)

 사람들은 그 설명을 얼마나 잘 이해하고 있을까요? 이해력은 많은 사람들 사이에서 하나의 능력처럼 보이는 누구나 다 아는 사실입니다. 무언가를 정의하고 측정하기는 어렵지만, 정확하게 하는 것은 매우 중요합니다. 많은 사람들은 이해력이 이를 바라보는 관중들에게 달려있다는 것에 동의합니다. 이해력 측정을 위한 아이디어는 설명의 규모(선형 모델에서 0인 아닌 가중치를 갖는 특징의 수, 의사결정 규칙의 수) 혹은 설명에 있어 사람들이 기계학습 모델의 행동을 얼마나 잘 예측할 수 있는지를 시험하는 것을 포함합니다. 설명에 사용된 모델의 이해도 고려해야 합니다. 특성의 복잡한 변환은 본래의 특성에 비해 이해하기 더 어려울 수 있습니다.

6. 확실성(Certainty)

 설명이 기계학습 모델의 확실성이 잘 반영되어 있을까요? 많은 기계학습 모델들은 예측이 정확하다고 확신하는 모델에 대한 설명 없이 예측만을 제공합니다. 모델이 한 환자의 암 발생 확률을 4%로 예측하는 경우, 다른 특성값을 가진 다른 환자가 밭은 4%의 확률만큼 확실할까요? 모델의 확실성을 고려한 설명은 매우 유용하다고 할 수 있겠습니다.

7. 중요도(Degree of Importance)

 설명의 특성이나 설명의 일부분의 중요성을 얼마나 잘 반영하고 있을까요? 예를 들어, 만약에 의사 결정이 개별 예측에 대한 설명으로 생성될 경우, 규칙의 어떤 조건이 가장 중요했는지가 명확해질까요?

8. 참신함(Novelty)

 설명해야 할 한 데이터 인스턴스가 학습 데이터의 분포(distribution)에서 멀리 떨어진 "새로운" 영역에서 발생하는지의 여부를 반영할까요? 이러한 경우 그 모델은 부정확할 수 있으며 설명은 무용지물이 되어버립니다. 참신함의 개념은 확실성의 개념과 관련되 있습니다. 참신함이 높을수록 데이터의 부족으로 인해 모델의 확실성이 낮을 가능성이 높아집니다.

9. 대표성(Representativeness)

 설명이 얼마나 많은 인스턴스를 포함시키고 있을까요? 설명은 전체모델(선형 회귀 모델 내부의 가중치 해석)을 다루거나 오직 각각의 개별 예측(섀플리값)에서만 표현될 수 있습니다.

---

 지금까지 다루었던 설명과 그 방법의 특성을 이해하여 기계학습을 이해해보도록 합니다.

 

참고자료: https://christophm.github.io/interpretable-ml-book/properties.html

2.5 Properties of Explanations | Interpretable Machine Learning