늦깎이 공대생의 인공지능 연구실

선형 회귀 모델은 특성값(Feature)의 입력과 가중치(Weight)의 곱의 합으로 목표값으로 예측하는 것을 말합니다. 학습된 관계의 선형성은 해석을 쉽게 만들줍니다. 선형 회귀 모델 오랫동안 통계학자와 컴퓨터 과학자들은 물론 상당한 양의 문제를 다다루는 사람들이 주로 사용하는 알고리즘입니다. 선형 모델들은 일부 특성값 x에 대한 회귀 목표값 y의 의존성을 모델로 만들 수 있습니다. 학습된 관계는 선형이고 이는 단일 인스턴스 i로서 다음과 같이 나타낼 수 있습니다. $$y={\beta }_0+{\beta }_1{x}_1+\dots +{\beta }_p{x}_p+ϵ$$ 위 식의 결과는 특성값 p개에 가중치를 곱한 합으로 나타냅니다. ${\beta }_j$값들은 계수의 가중치입니다. 첫 번째 가중치값..

기계학습으로 학습을 하기 위해서는 특정한 구조의 데이터셋을 필요로 합니다. 각 데이터셋의 구조는 다르지만 이를 학습하기 위한 딥러닝 기계학습 과정은 크게 다르지 않습니다. 여기서는 다양한 분야에서 생성된 데이터셋들의 일부에 살펴보도록 하겠습니다. 1. 자전거 대여(회귀) 이 데이터셋에는 자전거 대여 회사로부터 당일 빌린 자전거의 대수와 그 날의 날씨 및 계절 정보를 포함하고 있습니다. 이 데이터들을 통해 우리들은 날씨에 따라 자전거 대여수가 얼마나 달라지는지 알아낼 수 있습니다. 자전거의 데이터셋의 구성에 대해 알고 싶으신 분은 아래의 Github 사이트를 통해 확인해주세요 https://github.com/christophM/interpretable-ml-book/blob/master/data/bike..

사람들이 "좋은" 설명이라고 하는 것은 무엇인지, 그리고 해석할 수 있는 기계학습이 담고 있는 의미는 무엇인지 좀 더 자세히 알아보도록 합시다. 이를 위해 인문학에 대한 연구가 답을 찾아내는데 도움이 될 수 있을 것입니다. Miller(2017)는 설명에 대한 대규모 조사를 수행한 논문을 발표하였는데 여기서 그의 논문 내용을 요약해보고자 합니다. 한 사건에 대한 설명으로서 사람들은 지금의 상황을 그 사건이 벌어지지 않았을 때와 비교할 수 있는 한 두가지의 경우를 예로 들어 최대한 짧은 설명을 선호합니다. 특히 평소에는 벌어지지 않는 비정상적인 상황은 설명하기가 더 쉽습니다. 설명은 설명하는 사람과 설명을 듣는 사람 사이의 사회적 상호 작용이며, 따라서 사회적 맥락은 설명의 실제 내용에 큰 영향을 줍니다...

기계학습 모델에 대해 설명을 하기 위해서, 설명을 생성하는 알고리즘을 설명하는 방법이 필요합니다. 하나의 설명은 대개 하나의 인스턴스의 특성값을 사람이 이해할수 있는 방법으로 특성값의 모델 예측과 연관시키는 것입니다. 다른 유형의 설명은 하나의 데이터 인스턴스의 세트로 구성되어 있습니다(k-nearst neighbor model이 대표적이라 할 수 있습니다). 예를 들어, 우리는 서포트 벡터 머신(Support vector machine)을 사용하여 암의 위험을 예측할 수 있고, 일부분 대리 모델(local surrogate method, LIME)을 활용하여 의사결정 트리(decision tree)를 사용하여 설명을 생성하여 예측을 설명할 수 있습니다. 또는 서포트 벡터 머신 대신에 선형 회귀 모델(l..

학습을 위해 사용되는 알고리즘이 만들어내는 모델의 해석력에 대해 다룰 때, 해석력의 범위와 평가를 정의함으로서 해석력의 특성을 좀 더 자세히 설명할 수 있습니다. 특정한 모델에 대해 투명성(transparency)와 해석력(interpretability)의 관점에서 다음과 같은 범위로 평가할 수 있습니다. 1.알고리즘 투명성(Algorithm Transparency) 이 알고리즘은 어떻게 모델을 생성할까? 알고리즘 투명성은 알고리즘이 어떻게 데이터로부터 모델을 학습시킬수 있는지와 어떠한 종류의 관계를 학습시킬 수 있는지에 관한 것입니다. 만약 여러분들이 컨볼루션 신경망(Convolutional Neural Network)이 어떻게 이미지를 분류하는 지에 대해 설명해 달라는 질문을 받는다면, 아마도 여러분..

기계학습 모델을 해석함에 있어 주어진 모델을 사람이 어떻게 해석할 수 있는지에 대해서는 명료하게 정하기에는 매우 많은 변수가 존재합니다. 무엇을 기준으로 하는지에 따라서 주어진 모델을 해석할 수 있는지의 여부 또한 달라지기 때문입니다. 1. 사전해석법(Intrinsic) 혹은 사후해석법(post hoc) 모델의 종류에 따라 변수를 줄임으로서 복잡도(complexity)를 제한하는 방식의 사전해석법(intrinsic)과 학습이 끝난 모델을 분석하는 사후해석법(post hoc) 방식이 있습니다. 선형 회귀(Linear Regression)처럼 직관으로 예측이 어느 정도 가능하다고 판단된다면 사전해석법(intrinsic)으로 모델을 가늠해볼 수 있습니다. 반면에 모델이 추상적인 면이 강한 인공신경망(neura..

Hypothesis set(가설 집합)이란, 탐색중인 Hypothesis space(가설 공간)을 나타내기 위한 집합으로서 모델 선택 및 구성의 선택을 탐색할 수 있는 출력에 입력을 사상(mapping)하기 위한 가능한 hypothesis(가설)의 space(공간)을 의미합니다. Hypothesis space(가설 공간)은 어떤 문제를 해결하는데 필요한 가능성이 있는 hypothesis 후보군의 집합을 의미하며 여기서 hypothesis set이 이에 해당한다고 할 수 있겠습니다. 아래의 그림을 통하여 자세히 설명해 드리도록 하겠습니다. 알 수 없는 목표 함수(Unknown target function)이 다음과 같이 주어지고 이들의 각 매칭들이 Training 예제들로 주어졌을 때 우리는 이를 딥러닝과..

새로운 기술을 개발했다는 소식을 뉴스를 통해 보게 되었을 때 거의 대부분의 사람들은 기술의 원리를 완벽히 이해하기는 어렵지만 이를 어느 분야에서 사용할 수 있을지에 대해서는 어느 정도 알 수 있습니다. 그리고 실제로도 이를 사용할 줄 아는 것 만으로도 충분합니다. 그러나 이러한 기술을 만든 개발자의 입장에서 자신이 만든 기술이 어떤 알고리즘을 가지고 있는지 논문과 같은 설명서를 만들어서 사람들에게 설명할 수 있어야 합니다. 만약 그렇지 못하다면 이 알수 없는 기술에 대한 신뢰를 얻기 힘들게 됩니다. 위와 같은 기술 혹은 알고리즘처럼 특정한 기능을 수행하고 있는 기능에 대해 상세하게 설명할 줄 아는 능력을 우리는 해석력(Interpretability)라고 합니다. 이러한 해석력에 대해 학자들은 다음과 같이..