늦깎이 공대생의 인공지능 연구실

프로토타입(Prototype)은 모든 데이터를 대표하는 데이터 인스턴스입니다. 크리티시즘(Criticism)은 프로토타입 집합으로 잘 표현되지 않는 데이터 인스턴스입니다. 크리티시즘의 목적은 프로토타입과 함께 통찰력, 특히 프로토타입이 잘 표현하지 못하는 데이터 포인트에 대한 통찰력을 제공하는 것입니다. 프로토타입과 크리티시즘은 기계학습 모델과 독립적으로 데이터를 기술하는 데 사용될 수 있지만, 해석할 수 있는 모델을 만들거나 블랙박스 모델을 해석할 수 있는 모델로 만드는 데도 사용할 수 있습니다. 이번 포스팅에서는 하나의 인스턴스를 지칭하기 위해 "데이터 포인트"라는 표현을 사용하고, 한 인스턴스가 각 특성이 차원인 좌표계의 포인트라는 해석을 강조하고자 합니다. 아래의 그림은 시뮬레이션된 데이터 분포를..

적대적 예제(Adversarial examples)는 기계 학습 모델이 잘못된 예측을 하게 하는 작고 의도적인 특성 변화를 가진 인스턴스입니다. 개념들이 매우 비슷하기 때문에 먼저 '반사실적 설명'에 관한 개념을 읽어보는 것을 추천 드립니다. 적대적 예제는 모델을 해석하는 것이 아니라 속이는 것을 목적으로 하는 반사실적 예제입니다. 왜 우리는 적대적 예제에 관심을 갖게 될까요? 이 예제는 실제 관련성이 없는 기계 학습 모델에서 파생된 의문투성이의 부산물일 뿐이지 않을까요? 대답은 분명히 "no"입니다. 적대적 예제는 아래와 같은 시나리오에서와 같이 기계 학습 모델을 공격에 취약하게 만듭니다. 자율주행 자동차가 정지 신호를 무시해 다른 차를 들이받습니다. 누군가 표지판 위에 그림을 붙여놓았는데, 이 표지판..

반사실적 설명은 인과적 상황을 "X가 벌어지지 않았다면 Y는 발생하지 않았을 것이다"라는 방식으로 설명합니다. "만약 내가 뜨거운 커피를 한 모금도 마시지 않았다면, 나는 내 혀에 화상을 입지 않았을 것이다."와 같은 예가 있을 것입니다. 사건 Y는 내가 혀를 데인 것입니다. 왜냐하면 X는 뜨거운 커피를 마셨기 때문입니다. 반사실적 생각을 하려면 관찰된 사실(예를 들어 뜨거운 커피를 마시지 않은 상황)과 모순되는 가상의 현실을 상상해야 하므로 반사실적(counterfactual)이라는 단어가 사용됩니다. 다른 동물들에 비해 반사실적으로 생각하는 능력은 사람의 영리함을 더욱 두드러지게 합니다. 해석할 수 있는 기계학습에서, 반사실적 설명을 사용하여 개별 인스턴스의 예측을 설명할 수 있습니다. "사건"은 인..

예제 기반 설명(Example-Based Explanation) 방법은 기계학습 모델의 동작을 설명하거나 기본 데이터 분포를 설명하기 위해 데이터 집합의 특정 인스턴스를 선택합니다. 예제 기반 설명은 대부분 모델 불특정성인데, 기계학습 모델을 해석할 수 있게 해주기 때문입니다. 모델 불특정성 방법과의 차이점은 예제 기반 방법이 특성 요약을 만드는 것이 아니라 데이터 집합의 인스턴스를 선택하여 모델을 설명한다는 것입니다(예: 특성 중요도 또는 부분 의존도). 예제 기반 설명은 인간이 이해할 수 있는 방식으로 데이터의 예를 나타낼 수 있는 경우에만 의미가 있습니다. 이러한 예제 기반 설명은 이미지를 직접 볼 수 있기 때문에 이미지에 적합합니다. 일반적으로 예제 기반 방법은 인스턴스의 특성값이 더 많은 컨텍스..

Lundberg와 Lee (2016)의 SHAP(SHAPley Additional exPlanations)는 개별 예측을 설명하는 방법입니다. SHAP는 최적의 섀플리값을 이론적으로 한 게임을 기반으로 합니다. 여기서 SHAP가 자체 챕터로 다루는 이유는 두 가지가 있습니다. 먼저, SHAP 저자들은 지역 대체모델에서 영감을 받은 섀플리값에 대한 대안적인 커널 기반 추정 접근 방식인 KernelSHAP를 제안했습니다. 그리고 나무 기반 모델을 위한 효율적인 추정 방식인 TreeSHAP를 제안했습니다. 두 번째로, SHAP는 섀플리값의 집계를 기반으로 한 많은 전역 해석 방법을 제공합니다. 이 포스팅에서 새로운 추정 방법과 전역 해석 방법을 모두 설명하고자 합니다. 정의 SHAP의 목적은 예측에 대한 각 ..

예측이 성과물인 게임에서 인스턴스(instance)의 각각의 특징적 가치를 "플레이어"라고 가정함으로써 예측을 설명할 수 있습니다. 협력 게임 이론(Coalitional game theory)의 한 방법인 섀플리 값은 특성들 사이에서 "성과물"을 공평하게 분배하는 방법을 알려줍니다. 일반적인 관점 다음과 같은 경우를 생각해봅시다. 아파트 가격을 예측하는 기계 학습 모델을 교육하셨습니다. 특정 아파트의 경우 30만 유로를 예측하고 이 예측을 설명해야 한다. 이 아파트의 면적은 50㎡이며 2층에 위치하고 있으며 근처에 공원이 있으며 고양이는 금지되어 있다. 모든 아파트의 평균 전망치는 31만 유로라는 결론을 얻었습니다. 각 특성값이 평균 예측과 비교하여 예측에 얼마나 영향을 주었을까요? 선형 회귀 모형의 경..

날이 갈수록 다양한 분야에서 인공지능을 적용하고자 하는 시도가 계속되고 있습니다. 영상에서 찾고자 하는 물체를 찾아내며 안면인식을 통해 사람을 식별하는 시각 AI뿐 아니라 호텔과 같은 곳을 주행하는 서비스 로봇이 목적지에 이동하여 서비스를 제공하는 시스템도 어느덧 우리 주변에서 볼 수 있게 되었습니다. 우리들이 일상에서 접할 수 있는 분야에서도 이렇게 인공지능을 쉽게 접할 수 있게 되었음을 이제는 실감할 수 있게 되었는데 과연 기업들은 이러한 인공지능을 어떻게 활용하고 있을까요? 산업화를 통해 발전된 우리나라는 제조업을 영위하는 다양한 기업들이 있습니다. 복잡한 기계들이 일사분란한 움직임으로 자동차와 같은 생산품을 만들어내는 딱딱한 모습은 오늘날 인공지능의 모습과는 많이 멀어보이기만 합니다. 그런데 놀랍..

Anchor는 예측을 충분히 "고정"시키는 의사결정 규칙을 찾아 블랙박스 분류 모델에 대한 개별 예측을 설명합니다. 규칙은 다른 특성값의 변화가 예측에 영향을 미치지 않는 경우 예측을 고정시킵니다. Ancohr는 그래프 검색 알고리즘과 함께 강화 학습 기법을 활용하여 모델 호출 횟수(필요한 실행시간)를 최소로 줄이면서도 지역 최적화에서 회복될 수 있습니다. Ribeiro, Singh, Guestrin은 2018년에 이 알고리즘을 제안하였습다. 이들은 LIME 알고리즘을 도입하였던 분들이기도 합니다. 이전 모델과 마찬가지로 Anchor 접근방식은 미세변동 기반 전략을 배치하여 블랙박스 기계 학습 모델의 예측에 대한 지역 설명을 생성합니다. 그러나 LIME이 사용하는 대리모델 대신 결과적인 설명은 Ancho..