늦깎이 공대생의 인공지능 연구실

지금까지 특성 속성을 통해 블랙박스 모델을 설명하기 위해 많은 방법들을 다루어 보았습니다. 그러나 몇가지 방법의 경우 특성 기반 접근으로 인한 한계를 가지고 있습니다. 첫째, 특성은 해석력의 관점에서 반드시 사용자 친화적이지만은 않습니다. 예를 들어, 이미지 안의 단일 픽섹의 중요도는 보통 의미 있는 해석을 전달하지 않습니다. 둘째, 특성 기반 설명에 대한 표현은 특성의 갯수에 제약을 받습니다. 개념 기반의 접근은 방금 언급하였던 두 가지 한계에 대해 설명합니다. 개념은 색, 객체나 심지어 어떤 아이디어 같은 어떠한 추상이 될 수 있습니다. 비록 신경망이 명시적으로 주어진 개념을 가지고 학습을 하지 않을 수 있는 사용자 정의 개념을 감안하였을 때, 개념 기반 접근법은 신경망에 의해 학습된 잠재 공간 안에..

픽셀 속성(Pixel Attribution) 방법은 신경망에 의한 특정 영상 분류와 관련된 픽셀을 강조 표시합니다. 다음의 이미지는 이러한 설명의 예입니다. 이 포스팅의 뒷부분을 통해 특정한 이미지에서 무슨 일이 일어나고 있는지 볼 수 있습니다. 픽셀 속성법은 감도 지도(Sensitivity Map), 중요영역 지도(Saliency map), 픽셀 속성 지도(Pixel Attribution Map), 기울기 기반 속성 방법(Gradient-based Attribution), 특성 관련성(Feature Relevance), 특성 속성(Feature Attribution), 특성 기여(Feature Contribution) 등 다양한 이름으로 확인할 수 있습니다. 픽셀 속성은 특성 속성의 특수한 경우이지만,..

합성곱 신경망(Convolutional Neural Netowrk)은 원본 이미지의 픽셀에서 추상적인 특성과 개념을 학습합니다. 특성시각화(Feature Visualization)은 활성 최대화에 의해 학습된 특성들을 시각화합니다. 신경망 해부(Network Disserction)는 신경망 단위(채널)를 사람의 개념을 기준으로 분류합니다. 심층신경망(Deep Neural Network)은 숨겨진 레이어인 은닉층(Hidden layer) 내의 고차원적인 특성을 학습합니다. 이는 가장 큰 장점이자 특성 공학(Feature Engineering)의 필요성을 줄여줍니다. 여러분이 SVM(Support Vector Machine)으로 이미지 분류기를 만들려 한다고 가정해봅니다. 원본이미지의 픽셀 메트릭스값은 SV..

이 포스팅은 신경망에 대한 해석 방법에 초점을 두고자 합니다. 이 방법은 신경망에 의해 학습된 특성과 개념을 시각화하고, 각각의 예측을 설명하며, 신경망을 단순화합니다. 특히 딥러닝은 이미지 분류와 언어 번역과 같은 이미지와 텍스트를 포함하는 작업에서 매우 성공적인 결과를 보입니다. 심층신경망의 성공 사례는 2012년, ImageNet 이미지 분류 챌린지 대회에서 딥러닝 접근 방식으로 승리하면서 시작되었습니다. 그 이후, 우리는 점점 더 많은 가중치 매개 변수를 가진 더 깊은 신경망으로 향하는 추세와 함께 딥 뉴럴 아키텍처의 캄브리아기 대폭발과 같은 상황을 목격했습니다. 신경망으로 예측을 하기 위해, 데이터 입력은 학습된 가중치와 비선형 변환을 통해 많은 곱셈 레이어를 통과합니다. 하나의 예측은 신경망의..

기계학습 모델은 궁극적으로 학습 데이터의 산물이며 학습 인스턴스 중 하나를 삭제하면 결과 모델에 영향을 미칠 수 있습니다. 학습 데이터에서 학습 인스턴스를 삭제하면 모델의 매개 변수나 예측이 크게 변경될 때 우리는 학습 인스턴스를 "영향력"이라고 합니다. 영향력 있는 학습 인스턴스를 식별함으로써, 우리는 기계학습 모델을 "디버그"하고 그들의 행동과 예측을 더 잘 설명할 수 있습니다. 이 장에서는 영향력 있는 인스턴스를 식별하는 두 가지 방법, 즉 삭제 진단 및 영향 함수를 보여 줍니다. 두 가지 접근법 모두 강력한 통계량을 기반으로 하며, 이 통계량은 이상치(Outlier) 또는 모델 가정 위반의 영향을 덜 받는 통계적 방법을 제공합니다. 강력한 통계량은 데이터의 강력한 추정치(예: 평균 추정치 또는 예..

프로토타입(Prototype)은 모든 데이터를 대표하는 데이터 인스턴스입니다. 크리티시즘(Criticism)은 프로토타입 집합으로 잘 표현되지 않는 데이터 인스턴스입니다. 크리티시즘의 목적은 프로토타입과 함께 통찰력, 특히 프로토타입이 잘 표현하지 못하는 데이터 포인트에 대한 통찰력을 제공하는 것입니다. 프로토타입과 크리티시즘은 기계학습 모델과 독립적으로 데이터를 기술하는 데 사용될 수 있지만, 해석할 수 있는 모델을 만들거나 블랙박스 모델을 해석할 수 있는 모델로 만드는 데도 사용할 수 있습니다. 이번 포스팅에서는 하나의 인스턴스를 지칭하기 위해 "데이터 포인트"라는 표현을 사용하고, 한 인스턴스가 각 특성이 차원인 좌표계의 포인트라는 해석을 강조하고자 합니다. 아래의 그림은 시뮬레이션된 데이터 분포를..

적대적 예제(Adversarial examples)는 기계 학습 모델이 잘못된 예측을 하게 하는 작고 의도적인 특성 변화를 가진 인스턴스입니다. 개념들이 매우 비슷하기 때문에 먼저 '반사실적 설명'에 관한 개념을 읽어보는 것을 추천 드립니다. 적대적 예제는 모델을 해석하는 것이 아니라 속이는 것을 목적으로 하는 반사실적 예제입니다. 왜 우리는 적대적 예제에 관심을 갖게 될까요? 이 예제는 실제 관련성이 없는 기계 학습 모델에서 파생된 의문투성이의 부산물일 뿐이지 않을까요? 대답은 분명히 "no"입니다. 적대적 예제는 아래와 같은 시나리오에서와 같이 기계 학습 모델을 공격에 취약하게 만듭니다. 자율주행 자동차가 정지 신호를 무시해 다른 차를 들이받습니다. 누군가 표지판 위에 그림을 붙여놓았는데, 이 표지판..

반사실적 설명은 인과적 상황을 "X가 벌어지지 않았다면 Y는 발생하지 않았을 것이다"라는 방식으로 설명합니다. "만약 내가 뜨거운 커피를 한 모금도 마시지 않았다면, 나는 내 혀에 화상을 입지 않았을 것이다."와 같은 예가 있을 것입니다. 사건 Y는 내가 혀를 데인 것입니다. 왜냐하면 X는 뜨거운 커피를 마셨기 때문입니다. 반사실적 생각을 하려면 관찰된 사실(예를 들어 뜨거운 커피를 마시지 않은 상황)과 모순되는 가상의 현실을 상상해야 하므로 반사실적(counterfactual)이라는 단어가 사용됩니다. 다른 동물들에 비해 반사실적으로 생각하는 능력은 사람의 영리함을 더욱 두드러지게 합니다. 해석할 수 있는 기계학습에서, 반사실적 설명을 사용하여 개별 인스턴스의 예측을 설명할 수 있습니다. "사건"은 인..