늦깎이 공대생의 인공지능 연구실

구글브레인(Google Brain)과 오픈AI(OpenAI) 연구원들이 공동으로, "Unsolved Problems in ML Safety" 논문을 발표합니다. 최근 대규모 모델에 의해 도입된 사례와 같은 기계학습의 새로운 안전 문제로 인해 ML Safety에 대한 새로운 로드맵을 제공하고 현장에서 해결해야 할 기술적 문제를 개선하고자 합니다. 논문의 프리뷰로서, 이 논문의 방향의 소주제, 즉 위험 감수("강건함"), 위험 식별("모니터링") 및 조향 ML 시스템("정렬")에 대해 이야기 해봅니다. 강건함(Robustness) 강건함 연구는 극단적인 위험과 적대적 위협에 덜 취약한 시스템을 구축하는 것을 목표로 합니다. 강건함의 이 두 가지 문제는 롱테일 효과(Long tail)에 대한 강건함과 적대적 ..

지난 글에서 우리들은 컴퓨터 비전(Computer Vision)에서의 객체 감지(Objection Detection)의 발전 과정과 이를 이해하기 위한 기계학습 및 인공신경망의 개념에 대해 살펴 보았습니다. 본 글에서는 전체적인 관점에서의 YOLO 객체 감지 알고리즘이 발전하였던 과정들을 작성하였습니다. 각 버전별 YOLO 시리즈의 구조에 대해 공부해보고자 하시는 분들께서는 해당 버전의 논문 혹은 공식 웹사이트를 참조해주시길 바랍니다. YOLO: You Only Look Once 2016년 6월 27일, 미국 라스베이거스에서 열린 컴퓨터비전 및 패턴인식 학회인 CVPR 2016에서 YOLO가 공개되었습니다. 워싱턴 대학교 컴퓨터공학부에서 대학원을 다니던 중이었던 조셉 레드몬(Joseph Redmon)이 ..

딥러닝 기반 인공지능 알고리즘의 등장으로 2021년 현재 다양한 분야에서 인공지능이 적용되어 활용되고 있는 시대가 되었습니다. 특히 이미지에서 원하는 정보를 찾기 위한 Vision 분야에서 인공지능의 발전은 실로 놀라울 정도의 속도로 발전하고 있지요. 아마도 실제 눈으로 결과를 쉽게 확인할 수 있어 발전되는 모습이 눈에 확연히 드러나기 때문에 더욱 그렇게 느껴지는 것일지도 모릅니다. 이번 포스팅에서는 이미지의 객체 감지(Object Detection)의 등장 배경 및 개요에 대해 다루고자 합니다. 그리고 객체 감지 알고리즘 YOLO의 원리를 통해 객체 감지 인공지능 기술에 대해 설명드리도록 하겠습니다. 이미지로부터 정보를 얻기 위한 방법 - Computer Vision(컴퓨터 비전) 컴퓨터 과학자들이 인..

지금까지 특성 속성을 통해 블랙박스 모델을 설명하기 위해 많은 방법들을 다루어 보았습니다. 그러나 몇가지 방법의 경우 특성 기반 접근으로 인한 한계를 가지고 있습니다. 첫째, 특성은 해석력의 관점에서 반드시 사용자 친화적이지만은 않습니다. 예를 들어, 이미지 안의 단일 픽섹의 중요도는 보통 의미 있는 해석을 전달하지 않습니다. 둘째, 특성 기반 설명에 대한 표현은 특성의 갯수에 제약을 받습니다. 개념 기반의 접근은 방금 언급하였던 두 가지 한계에 대해 설명합니다. 개념은 색, 객체나 심지어 어떤 아이디어 같은 어떠한 추상이 될 수 있습니다. 비록 신경망이 명시적으로 주어진 개념을 가지고 학습을 하지 않을 수 있는 사용자 정의 개념을 감안하였을 때, 개념 기반 접근법은 신경망에 의해 학습된 잠재 공간 안에..

픽셀 속성(Pixel Attribution) 방법은 신경망에 의한 특정 영상 분류와 관련된 픽셀을 강조 표시합니다. 다음의 이미지는 이러한 설명의 예입니다. 이 포스팅의 뒷부분을 통해 특정한 이미지에서 무슨 일이 일어나고 있는지 볼 수 있습니다. 픽셀 속성법은 감도 지도(Sensitivity Map), 중요영역 지도(Saliency map), 픽셀 속성 지도(Pixel Attribution Map), 기울기 기반 속성 방법(Gradient-based Attribution), 특성 관련성(Feature Relevance), 특성 속성(Feature Attribution), 특성 기여(Feature Contribution) 등 다양한 이름으로 확인할 수 있습니다. 픽셀 속성은 특성 속성의 특수한 경우이지만,..

합성곱 신경망(Convolutional Neural Netowrk)은 원본 이미지의 픽셀에서 추상적인 특성과 개념을 학습합니다. 특성시각화(Feature Visualization)은 활성 최대화에 의해 학습된 특성들을 시각화합니다. 신경망 해부(Network Disserction)는 신경망 단위(채널)를 사람의 개념을 기준으로 분류합니다. 심층신경망(Deep Neural Network)은 숨겨진 레이어인 은닉층(Hidden layer) 내의 고차원적인 특성을 학습합니다. 이는 가장 큰 장점이자 특성 공학(Feature Engineering)의 필요성을 줄여줍니다. 여러분이 SVM(Support Vector Machine)으로 이미지 분류기를 만들려 한다고 가정해봅니다. 원본이미지의 픽셀 메트릭스값은 SV..

이 포스팅은 신경망에 대한 해석 방법에 초점을 두고자 합니다. 이 방법은 신경망에 의해 학습된 특성과 개념을 시각화하고, 각각의 예측을 설명하며, 신경망을 단순화합니다. 특히 딥러닝은 이미지 분류와 언어 번역과 같은 이미지와 텍스트를 포함하는 작업에서 매우 성공적인 결과를 보입니다. 심층신경망의 성공 사례는 2012년, ImageNet 이미지 분류 챌린지 대회에서 딥러닝 접근 방식으로 승리하면서 시작되었습니다. 그 이후, 우리는 점점 더 많은 가중치 매개 변수를 가진 더 깊은 신경망으로 향하는 추세와 함께 딥 뉴럴 아키텍처의 캄브리아기 대폭발과 같은 상황을 목격했습니다. 신경망으로 예측을 하기 위해, 데이터 입력은 학습된 가중치와 비선형 변환을 통해 많은 곱셈 레이어를 통과합니다. 하나의 예측은 신경망의..

기계학습 모델은 궁극적으로 학습 데이터의 산물이며 학습 인스턴스 중 하나를 삭제하면 결과 모델에 영향을 미칠 수 있습니다. 학습 데이터에서 학습 인스턴스를 삭제하면 모델의 매개 변수나 예측이 크게 변경될 때 우리는 학습 인스턴스를 "영향력"이라고 합니다. 영향력 있는 학습 인스턴스를 식별함으로써, 우리는 기계학습 모델을 "디버그"하고 그들의 행동과 예측을 더 잘 설명할 수 있습니다. 이 장에서는 영향력 있는 인스턴스를 식별하는 두 가지 방법, 즉 삭제 진단 및 영향 함수를 보여 줍니다. 두 가지 접근법 모두 강력한 통계량을 기반으로 하며, 이 통계량은 이상치(Outlier) 또는 모델 가정 위반의 영향을 덜 받는 통계적 방법을 제공합니다. 강력한 통계량은 데이터의 강력한 추정치(예: 평균 추정치 또는 예..