늦깎이 공대생의 인공지능 연구실

AI의 발전 속도가 참으로 빠르다는 것을 느끼다보니, 그 발전 흐름에 뒤쳐지지 않기 위해 지속적으로 트랜드를 따라고자 하는 것은 AI를 연구하는 사람으로서 하나의 사명이기도 합니다. 그러기에 한때는 최신 기술을 빠르게 받아들이는 것이 정도라고 생각했었으나, 최근에는 앞만 바라보다 정작 AI 기술에 대한 기초 상식을 소흘히 하지 않았나 하는 생각이 들기도 합니다. 이번 포스팅에서는 멀티 GPU 학습시 적용되는 기술 중 하나인 Synchronized Batch Normalization에 대해 설명드리도록 하겠습니다. 먼저 Synchronized Batch Normalization의 토대라 할 수 있는 Batch와 Normalization부터 살펴보도록 하겠습니다. 1. Batch (배치) Batch란 우리가..

시간차 학습(Temporal difference learning)이란 무엇인가? 시간차 학습(Temporal difference learning)은 미래에 예상되는 전체 보상을 예측하기 위한 목적으로  사용되며 강화 학습에서 매우 일반적으로 사용되는 비지도 학습 기법입니다. 물론 다른 수치를 예측하는 데도 사용하기도 합니다. 시간차 학습은 기본적으로 주어진 입력값의 미래 값에 종속된 수치를 어떻게 예측할 수 있는지 배우는 방법라 할 수 있습니다. 또한 연속된 중간 보상에서 행동 패턴의 장기적 유용성을 계산하는 데 사용되는 방법이라 할 수 있겠습니다.  기본적으로, 시간차 학습(TD Learning)은 연속 상태에서 변수의 미래 가치를 예측하는 데 중점을 둡니다. 시간차 학습은 보상 예측 문제를 해결하는 ..

Ground-truth는 기상학에서 유래된 용어로 어느한 장소에서 수집된 정보를 의미합니다. Ground-truth는 보통 '지상 실측 정보'로 해석되며 인공위성과 같이 지구에서 멀리 떨어져서 지구를 관찰하였을 때 지구의 전체적인 관점을 보는 것에는 넓은 시야를 가질 수 있지만 실제 지면의 구조를 세밀하게 보는 것은 빛이 구름이나 대기를 통과하게 되면서 실제 모습이 왜곡되어 제대로 파악하는 것은 어렵습니다. 이러한 상황에세 지상 정보를 직접 측정한다면 보다 정확한 정보를 얻을 수 있는 것입니다. 이러한 정보에 인공위성에서 관측된 데이터를 참조하여 사용한다면 좀 더 정확한 데이터를 얻을 수 있습니다. 기계학습의 관점에서 보았을때 Ground-truth는 학습하고자 하는 데이터의 원본 혹은 실제 값을 표현할..

Hypothesis set(가설 집합)이란, 탐색중인 Hypothesis space(가설 공간)을 나타내기 위한 집합으로서 모델 선택 및 구성의 선택을 탐색할 수 있는 출력에 입력을 사상(mapping)하기 위한 가능한 hypothesis(가설)의 space(공간)을 의미합니다. Hypothesis space(가설 공간)은 어떤 문제를 해결하는데 필요한 가능성이 있는 hypothesis 후보군의 집합을 의미하며 여기서 hypothesis set이 이에 해당한다고 할 수 있겠습니다. 아래의 그림을 통하여 자세히 설명해 드리도록 하겠습니다. 알 수 없는 목표 함수(Unknown target function)이 다음과 같이 주어지고 이들의 각 매칭들이 Training 예제들로 주어졌을 때 우리는 이를 딥러닝과..