늦깎이 공대생의 인공지능 연구실

[용어정리] Confident Learning(신뢰 학습)

Justin T. — Sun, 2 Aug 2026 00:21:46 +0900

"하이퍼파라미터를 밤새 튜닝하고, SOTA(State-of-the-Art) 아키텍처로 바꿔봐도 모델 성능이 더이상 오르지 않고 꺾이지 않는 벽에 부딪힌 적 있으신가요?"

AI 연구를 수행하시는 분들이 보통 모델 성능이 안 나오면 레이어를 더 쌓거나 손실 함수(Loss Function)를 수정하곤 합니다. 하지만 원인이 모델이 아니라, 우리가 신뢰하고 넣은 '데이터 라벨' 그 자체에 있다면 어떨까요?

실제로 우리가 당연하게 정답으로 믿고 쓰던 ImageNet 데이터셋에만 10만 개가 넘는 라벨 오류가 존재합니다. 잘못된 정답을 학습하면서 100%의 성능을 바라는 것은 고장난 정답지를 주고 100점을 기대하는 것과 같습니다.

제 연구분야 중 하나인 제품 결함 검사 분야는 사람의 눈으로도 식별하기 어려운 미세한 결함들을 AI가 찾아내는 역할을 합니다. 하지만 작업자가 Labeling을 진행하는 과정에서 잘못 판단하여 엉뚱한 Class에 해당하는 Label을 달거나, 피로 누적으로 Labeling 과정에서 결함을 놓치는 일이 발생하곤 합니다. 이렇게 오염된 Label을 학습한 AI 모델은 현장에 투입되었을 때 실제 결함을 놓쳐버리거나, 멀쩡한 제품을 결함으로 판단하는 오탐지(False Positive) 문제를 야기하게 됩니다.

오늘 소개할 신뢰 학습(Confident Learning)은 무작정 모델만 고치던 기존 방식을 벗어나, "데이터 중심 AI(Data-Centric AI)" 관점에서 데이터 속 가짜 정답을 신속하고 정확하게 솎아내는 핵심 기술입니다.

우리가 믿었던 데이터셋의 배신

실제 표준 데이터셋에서 발생하는 Label Noise는 크게 3가지 형태로 나타납니다.

Label Errors: 여우 사진인데 '개'로 Label되어 있는 것처럼 명백히 잘못 지정된 경우
Multi-label Issues: 한 이미지 안에 개와 고양이가 모두 있는데 '개' 하나로만 Label된 경우
Ontological Issues: '욕조(Bathtub)'와 '대야(Tub)'처럼 모호하거나 포괄적인 클래스 정의 때문에 생긴 노이즈

잘못된 정답지를 가지고 밤새 학습시킨 AI 모델에게 현장에서 100%의 정답률을 기대하는 것은 당연히 어불성설입니다. Garbage In, Garbage Out이라는 오래된 격언처럼, 데이터셋의 배신을 해결하지 않고서는 아무리 모델 구조를 바꿔도 한계에 부딪힐 수밖에 없습니다.

Confident Learning이란?

이처럼 "노이즈가 섞인 데이터 속에서 진짜 정답과 잘못된 Label을 찾아내고, 깨끗한 데이터로 모델을 효율적으로 학습시키는 데이터 중심(Data-Centric) AI 기법"이 바로 신뢰 학습(Confident Learning, CL)입니다.

기존의 노이즈 Label 대응 방식은 손실 함수(Loss Function)를 수정하여 노이즈에 견디게 만들거나(Loss Reweighting), 복잡한 모델 아키텍처로 노이즈를 학습하지 못하게 방어하는 데 치중했습니다. 하지만 이는 학습 과정에서 오차(Error)가 누적되거나 복잡도가 커지는 한계가 있었습니다.

반면 Confident Learning은 "모델이 출력하는 예측 확률(Predicted Probabilities)"과 "기존 노이즈 라벨(Noisy Labels)"의 관계를 분석하여, Data Label의 진짜 결합 분포(Joint Distribution)를 직접 추정해냅니다.

잠깐, '결합 분포(Joint Distribution)'란 무슨 뜻일까요?

쉽게 말해 "데이터에 실제로 적혀 있는 Label(A)과, AI가 판단한 진짜 정답(B)이 동시에 일어날 확률"을 표 하나로 정리한 것입니다. 예를 들어 (추론 결과: 개, 진짜 정답: 여우)라는 사건이 전체 데이터셋에서 얼마나 자주 발생하는지 확률로 나타낸 지도인 셈이죠. 이 지도를 완성하면 Label이 올바르게 적힌 비율(대각선)뿐만 아니라, "어떤 클래스가 어떤 클래스로 잘못 적혀 오염되었는지(비대각선)" 그 패턴을 한눈에 파악할 수 있게 됩니다.

Confident Learning의 3가지 핵심 원칙

Confident Learning의 기본 논문(Northcutt et al.)에서 제시하는 3가지 핵심 축은 Prune(가지치기), Count(카운팅), Rank(우선순위 정렬)입니다.

1. Prune (가지치기): 손실 함수 변경 대신 오염 데이터 직접 제거

기존 방식의 문제: 손실 함수에 가중치를 부여하거나(Loss Reweighting) 모델 내부에서 Label을 재예측(Re-labeling)하는 반복 알고리즘(Iterative) 방식은 잘못된 초기 예측이 모델 전체 학습을 망치는 '오류 전파(Error Propagation)' 현상을 겪기 쉽습니다.
CL의 해결책: Confident Learning은 노이즈 데이터를 '직접 가지치기(Soft/Hard Pruning)'하여 데이터셋 자체를 정제합니다. 모델의 코드를 수정할 필요 없이, 단순히 깨끗해진 데이터셋만 가지고 표준 Cross-Entropy Loss로 안정적인 학습이 가능해집니다.

2. Count (확신 기반 카운팅): 각 클래스별 임계값(Threshold)을 통한 오염도 추정

AI모델이 특정 데이터를 다른 Class라고 예측하는데, 이것이 AI모델의 실수인지 아니면 Label이 틀린 것인지 어떻게 판단할까요?

임계값(Threshold) 산출 원리: 각 클래스 $j{}$에 속한 데이터들에 대해, 모델이 클래스 $j{}$라고 판단한 평균 예측 확률을 해당 클래스의 '확신 기준선 $t _j $'으로 설정합니다.
예시: '개' 클래스 데이터들에 대해 모델이 낸 예측 확률들의 평균이 0.8이라면, '개' 클래스의 임계값 $t_{\text{dog}} = 0.8$이 됩니다.
카운팅 기준: 만약 실제 Label은 '여우'로 되어 있는 어떤 사진을 모델이 '개'일 확률 0.85로 예측했다면, 이 확률은 '개' 클래스의 기준선 0.8 을 넘어섭니다. Confident Learning은 이 데이터를 "실제로는 개이지만 여우로 잘못 Labeling된 데이터"로 간주하고 '결합 카운트 Matrix'의 (여우, 개) 칸의 숫자를 1 올립니다.

3. Rank (우선순위 정렬): 확률값의 절대적 수치에 의존하지 않는 안전성

확률 정규화 문제 극복: 딥러닝 모델이 출력하는 Softmax 확률값은 종종 과잉 확신(Over-confidence)되거나 덜 정규화(Unnormalized)되어 있을 수 있습니다.
CL의 해결책: Confident Learning은 예측 확률값 자체를 절대적인 가중치로 사용하는 대신, 라벨 오류일 가능성이 높은 순서대로 데이터의 순위(Rank)를 매깁니다. 구글의 PageRank 알고리즘처럼 상대적 정렬 방식을 취하기 때문에, 확률 수치 자체에 약간의 오차가 있더라도 라벨 오류 데이터를 매우 안정적으로 찾아냅니다.

직관적으로 이해하는 결합 분포 Matrix 산출 방식

Confident Learning이 수십만 개의 데이터 속에서 오염도를 추정해내는 전체 과정은 다음 3단계로 요약할 수 있습니다.

1단계: OOF(Out-of-Fold) 예측 확률 수집

모델이 자기가 학습한 데이터를 그대로 평가하면 과적합(Overfitting)으로 인해 Label 오류를 찾을 수 없습니다. 따라서 교차 검증(Cross-Validation)을 통해 모델이 학습할 때 보지 못했던 데이터들에 대한 객관적인 예측 확률 행렬을 생성합니다.

2단계: 확신 기반 결합 행렬(Confident Joint Matrix) 구축

클래스별 임계값을 바탕으로 카운팅을 진행하여 [주어진 Label $\tilde{y}$] × [진짜 Label $y^*$] 형태의 행렬을 만듭니다.

대각선 성분 $(i, i)$: 올바르게 라벨링된 데이터 수
비대각선 성분 $(i, i) $: 라벨 $\mathit{i} $로 적혀있지만 실제로는 $j{} $인 오류 데이터 수

3단계: 상위 오류 데이터 제거 및 모델 재학습

행렬에서 추정한 비대각선 성분의 개수만큼, 각 셀에서 오답 확신도(예: $P(y^*=j) - P(\tilde{y}=i)$)가 가장 높은 순서대로 데이터를 제거하거나 정정한 후 모델을 재학습시킵니다.

Confident Learning의 실무적 장점

하이퍼파라미터에서 자유로움 (Hyperparameter-free): 사람이 임의로 오류 판단 기준(e.g. "확률 0.9 이상만 오류로 보자")을 정할 필요 없이, 각 클래스별 데이터 분포에 따라 임계값이 자동 산출됩니다.
대규모 데이터셋에서의 빠른 처리 속도: 단순 반복 연산이 아닌 카운팅 및 정렬 기반 알고리즘이므로, ImageNet(130만 장 데이터) 수준에서도 Label 오류를 검색하는 데 단 3분밖에 걸리지 않습니다.
모델 아키텍처 독립성 (Model-Agnostic): 딥러닝(CNN, ViT, ResNet 등)뿐만 아니라 XGBoost, LightGBM, Random Forest 등 예측 확률값(Probabilities)을 출력할 수 있는 모든 머신러닝 알고리즘에 바로 적용할 수 있습니다.
오픈소스 패키지 cleanlab 지원: MIT researchers가 개발한 Python 라이브러리 cleanlab을 이용하면 단 3~4줄의 코드로 기존 PyTorch/Scikit-Learn 코드베이스에 즉시 통합할 수 있습니다.

머신러닝 생태계는 이제 단순히 '더 크고 복잡한 모델'을 만드는 경쟁에서, '더 깨끗하고 고품질의 데이터'를 만드는 경쟁으로 패러다임이 이동하고 있습니다.

신뢰 학습(Confident Learning)은 복잡한 하이퍼파라미터 튜닝 없이도, 단 몇 분 만에 데이터셋의 오염도를 파악하고 정제할 수 있는 매우 강력한 무기입니다. 특히 오픈소스 패키지인 cleanlab을 활용하면, 현재 진행 중인 프로젝트에도 손쉽게 적용해볼 수 있습니다.

만약 지금 다루고 계신 모델의 성능이 정체되어 있다면, 코드 창을 잠시 닫고 데이터셋의 라벨부터 검증해보시는 건 어떨까요? 어쩌면 여러분의 모델은 이미 최선을 다하고 있었고, 진짜 문제는 데이터에 있었을지도 모릅니다.

참고자료

https://github.com/cleanlab/cleanlab

GitHub - cleanlab/cleanlab: Cleanlab's open-source library is the standard data-centric AI package for data quality and machine

Cleanlab's open-source library is the standard data-centric AI package for data quality and machine learning with messy, real-world data and labels. - cleanlab/cleanlab

github.com

https://dcai.csail.mit.edu/2024/label-errors/

Label Errors and Confident Learning

Learn how to algorithmically identify mislabeled data.

dcai.csail.mit.edu

시각 AI를 위한 Active Learning(3) - 산업 현장의 혁신과 실제 적용 사례

Justin T. — Wed, 1 Jul 2026 00:16:20 +0900

지난 1부와 2부에서는 Active Learning(AL)의 기본 개념부터, 픽셀 단위의 정밀한 예측이 요구되는 세맨틱 세그멘테이션(Semantic Segmentation) 환경에서 AL이 어떻게 수학적 지표와 결합하여 작동하는지 살펴보았습니다.

'자신이 모르는 데이터만 영악하게 골라 학습하는' 이 기술은 단순한 연구실의 이론을 넘어, 치열한 산업 현장에서 이미 수많은 혁신을 만들어내고 있습니다. 이번 3부에서는 글로벌 기업들이 Active Learning을 실제 비즈니스에 어떻게 적용하여 한계를 돌파하고 있는지 구체적인 사례를 통해 알아보겠습니다.

자율주행: 치명적인 '엣지 케이스(Edge Case)' 정복

자율주행 자동차의 비전 AI는 도로, 보행자, 신호등을 픽셀 단위로 완벽하게 구분해야 합니다. 자율주행 기업들은 매일 수백만 km의 주행 데이터를 수집하지만, 맑은 날씨의 뻥 뚫린 직진 도로 데이터는 단순하고 수집하기 쉬운 데이터이기에 모델 성능 향상에 더 이상 큰 도움이 되지 않습니다. 정작 사고를 유발하는 것은 폭우가 쏟아지는 야간 도로, 안개 낀 날씨, 형태가 특이한 특수 차량 등 드물게 발생하는 '엣지 케이스'들입니다.

NVIDIA의 야간 보행자 인식 개선 사례

글로벌 AI 선도 기업 NVIDIA는 자율주행 모델의 한계를 극복하기 위해 Active Learning을 적극 활용하고 있습니다. 모델이 스스로 판단하기에 가장 불확실성(Uncertainty)이 높은 상황, 즉 '어두운 밤이나 악천후 속에서 보행자인지 배경인지 헷갈리는 프레임'만을 자동으로 추출해냅니다. 전문가들은 이렇게 선별된 극소수의 까다로운 데이터에만 집중적으로 라벨링을 수행합니다. 그 결과, 전체 데이터를 무식하게 다 학습시킬 때보다 훨씬 적은 비용과 시간으로 야간 보행자 인식률을 비약적으로 끌어올릴 수 있었습니다.

아래의 NVIDIA 공식 블로그에서 관련된 내용을 확인하실 수 있습니다.

NVIDIA Blogs: What Active learning For Self Driving Technology Mean?

Active learning is a training data selection method for machine learning that automatically finds this diverse data.

blogs.nvidia.com

의료 AI 진단: 전문의를 'AI 훈련의 주체(Physician-in-the-loop)'로 이끄는 Active Learning

방사선학 분야에서 AI는 질병 분류, 세그멘테이션(Segmentation) 등 다양한 영역을 지원하며 빠르게 발전하고 있습니다. 하지만 고성능 AI를 유지하기 위해서는 여전히 비용이 많이 들고 시간 소모가 큰 '전문가의 라벨링 데이터'가 필수적입니다. 수만 장의 X-ray, CT, MRI 영상을 진료로 바쁜 영상의학과 전문의들이 일일이 확인하며 라벨링을 하는 것은 현실적으로 불가능에 가깝습니다.

'단순 Labeler'에서 'AI 훈련의 주체'로 (Physician-in-the-loop)

최근 의료 AI 업계에서는 능동 학습을 통해 영상의학과 전문의들을 단순한 데이터 검토자가 아닌, AI 학습 과정에 직접 참여하는 핵심 주체(Physician-in-the-loop)로 변화시키고 있습니다. 기존처럼 무작위로 할당된 데이터를 기계적으로 판독하는 대신, 능동 학습 환경에서는 AI가 전체 데이터를 먼저 분석한 뒤 질병 판단이 가장 모호하거나 '정보 가치가 높은(Informative)' 소수의 엣지 케이스만 선별하여 전문의에게 전달합니다.

관련 연구 및 기사에 따르면, 이러한 전략을 통해 전체 데이터의 5~50%만 라벨링하고도 전체를 학습시킨 모델과 동등한 정확도를 달성할 수 있었습니다. 특히 전문의가 백지상태에서 라벨링을 하는 것이 아니라 AI가 1차적으로 생성한 결과를 검토하고 수정하는 방식을 더해, 전체 라벨링 작업 부담을 80% 이상 획기적으로 줄이는 성과를 보였습니다.

기존 워크플로우(PACS)와의 통합과 직관적인 피드백

이러한 능동 학습이 의료 현장에서 성공하기 위한 핵심은 기존 병원 시스템, 특히 의료 영상저장전송시스템(Picture Archival and Communication System)과의 매끄러운 통합에 있습니다. 전문의들은 복잡한 라벨링 도구를 새로 익힐 필요 없이, 일상적인 판독 화면 내에서 바운딩 박스(Bounding box), 가벼운 스케치(Scribbles), 또는 단순한 클릭 몇 번만으로 AI의 예측을 승인(Accept), 거절(Reject), 또는 수정(Refine)할 수 있습니다.

전문의의 이러한 피드백은 모델 훈련에 다시 반영되어, 새로운 환자군의 특성이나 데이터 변화(Data drift)에 AI가 유연하게 적응하도록 돕습니다. 한 메타 분석에 따르면 PACS에 통합된 AI는 진단 정확도를 높일 뿐만 아니라 진단 소요 시간을 최대 90%까지 단축시키는 것으로 나타났습니다.

결과적으로 능동 학습은 영상의학과 전문의의 귀중한 '시간' 자원을 가장 효율적으로 배분하면서도, 그들의 고도화된 전문성을 모델의 취약점 보완에 직접 투입하여 환자 치료의 질을 높이는 실용적인 열쇠가 되고 있습니다.

Active Learning Brings Radiologists into AI Training

Artificial intelligence now supports reconstruction, segmentation, synthetic image generation, disease classification, triage and scheduling across ra...

healthmanagement.org

MLOps 및 데이터 플랫폼의 '핵심 엔진'으로 안착

Active Learning의 경제적 가치가 증명되면서, 이제는 AI 모델을 개발하는 글로벌 플랫폼들이 아예 이 기능을 기본 시스템으로 탑재하고 있습니다.

Amazon SageMaker Ground Truth: AWS의 머신러닝 플랫폼인 SageMaker는 데이터 라벨링 서비스에 Active Learning 기반의 자동 라벨링(Automated Data Labeling) 기능을 내장했습니다. 모델이 확신하는 데이터는 자동으로 라벨링을 처리하고, 불확실성이 높은 데이터만 사람에게 할당합니다. AWS에 따르면 이 방식을 통해 기업들은 데이터 라벨링 비용을 최대 40~60%까지 절감하고 있습니다.

Scale AI와 같은 데이터 전문 기업의 성장: 자율주행 및 생성형 AI 데이터 구축으로 기업 가치가 수십조 원에 달하는 Scale AI 역시, 인간의 라벨링 작업과 AI의 사전 분류 및 능동 학습을 결합한 하이브리드 파이프라인을 통해 전 세계 AI 기업들에게 고품질의 데이터를 제공하고 있습니다.

데이터 중심 AI(Data-Centric AI)를 돕는 도구들

현업의 AI 엔지니어들은 이처럼 복잡한 능동 학습 파이프라인을 효율적으로 운영하기 위해 전용 데이터셋 큐레이션 도구들을 활용합니다.

대표적으로 FiftyOne과 같은 오픈소스 툴이 널리 쓰이고 있습니다. 이러한 도구들은 단순히 이미지를 모아두는 것을 넘어, AI 모델이 어떤 사진의 어떤 픽셀을 가장 헷갈려 하는지(엔트로피 등)를 시각적으로 보여줍니다. 또한, 인간 작업자가 실수로 잘못 칠한 라벨링 오류를 모델의 예측값과 비교해 자동으로 찾아내 줍니다.

즉, 기업들은 이러한 툴을 활용해 "데이터를 무조건 많이 모으자"는 과거의 방식에서 벗어나, "우리 모델이 가장 약한 부분의 데이터만 핀셋처럼 골라내어 품질을 높이자"는 데이터 중심 AI(Data-Centric AI) 전략을 실현하고 있는 것입니다.

마치며: 양(Quantity)의 시대에서 질(Quality)의 시대로

3부작에 걸쳐 살펴본 Active Learning은 AI가 스스로 성찰하고 진화하는 '지능의 선순환' 과정입니다. 무한히 쏟아지는 데이터의 홍수 속에서, 모델 스스로 무엇을 알고 무엇을 모르는지 판단하게 만드는 기술은 향후 AI 경쟁력의 핵심이 될 것입니다.

비전 AI의 한계로 여겨졌던 데이터 구축의 병목 현상이 능동 학습을 통해 해소되면서, 앞으로 우리는 훨씬 더 적은 비용으로 더욱 안전하고 정교한 인공지능 시스템을 일상 곳곳에서 마주하게 될 것입니다.

시각 AI를 위한 Active Learning(2) - Segmentation과 Active Learning의 기술적 결합

Justin T. — Wed, 3 Jun 2026 17:39:43 +0900

1부에서 우리는 능동 학습(Active Learning, AL)이 '모르는 것만 골라 공부하는 영희의 공부법'과 같다는 것을 확인했습니다. 이제 한 걸음 더 들어가 봅시다. 만약 AI가 공부해야 할 대상이 단순한 사진 한 장이 아니라, 사진 속 모든 점(Pixel)의 의미를 파악해야 하는 'Semantic Segmentation'이라면 영희는 어떻게 움직여야 할까요?

Semanitc Segmentation이란?

우리가 흔히 아는 AI의 '이미지 분류(Classification)'는 사진 한 장을 보고 "이건 강아지야" 혹은 "이건 고양이야"라고 사진 전체에 대한 정답을 딱 하나만 내놓습니다. 비유하자면 '객관식 1문제'를 푸는 것과 같습니다. AI 입장에서도, 정답을 가르쳐주는 사람 입장에서도 비교적 단순한 작업이죠.

하지만 세맨틱 세그멘테이션(Semantic Segmentation)은 완전히 다른 차원의 문제입니다. 사진 속 사물이 '무엇'인지 맞히는 것을 넘어, 그 사물이 '어디서부터 어디까지인지' 형태와 윤곽을 픽셀(Pixel) 단위로 정확히 구분해야 합니다.

분류(Classification): "이 사진은 고양이입니다." (정답 1개)
세그멘테이션(Segmentation): "이 사진의 2만 개 픽셀 중, 0번은 배경이고, 1번은 고양이입니다. 그 중 고양이는 1만개의 픽셀로 구성되어 있습니다.." (정답 2만 개)

마치 텅 빈 캔버스에 수백만 개의 점을 찍어 완성하는 '정밀한 점묘화'를 그리는 것과 같습니다. 사물의 윤곽선을 따라 한 치의 오차 없이 오려내듯 Labeling을 해야 하니, 전문가가 사진 한 장의 정답지를 만드는 데 수십 분에서 몇 시간이 훌쩍 넘어가기도 합니다.

정답지를 만드는 데 이렇게 엄청난 시간과 비용이 들다 보니, AI에게 아무 사진이나 무작정 던져주고 공부하라고 할 수는 없습니다. 수만 장의 데이터 중에서 "어떤 사진을 줘야 AI가 가장 성능이 빨리 오를까?"를 영악하게 찾아내는 능동 학습(Active Learning)이 선택이 아닌 필수가 되는 이유가 바로 여기에 있습니다. 그렇다면 이 정밀한 점묘화의 세계에서 영희(AI)는 구체적으로 어떻게 움직여야 할까요?

세그멘테이션 관점에서 본 Active Learning의 5대 핵심 요소

세맨틱 세그멘테이션은 이미지 내의 모든 픽셀에 클래스(예: 사람, 자동차, 도로)를 부여하는 정교한 작업입니다. 마치 밑그림만 그려진 컬러링북의 모든 칸을 빈틈없이, 선을 넘지 않고 색칠하는 것과 같습니다. 이 환경에서 AL의 5가지 요소는 다음과 같이 정의됩니다.

① 모델(Learner): 정교한 붓질을 배우는 '학생'
여기서 모델은 DeepLabV3+, SegFormer, 혹은 U-Net과 같은 딥러닝 알고리즘입니다. 이 학생은 이미지를 보고 "이 픽셀은 80% 확률로 '도로'이고, 20% 확률로 '인도'"라고 판단하는 법을 배웁니다.

② 데이터 풀(Unlabeled Pool): 아직 색칠되지 않은 '수만 장의 밑그림'
현장에는 정답(Annotation)이 없는 원본 이미지들이 산더미처럼 쌓여 있습니다. 세그멘테이션용 정답지는 만드는 데 시간이 매우 오래 걸리기 때문에(이미지 한 장당 수십 분에서 수 시간), 이 거대한 풀에서 '진짜 공부가 될 그림'을 찾는 것이 핵심입니다.

③ 선택 전략(Query Strategy): "어디가 제일 헷갈리니?"를 묻는 '기준'
AL의 심장입니다. 세그멘테이션에서는 단순히 "이 사진 모르겠어요"라고 하지 않습니다. 대신 '엔트로피(Entropy)'나 '신뢰도(Confidence)' 같은 수학적 지표를 사용합니다.

비유: 학생이 색칠하다가 경계선 부분에서 "여기는 나무인가요, 아니면 배경인가요?"라며 붓을 멈추는 지점을 찾아내는 공식입니다.

④ 오라클(Oracle): 픽셀 하나하나의 정답을 아는 '선생님'
모델이 질문을 던지면, 숙련된 작업자(Annotator)가 마우스를 들고 정밀하게 영역을 지정해 줍니다. 세그멘테이션의 오라클은 가장 고된 업무를 수행하는 전문가입니다.

⑤ 정답셋(Labeled Set): 검토가 끝난 '모범 답안지'
선생님의 피드백이 완료된 데이터들은 따로 모여 모델의 '오답 노트'이자 차세대 학습서가 됩니다.

단계별로 보는 Active Learning의 작동 프로세스

이제 이 요소들이 맞물려 어떻게 시스템이 굴러가는지, 그 5단계의 순환 과정을 살펴봅시다.

[1단계] 기초 다지기 (Initial Bootstrapping)

먼저, 무작위로 고른 아주 적은 양(예: 전체의 1~5%)의 이미지에 정답을 달아 모델을 가볍게 학습시킵니다. 일상에 비유하자면, 본격적인 문제집 풀이에 앞서, 예제 문제 몇 개를 풀며 감을 잡는 과정입니다.

[2단계] 추론 및 불확실성 측정 (Inference & Uncertainty Estimation)

학습된 모델에게 정답이 없는 수만 장의 데이터를 보여줍니다. 모델은 각 이미지의 모든 픽셀에 대해 자기 나름의 점수를 매깁니다. 이때 모델은 단순히 예측만 하는 게 아니라, 자신의 예측에 얼마나 확신이 없는지를 수치화합니다. 특정 픽셀의 확률값이 여러 클래스에 비슷하게 걸쳐 있다면(예: 고양이 49%, 강아지 51%), 그 픽셀은 불확실성(Uncertainty)이 매우 높은 상태입니다.

[3단계] 대표성 있는 샘플 선별 (Sampling)

불확실성이 높은 이미지들을 추려냅니다. 하지만 헷갈리는 것만 다 뽑으면 안 됩니다. 비슷한 문제만 계속 풀면 지식이 편향되기 때문입니다. '코어셋(Core-set)' 전략 등을 사용해, 전체 데이터의 특징을 잘 대변하면서도 모델이 어려워하는 '가성비' 높은 데이터들만 골라냅니다. 이는 마치 수학 문제집에서 비슷한 유형은 하나만 고르고, 내가 유독 약한 기하학과 확률 문제를 골고루 섞어 '나만의 오답노트'를 만드는 것과 같습니다.

[4단계] 인간의 개입 (Human-in-the-loop Labeling)

선별된 이미지들을 오라클(인간)에게 보냅니다. 작업자는 모델이 가장 헷갈려 했던 경계면이나 복잡한 객체들을 정교하게 라벨링합니다. 능동 학습 덕분에 작업자는 가치 없는 데이터(이미 모델이 잘 아는 데이터)에 시간을 낭비하지 않아도 됩니다.

[5단계] 점진적 학습 (Incremental Learning)

새로 정답이 달린 데이터들을 기존 학습 데이터와 합쳐 모델을 다시 훈련시킵니다.

결과: 모델은 이제 자신이 틀렸던 부분, 헷갈려 했던 '경계선 픽셀'들에 대해 정답을 알게 되었습니다. 모델의 지능은 한 단계 점프하게 됩니다.

왜 세그멘테이션에서 AL이 특히 중요한가?

단순 분류(Classification) AI는 "이 사진은 개입니다"라고 한 문장만 말하면 되지만, 세그멘테이션 AI는 수백만 개의 픽셀 각각에 대해 대답해야 합니다.

만약 우리가 Active Learning 없이 무작위로 데이터를 학습시킨다면, 모델은 '이미 잘 알고 있는 맑은 하늘'이나 '탁 트인 아스팔트 도로' 이미지의 픽셀을 학습하는 데 대부분의 시간을 허비하게 될 것입니다.

능동 학습 시스템을 도입하면, 모델은 "하늘과 구름의 경계", "보행자의 옷색깔과 비슷한 배경" 등 지능 성장에 결정적인 픽셀들만 집중적으로 학습하게 됩니다. 이것이 바로 적은 데이터로도 전문가 수준의 정확도를 달성할 수 있는 기술적 비결입니다.

결론

2부에서는 능동 학습이 세맨틱 세그멘테이션이라는 복잡한 환경에서 어떻게 수학적 지표와 인간의 지혜를 결합하는지 살펴보았습니다. 결국 이 시스템의 핵심은 '질문할 줄 아는 AI'를 만드는 데 있습니다.

다음 3부에서는 Active Learning이 적용된 사례들에 대해 다루도록 하겠습니다.

[용어정리] Channel

Justin T. — Fri, 1 May 2026 23:24:08 +0900

비전 AI 공부를 하다 보면 누구나 한 번쯤 '채널(Channel)' 개념이 굉장히 간단함에도 분명하게 이해를 하지 못해 고개를 갸우뚱하곤 합니다. 기초 중의 기초지만, 이 개념이 흔들리면 AI 자체를 이해하기 어렵게 됩니다.

비전 AI 연구 10년 차인 저조차 이번 포스팅을 준비하며 개념을 더욱 명확히 다질 수 있었는데요. 그만큼 놓치기 쉬운 채널의 핵심, 지금부터 확실하게 짚어드리겠습니다.

Channel이란 무엇인가?

먼저, 국어사전에서 '채널'의 의미를 확인해봅시다.

채널(Channel)

명사

어떠한 일을 이루는 방법이나 정보가 전달되는 경로.(외교 채널.)
정보·통신 텔레비전ㆍ라디오ㆍ무선 통신 따위에서, 주파수대에 따라 각 방송국에 배정된, 전파의 전송(傳送) 통로.(스포츠 채널.)
정보·통신 중앙 처리 장치 대신에 입출력 동작을 수행하는 장치

사전적 의미로서 이해하자면, Channel은 어떠한 정보들이 전달되는 통로로 이해할 수 있습니다. 우리들이 흔히 말하는 유튜브 '채널'을 예로 들자면 각 채널별로 우리들은 각각 다른 영상들을 볼 수 있는 것으로 이해하면 좋을것 같습니다.

AI의 관점에 'Channel'은 데이터가 세상을 바라보는 '관점의 개수'로서, 비전 AI가 가장 먼저 구독하는 기본 채널은 3개입니다. 바로 Red(빨강), Green(초록), Blue(파랑) 채널이지요.

위 그림에서 Red(빨강) 채널은 "이 화면에서 빨간색이 어디에, 얼마나 진하게 있는지"에 대한 정보만 나옵니다. Green(초록)과 Blue(파랑) 채널 또한 각각 초록색과 파란색 정보만 담당합니다. 이 3가지 채널을 동시에 틀면(겹치면), 우리가 보는 화려한 컬러 영상이 완성됩니다. 우리가 여러 유튜브 채널을 보며 세상을 이해하듯, AI도 여러 '데이터 채널'을 합쳐서 하나의 이미지를 이해하는 것이지요.

AI에게 있어 Channel의 역할은?

우리들이 유튜브에서 요리, 운동, 뉴스 채널만 본다고 해서 우리가 세상을 다 아는 건 불가능합니다. AI도 마찬가지입니다. 겨우 '색깔' 정보만 담긴 3개 채널로는 이 사진 속에 있는 게 '불량 제품'인지 '정상 제품'인지 도저히 알 수가 없습니다. 그렇다면, AI는 어떻게 이미지의 3개 채널만으로 원하는 정보를 찾아내는 걸까요?

여기서 AI의 진짜 실력이 나옵니다. AI는 고작 3개뿐인 채널을 수백 개로 늘려가며 '자기만의 전문 채널'을 개설하기 시작합니다.

채널이 많아진다 = 관점이 다양해진다

단순히 색상만 보는 게 아니라, "여기는 경계선이야!", "여기는 그물 모양이야!", "여기는 구멍이 뚫렸어!" 같은 고도의 정보를 담은 전문 채널(Feature Maps)들을 스스로 만드는 것입니다.

채널은 곧 AI의 '생각의 깊이'

채널 수가 128개, 256개로 늘어난다는 것은 AI가 그만큼 이미지를 다각도에서 꼼꼼하게 뜯어보고 있다는 증거입니다. 마치 한 사건을 두고 256명의 전문가가 각자의 관점에서 토론하는 것과 비슷하죠.

아래의 그림은 입력된 이미지로부터 1개의 Kernel이 하나의 Channel을 생성한 모습입니다.

앞서 설명드린대로 RGB로 구성된 3개의 채널 정보를 가지고 있는 이미지 한 장이 3×3×3 크기의 커널을 거쳐 1개의 채널이 생성된 모습을 나타냅니다. 커널은 다음과 같이 연산을 수행합니다.

Step 1: 채널별 합성곱 (Channel-wise Multiplication)

커널의 각 층(Slice)은 이미지의 대응하는 채널 위에 놓입니다.

커널의 1층(R 대응)이 이미지의 R 채널 $3 \times 3$ 영역과 만납니다.
커널의 2층(G 대응)이 이미지의 G 채널 $3 \times 3$ 영역과 만납니다.
커널의 3층(B 대응)이 이미지의 B 채널 $3 \times 3$ 영역과 만납니다.

각 층에서 원소별 곱셈(Element-wise Multiplication)이 수행됩니다. ( $3 \times 3 = 9 $개의 곱셈 결과가 각 채널에서 발생)

Step 2: 채널 내 합산

각 채널에서 곱해진 9개의 값들을 모두 더합니다. 결과적으로 R, G, B 각 채널에서 각각 1개씩, 총 3개의 값이 나옵니다.

Step 3: 채널 간 합산 (The Big Sum)

이제 가장 중요한 단계입니다. Step 2에서 나온 3개의 결과값을 모두 하나로 더합니다.

$$\text{최종 값} = (\text{R 채널 연산 결과}) + (\text{G 채널 연산 결과}) + (\text{B 채널 연산 결과}) + \text{편향(bias)}$$

이 과정을 거치면 3차원이었던 데이터가 단 1개의 숫자(스칼라)로 응축됩니다.

Step 4: 슬라이딩 (Sliding)

커널이 이미지 전체를 지정된 간격(Stride)만큼 이동하며 Step 1~3을 반복합니다. 커널이 한 번 움직일 때마다 결과물인 2차원 평면에 점이 하나씩 찍힌다고 생각하시면 됩니다.

왜 결과가 1개의 채널이 되나요?

많은 분이 "입력이 3채널인데 왜 출력은 1채널이죠?"라고 궁금해합니다. 그 이유는 커널의 깊이 방향으로 모든 값을 더해버리기 때문입니다.

입력: $H \times W \times 3$
커널: $3 \times 3 \times 3$
연산: 커널이 이동하며 공간 연산(3x3)을 하고, 동시에 깊이 연산(3)을 통합합니다.
결과: $H' \times W' \times 1$ (2차원 특성 맵 1개)

결국 1개의 커널(필터)은 이미지의 전체 채널을 훑어서 "특정 특징 하나"를 추출해내는 역할을 합니다. 만약 여러 개의 채널을 결과로 얻고 싶다면, 서로 다른 가중치를 가진 $3 \times 3 \times 3$ 커널을 여러 개 사용하면 됩니다.

(예: 커널 16개를 사용하면 출력 채널은 16개가 됩니다.)

위 그림에서 Channel이 RGB 이미지 정보 3개 채널로 구성된 이미지가 입력으로 들어왔을 때, 크기가 3×3×3인 커널 16개가 각각 이미지를 한 장 씩 Convolution 연산을 수행하였고, 그 결과로 16개의 채널로 구성된 Tensor가 생성된 것을 보실 수 있습니다.

특징 추출을 위한 Channel 축소 과정

딥러닝 모델에서 채널의 개수를 조절하는 것은 "수많은 정보 중 핵심 특징만 뽑아내는 과정"입니다. 입력 데이터에는 중복되거나 중요하지 않은 정보가 섞여 있을 수 있습니다. 이를 더 적은 수의 채널로 줄임으로써, 모델이 정말 중요한 특징에만 집중하게 만듭니다.

예를 들어, 8개의 채널이 각각 '빨강, 초록, 파랑, 질감, 명도...' 등의 기초 정보를 담고 있다면, 이를 조합해 '눈 모양', '입술 모양' 같은 더 고차원적인 정보 2개로 요약하는 것입니다. 즉, 채널 수를 적절히 유지하거나 줄이면 모델이 가벼워지고 연산 속도가 빨라집니다.

커널의 입체적인 구조 이해하기

이제 이 '요약'이 어떻게 물리적으로 일어나는지 살펴봅시다. 한번 더 오해를 바로잡아야 할 부분은 "커널 1개는 단순한 평면이 아니다"라는 점입니다.

입력 데이터: 가로(W) × 세로(H) × 깊이(C)의 입체 형태입니다.
커널의 깊이: 입력 채널이 8개라면, 이를 연산하는 커널 한 개 역시 반드시 8층짜리 깊이를 가져야 합니다. (입력의 모든 층을 훑어야 하니까요!)
결합의 원리: 8층짜리 커널 한 개가 입력 데이터를 훑으면, 각 층에서 나온 값들이 하나로 합쳐져 결국 단 1장의 평면(1개 채널)이 됩니다.

아래는 8개의 채널이 2개의 채널로 줄어드는 과정을 나타냅니다.

왜 커널이 2개면 출력 채널이 2개일까?

이 질문에 대한 핵심은 커널의 갯수가 다음 단계의 출력물의 채널 수를 결정한다는 것입니다. 즉. '압축기' 역할을 하는 커널을 몇 개 사용하느냐에 따라 출력의 개수가 결정됩니다.

첫 번째 커널: 8층의 정보를 자기만의 가중치로 버무려 첫 번째 요약본(채널 1)을 만듭니다.
두 번째 커널: 똑같은 8층 정보를 '다른 관점'의 가중치로 버무려 두 번째 요약본(채널 2)을 만듭니다.
결과: 요약 전문가(커널)가 2명이니, 결과물도 2개가 되어 최종적으로 깊이가 2인 데이터가 나옵니다.

결론: AI에게 '채널'이란 무엇인가?

단순히 데이터의 층(layer)처럼 보였던 채널은 사실 AI 모델이 세상을 바라보고자 하였던 '다양한 시각' 그 자체입니다. 입력 데이터가 가진 수많은 정보 중에서 어떤 커널은 사물의 '테두리'에 집중하고, 어떤 커널은 '색상의 변화'나 '특정한 질감'에 집중합니다.

방금 설명 드렸듯이 채널을 증가 시키는 것은 AI가 세상을 더 많은 관점에서 특징들을 보기 위해, 채널을 압축했다는 것은 수만 가지의 정보 조각들 속에서 AI가 판단하기에 가장 핵심적인 특징만을 추려냈다는 뜻이기도 합니다.

이처럼 채널의 개수를 조절하고 그 안의 가중치를 학습시키는 과정이야말로, 인공지능이 복잡한 세상의 데이터로부터 의미 있는 규칙을 찾아가는 핵심적인 메커니즘입니다.

AI가 Channel을 통해 세상을 바라보는 방법, 이제 머릿속에 그려지시나요?

"커널의 개수가 곧 출력 채널의 개수가 된다"는 이 간단하지만 강력한 원리를 이해하셨다면, 여러분은 이미 AI의 가장 핵심적인 연산 원리를 정복하신 셈입니다. 이 글이 여러분의 AI 공부 여정에 든든한 기초가 되었기를 바랍니다!

시각 AI를 위한 Active Learning(1) - AI의 공부법과 능동 학습

Justin T. — Sat, 4 Apr 2026 15:12:59 +0900

영상으로 사물을 식별하는 비전 AI 분야는 어느덧 2026년 현재 우리의 삶의 다양한 분야에 녹아들었습니다. 도로 위 복잡한 상황을 읽어내는 자율주행 자동차, 암세포를 판독하는 의료 AI, 그리고 공장에서 제품의 아주 작은 결함까지 잡아내는 AI를 보면 어떻게 이토록 똑똑하게 잡아내는지 궁금하실 겁니다.

사실 이러한 비전 AI의 이면에는 공통적으로 바로 방대한 양의 데이터부터 학습이 이루어진다는 것입니다.

하지만 여기서 우리는 숨겨진 고통과 마주하게 됩니다. 사실 딥러닝 모델의 성능을 결정짓는 '양질의 학습 데이터'를 확보하는 과정은 사실 매우 고통스럽고 비용이 많이 드는 작업이기 때문입니다. 사람 대신 다양한 일을 해주는 생성형 AI챗봇이 건재함에도 비전 AI는 여전히 AI가 대체하기 힘든 부분들이 있답니다!

AI 개발의 거대한 장벽: '데이터의 굴레'

AI를 학습시키기 위해서는 사진 속 물체가 무엇인지 사람이 일일이 표시해 주는 'Data Labeling' 작업이 필수적입니다. 이 과정은 AI 개발 생애주기에서 가장 많은 시간과 비용이 소요되는 단계로, 전체 프로젝트 예산의 약 33%를 차지할 정도로 큰 비중을 차지합니다.

기업들은 Labeling 비용을 절감하기 위해 인도와 같이 인건비가 저렴한 국가에 외주를 주는 등의 방식으로 비용 절감을 시도하곤 합니다. 그러나 사내 보안으로 인해 데이터 반출이 사실상 불가능한 경우 기업들이 AI 도입을 함에 있어 많은 차질이 발생하게 됩니다.

이러한 '데이터의 굴레'를 극복하고, 더 적은 노력으로 더 똑똑한 AI를 만들기 위해 등장한 전략적 패러다임이 바로 오늘의 주인공, Active Learning(능동학습, 이하 AL)입니다.

Active Learning이란 무엇인가?

AL이라는 개념이 어렵게 느껴진다면, 우리 주변에서 흔히 볼 수 있는 두 학생의 공부법 차이를 떠올려 보면 쉽습니다. 인공지능이 학습하는 방식은 인간이 지식을 습득하는 과정과 놀라울 정도로 닮아 있기 때문입니다.

무작정 읽기만 하는 '수동적인 철수' (Passive Learning)

시험 기간이 되면 철수는 교과서를 처음부터 끝까지 무작정 읽어 내려갑니다. 중요해 보이는 부분에 형광펜을 칠하고 노트를 다시 베껴 쓰기도 하죠. 이를 '수동적 검토(Passive Review)' 방식이라고 합니다.

시험이 얼마 남지 않은 철수의 뇌는 정보를 받아들이기만 할 뿐, 실제로 이해했는지 검증하지 않습니다. 익숙함을 숙달로 착각하는 '인지의 함정'에 빠지기 쉬우며, 시험 문제에서 개념이 조금만 변형되어도 대응하지 못합니다. 이는 준비된 수만 장의 사진을 무작위로 계속해서 보여주는 방식과 같습니다. 이 중에는 빈 도로 사진처럼 모델이 이미 잘 아는 중복 정보가 포함될 가능성이 크고, 이는 계산 자원의 낭비로 이어집니다

약점을 공략하는 '능동적인 영희' (Active Learning)

반면 영희는 '능동적 회상(Active Recall)' 기법을 사용합니다. 영희는 한 단원을 읽은 뒤 책을 덮고 스스로에게 질문을 던집니다.

"이 개념의 핵심 세 가지는 무엇인가?"

만약 답을 하지 못하는 부분이 있다면 영희는 그 부분이 자신의 약점(불확실성)임을 인지하고, 그 단원을 집중적으로 공부합니다. 그 결과 영희는 자신이 모르는 부분에만 학습 에너지를 집중함으로써 철수보다 훨씬 적은 시간을 공부하고도 더 높은 성적을 거둘 수 있습니다.
AL은 바로 이 '영희의 공부법'을 알고리즘으로 구현한 것입니다. 인공지능 모델이 수많은 데이터 중에서 자신이 가장 판단하기 어려워하는(Uncertain) 데이터만을 골라내어 인간에게 정답(Label)을 달라고 요청하는 방식이죠

Active Learning 시스템의 5가지 핵심 요소

AL은 단순히 데이터를 학습하는 것을 넘어, 새로운 데이터의 정답을 얻기 위해 오라클(Oracle, 주로 인간 전문가)과 끊임없이 상호 작용하는 순환적인 피드백 루프를 형성합니다. AL을 구성하는 5가지 핵심 요소를 '공부'에 비유해 알아볼까요?

모델 (Learner): 공부하는 학생

지금까지 배운 지식을 바탕으로 새로운 데이터를 판단하고 예측하는 주체입니다. 시험을 앞두고 열심히 기본 개념을 익힌 학생과 같습니다.

데이터 풀 (Unlabeled Pool): 아직 읽지 않은 두꺼운 문제집

정답이 달려 있지 않은 방대한 양의 원천 데이터입니다. 세상에 널려 있는 로우 데이터(Raw Data)들이 여기에 해당합니다. 서점에서 막 사 온, 아직 한 페이지도 풀지 않은 연습 문제집입니다.

선택 전략 (Query Strategy): 무엇을 모르는지 찾아내는 기준

수많은 데이터 중 모델에게 가장 가치 있는(즉, 모델이 가장 헷갈려 하는) 데이터가 무엇인지 결정하는 알고리즘입니다. "내가 이 공식은 아는데, 응용 문제는 약하네? 그럼 응용 문제 위주로 골라야지!"라고 판단하는 학습 기준입니다.

오라클 (Oracle): 질문에 답해주는 선생님

모델이 "이 데이터는 정답이 뭐예요?"라고 요청했을 때, 정확한 정답(Label)을 달아주는 전문가나 시스템입니다. 학생이 모르는 문제를 들고 찾아갔을 때 친절하게 답을 알려주는 선생님의 역할을 합니다.

정답셋 (Labeled Set): 오답 노트 및 핵심 요약집

모델이 오라클로부터 정답을 받아 확인한, 검증된 데이터들의 집합입니다. 이 데이터를 통해 모델은 다시 재학습(Fine-tuning)됩니다. 선생님께 질문해서 알아낸 정답과 풀이 과정을 정리해 둔 오답 노트나 핵심 요약집입니다.

지능의 선순환: Active Learning은 어떻게 작동하는가?

이 시스템의 작동 원리는 단순하지만 강력합니다. 우선 초기에 아주 적은 양의 정답이 포함된 '시드 데이터(Seed Data)'로 초기 모델을 가볍게 훈련시킵니다. 그 이후부터 모델은 정답이 없는 거대한 데이터 바다에서 "내가 가장 헷갈리는 사진이 무엇인가?"를 기준으로 특정 데이터를 뽑아냅니다. 그리고 인간 전문가는 모델이 선별해온 '어려운 문제'에 대해서만 정답을 달아주고, 모델은 이를 바탕으로 다시 학습합니다.

이 과정을 반복할수록 모델의 지능은 기하급수적으로 정교해지며, 인간의 개입은 최소화됩니다.

산업 현장에서 증명된 Active Learning의 가치

AL의 도입은 기술적 진보를 넘어 산업계에 명확한 경제적 이익을 제공합니다. 전 세계 데이터 Labeling 시장 규모가 2028년 약 490억 달러까지 성장할 것으로 예상되는 가운데, 능동 학습은 비용 효율성을 극대화하는 핵심 열쇠가 되고 있습니다.실제 산업 사례를 통해 그 효과를 살펴보면 더욱 놀랍습니다.

아마존 세이지메이커(Amazon SageMaker)의 분석에 따르면, 능동 학습 기반 자동 Labeling 기술 적용 시 객체 탐지(Bounding Box) 비용을 약 27% 절감할 수 있었다고 합니다.
건설 지능화 기업 OnsiteIQ는 Active Learning 플랫폼 도입 후 데이터 처리량이 5배 향상되었으며, 모델 개발 시간을 2개월에서 2주로 단축했습니다. 이는 기업이 시장 가치를 창출하는 시간을 75%나 줄였음을 의미합니다.

특히 전문의의 판독 비용이 매우 높은 의료 분야에서 Active Learning은 필수적입니다. 수만 장의 의료 영상을 전문의가 일일이 보는 것은 불가능하지만, 능동 학습을 통해 "판단이 가장 모호한 5%의 영상"만 골라내어 전달한다면 의료 자원을 훨씬 효율적으로 배분할 수 있습니다.

질적인 성숙을 지향하는 '데이터 중심 AI'

AL은 단순히 "데이터를 적게 쓰는 기술"이 아닙니다. 그것은 데이터의 홍수 속에서 어떤 정보가 가치 있는지를 스스로 판단하는 지능형 선별 전략입니다.인공지능이 "무엇을 알고 무엇을 모르는지" 스스로 성찰하게 함으로써, 이제 AI 개발은 양적인 팽창이 아닌 질적인 성숙을 지향하는 '데이터 중심 AI(Data-Centric AI)' 시대로 접어들고 있습니다.능동 학습을 통해 우리는 더 적은 비용으로, 더 빠른 시간 안에, 훨씬 더 안전하고 정교한 인공지능을 만나게 될 것입니다.

[논문프리뷰]word2vec은 정확히 무엇을 학습하는가?

Justin T. — Sun, 1 Mar 2026 15:48:41 +0900

word2vec은 정확히 무엇을, 그리고 어떻게 학습할까요? 이 질문에 답하는 것은 규모는 작지만 흥미로운 언어 모델링 작업 내에서 표현 학습(Representation Learning)을 이해하는 것과 같습니다. word2vec이 현대 언어 모델의 잘 알려진 선구자임에도 불구하고, 수년 동안 연구자들에게는 그 학습 과정을 설명할 정량적이고 예측 가능한 이론이 부족했습니다.

이 논문을 통해 마침내 그러한 이론을 제시합니다. 학습 문제가 '가중치 없는 최소 제곱 행렬 분해(unweighted least-squares matrix factorization)'로 귀결되는 현실적이고 실용적인 체계가 존재함을 증명했습니다. 또한 경사 흐름 역학(gradient flow dynamics)을 폐쇄형(closed form)으로 풀어냈으며, 최종적으로 학습된 표현은 단순히 PCA(주성분 분석)에 의해 결정된다는 것을 밝혀냈습니다.

word2vec의 학습 역학(Learning Dynamics). 작은 초깃값(small initialization)에서 훈련을 시작할 때, word2vec은 이산적이고 순차적인 단계를 거치며 학습됨. 왼쪽: 가중치 행렬의 계수(rank)가 증가하는 학습 단계를 보여줌. 각 단계가 진행될 때마다 손실(loss)이 단계적으로 감소. 오른쪽: 잠재 임베딩 공간을 세 개의 시점으로 포착한 모습. 임베딩 벡터가 각 학습 단계에서 어떻게 점점 더 높은 차원의 부분 공간(subspace)으로 확장되는지 보여주며, 이 과정은 모델의 용량이 포화될 때까지 계속됨.

이 결과에 대해 자세히 설명하기 전에, 먼저 이 문제의 동기를 살펴보겠습니다. word2vec은 단어의 밀집 벡터 표현(dense vector representations)을 학습하는 것으로 잘 알려진 알고리즘입니다. 이러한 임베딩 벡터는 대조 학습(contrastive algorithm)을 통해 훈련되며, 훈련이 끝나면 두 단어 사이의 의미적 관계는 그에 대응하는 임베딩 사이의 각도로 포착됩니다.

실제로 학습된 임베딩은 기하학적으로 놀라운 선형 구조를 보여줍니다. 잠재 공간(latent space)의 선형 부분 공간은 종종 성별, 동사 시제 또는 방언과 같이 해석 가능한 개념을 인코딩합니다.

이른바 '선형 표현 가설(linear representation hypothesis)'은 최근 대규모 언어 모델(LLM)에서도 이러한 특성이 나타나면서 많은 주목을 받고 있습니다. 이는 내부 표현의 의미적 분석을 가능하게 하고, 새로운 모델 제어(steering) 기술을 제공합니다. word2vec에서 학습된 임베딩이 벡터 덧셈을 통해 유추(예: “남자 : 여자 :: 왕 : 여왕”)를 수행할 수 있는 것은 바로 이러한 선형적 방향성 덕분입니다.

어쩌면 이는 그리 놀라운 일이 아닐지도 모릅니다. 결국 word2vec 알고리즘은 단순히 텍스트 코퍼스를 반복하며 자기 지도 경사 하강법(self-supervised gradient descent)을 사용해 자연어의 통계적 규칙성을 모델링하는 2계층 선형 네트워크를 학습시키는 것이기 때문입니다. 이러한 관점에서 볼 때, word2vec은 최소한의 신경망 언어 모델임이 분명합니다. 따라서 word2vec을 이해하는 것은 더 정교한 언어 모델링 작업에서 특징 학습(feature learning)을 이해하기 위한 필수적인 전제 조건입니다.

분석 결과

이러한 동기를 바탕으로 주요 결과를 설명해 보겠습니다. 구체적으로, 모든 임베딩 벡터를 원점에 매우 가깝게 무작위로 초기화하여 사실상 0차원인 상태라고 가정해 봅시다. 그러면 (몇 가지 가벼운 근사를 전제로) 임베딩들은 일련의 이산적인 학습 단계를 거치며 한 번에 하나의 '개념'(즉, 직교 선형 부분 공간)을 집합적으로 학습하게 됩니다.

이는 수학의 새로운 분야를 공부하기 위해 맨땅에 헤딩하는 것과 비슷합니다. 처음에는 모든 전문 용어가 뒤섞여 들립니다. '함수(function)'와 '범함수(functional)'의 차이는 무엇일까요? '선형 연산자(linear operator)'와 '행렬(matrix)'은 또 어떻게 다를까요? 하지만 점차 새로운 설정들을 접하면서 머릿속에서 단어들이 서로 분리되고 그 진정한 의미가 명확해집니다.

그 결과, 새롭게 구현된 각 선형 개념은 임베딩 행렬의 계수(rank)를 사실상 증가시키며, 각 단어 임베딩이 자기 자신과 그 의미를 더 잘 표현할 수 있도록 더 넓은 공간을 제공합니다. 이러한 선형 부분 공간은 한 번 학습되면 회전하지 않기 때문에, 이것이 사실상 모델이 학습한 '특징(feature)'이 됩니다.

핵심 요약: 통해 이러한 특징들을 각각 사전에 폐쇄형(closed form)으로 계산할 수 있습니다. 이 특징들은 단순히 측정 가능한 코퍼스 통계와 알고리즘 하이퍼파라미터만으로 정의되는 특정 타겟 행렬의 고유벡터(eigenvectors)일 뿐입니다.

특징(Feature)이란 무엇인가?

그 대답은 놀라울 정도로 명쾌합니다. 잠재 특징(latent features)은 단순히 다음 행렬의 상위 고유벡터(top eigenvectors)입니다.

$$M^{\star}_{ij} = \frac{P(i,j) - P(i)P(j)}{\frac{1}{2}(P(i,j) + P(i)P(j))}$$

여기서 변수들의 의미는 다음과 같습니다.

$i, j$: 어휘 사전(vocabulary) 내의 단어 인덱스
$P(i, j)$: 단어 $i$와 $j$의 공출현 확률(co-occurrence probability)
$P(i)$: 단어 $i$의 유니그램 확률(unigram probability) (즉, $P(i, j)$의 주변 확률)

위키피디아 통계를 바탕으로 이 행렬을 구성하고 대각화(diagonalizing)해 보면 다음과 같은 사실을 발견할 수 있습니다.

첫 번째 고유벡터: 유명 인사의 전기(biography)와 관련된 단어들을 선택합니다.
두 번째 고유벡터: 정부 및 지방 행정과 관련된 단어들을 선택합니다.
세 번째 고유벡터: 지리 및 지도 제작 기술 관련 용어들과 연관되어 있습니다. (이런 식으로 계속 이어집니다.)

핵심 요약:
학습 과정에서 word2vec은 $M^*$ 행렬에 대한 일련의 최적 저계수 근사(optimal low-rank approximations)를 찾아냅니다. 이는 결과적으로 $M^*$ 행렬에 대해 PCA(주성분 분석)를 수행하는 것과 사실상 동일합니다.
아래의 그래프들은 이러한 동작 방식을 시각적으로 보여줍니다.

학습 역학 비교: 이산적이고 순차적인 학습 단계

왼쪽 그래프를 보면, word2vec(저희의 가벼운 근사가 포함된)이 본질적으로 일련의 이산적인 단계를 거치며 학습한다는 중요한 실증적 관찰 결과를 확인할 수 있습니다. 각 단계는 임베딩의 유효 계수(effective rank)를 증가시키며, 그 결과 손실(loss)이 단계적으로 감소합니다. 오른쪽은 잠재 임베딩 공간을 세 개의 시점으로 나타낸 것으로, 각 학습 단계마다 임베딩이 새로운 직교 방향을 따라 어떻게 확장되는지 보여줍니다.

나아가 이러한 특이 방향(singular directions)과 가장 강하게 일치하는 단어들을 조사해 보면, 각각의 이산적인 '지식 조각'이 해석 가능한 주제 단위의 개념(topic-level concept)과 일치함을 알 수 있습니다. 이러한 학습 역학은 폐쇄형(closed form)으로 풀어낼 수 있으며, 이론과 수치 실험 결과가 훌륭하게 일치하는 것을 확인했습니다.

네 가지 '가벼운 근사(Mild Approximations)'란 무엇인가?

이 이론적 결과를 도출하기 위해 사용된 조건들은 다음과 같습니다.

4차 근사(Quartic approximation): 원점 근처에서 목적 함수를 4차 식으로 근사함.
하이퍼파라미터 제약: 알고리즘 하이퍼파라미터에 대한 특정 제약 조건.
작은 초기 가중치: 충분히 작은 초기 임베딩 가중치 설정.
미세한 경사 하강 단계: 극도로 작은 학습률(gradient descent steps).

다행히 이 조건들은 그리 까다롭지 않으며, 실제로 오리지널 word2vec 논문에서 묘사된 설정과 매우 유사합니다.

이론의 강점: 데이터 분포에 의존하지 않음

중요한 점은, 이러한 근사 중 그 어떤 것도 데이터의 분포(data distribution)와 관련이 없다는 것입니다! 실제로 이 이론의 큰 강점은 분포에 대한 가정을 하지 않는다는 점에 있습니다. 결과적으로, 이 이론은 코퍼스 통계와 알고리즘 하이퍼파라미터만으로 어떤 특징이 학습될지 정확히 예측합니다. 분포에 구애받지 않는 설정(distribution-agnostic setting)에서 학습 역학을 세밀하게 묘사하는 것은 매우 드물고 얻기 힘든 결과입니다. 저희가 알기로는, 실제 자연어 처리 작업에 대해 이러한 분석이 이루어진 것은 이번이 처음입니다.
저희가 적용한 근사 모델이 실제 word2vec을 얼마나 충실히 설명하는지 확인하기 위해, 표준 유추 완성 벤치마크(analogy completion benchmark)에서 실증적 점수를 비교해 보았습니다.

Original word2vec: 68% 정확도
본 연구의 근사 모델: 66% 정확도
고전적 대안(PPMI): 51% 정확도

근사 모델임에도 불구하고 오리지널 모델과 단 2% 차이밖에 나지 않으며, 기존 방식보다 훨씬 뛰어난 성능을 보입니다. 상세한 비교 그래프는 논문에서 확인하실 수 있습니다.

결론 및 응용: 추상적 선형 표현의 등장

이 결과의 유용성을 입증하기 위해, 저희는 추상적인 선형 표현(남성/여성, 과거/미래와 같은 이진 개념에 대응함)이 어떻게 나타나는지 연구하는 데 이 이론을 적용했습니다.
그 결과, word2vec이 학습 과정 전반에 걸쳐 노이즈가 섞인 학습 단계를 거치며 이러한 선형 표현을 구축한다는 것을 발견했습니다. 또한 그 기하학적 구조는 '스파이크 랜덤 행렬 모델(spiked random matrix model)'로 잘 설명됩니다. 학습 초기에는 의미적 신호(semantic signal)가 지배적이지만, 학습 후반부에는 노이즈가 지배하기 시작하여 모델이 선형 표현을 명확히 구분하는 능력이 저하될 수 있습니다.

결론적으로, 이 결과는 규모는 작지만 유의미한 자연어 작업에서 특징 학습(feature learning)에 관한 최초의 완전한 폐쇄형 이론 중 하나를 제공합니다. 이런 의미에서 저희의 연구는 실제 머신러닝 알고리즘의 성능을 설명하는 현실적인 분석 솔루션을 얻으려는 더 큰 프로젝트의 중요한 진전이라고 믿습니다.

참고자료: https://arxiv.org/abs/2502.09863

Closed-Form Training Dynamics Reveal Learned Features and Linear Structure in Word2Vec-like Models

Self-supervised word embedding algorithms such as word2vec provide a minimal setting for studying representation learning in language modeling. We examine the quartic Taylor approximation of the word2vec loss around the origin, and we show that both the re

arxiv.org

[용어 정리]유니그램 확률(Unigram Probability)

Justin T. — Sun, 1 Feb 2026 00:46:48 +0900

인공지능이 우리가 쓰는 말을 어떻게 이해하고 숫자로 계산하는지, 그 가장 기초가 되는 개념인 '유니그램 확률(Unigram Probability)'에 대해 알아보려고 합니다. 이름은 거창하지만, 알고 보면 아주 단순한 원리랍니다.

유니그램(Unigram)이란 무엇인가

유니그램이란 다음과 같은 의미를 가집니다.

Uni (하나의) + Gram (글자/단어)

즉, 문장에서 단어를 딱 하나씩만 떼어서 보는 것을 말합니다.

예를 들어 "오늘 날씨가 정말 좋다"라는 문장이 있다면, 유니그램 방식으로는 [오늘], [날씨가], [정말], [좋다] 이렇게 네 개의 조각으로 나누어 생각하는 것이죠.

유니그램 확률: "단어 주머니에서 제비뽑기"

유니그램 확률은 쉽게 말해 "전체 단어들 중에서 특정 단어가 나타날 확률"입니다. 이해를 돕기 위해 큰 주머니 하나를 상상해 보세요.

우리가 읽은 모든 책과 기사에 나온 단어들을 종이에 적어 주머니에 넣습니다.
주머니를 마구 흔든 뒤, 눈을 감고 종이 한 장을 뽑습니다.
이때 '사과'라는 단어가 적힌 종이가 나올 확률이 바로 '사과의 유니그램 확률'입니다.

계산 방법

계산 방법은 아주 간단합니다. 전체 단어 개수 중에서 그 단어가 몇 번 나왔는지만 알면 됩니다.
예를 들어, 총 10개의 단어가 들어있는 아주 작은 주머니가 있다고 가정해 봅시다.

* 주머니 내용물: {나, 너, 사과, 사과, 사과, 바나나, 먹다, 먹다, 좋다, 공부}

단어	나타난 횟수	유니그램 확률
사과	3번	3/10 = 30%
먹다	2번	2/10 = 20%
나	1번	1/10 = 10%

이 주머니에서 아무 단어나 뽑았을 때 '사과'가 나올 확률이 가장 높죠? 인공지능은 이를 보고 "이 데이터에서는 '사과'라는 단어가 중요하거나 자주 쓰이는구나!"라고 판단합니다.

유니그램 확률의 한계

유니그램 확률은 매우 간단하지만 큰 단점이 하나 있습니다. 바로 '문맥'을 전혀 모른다는 점이에요.

"나는 [ ]를 먹는다"라는 문장에서 빈칸을 채울 때,
유니그램 확률만 따지면 주머니에서 가장 개수가 많은 단어(예: '그는', '매우')를 무작정 추천할 수도 있습니다.
'먹는다' 앞에 '사과'가 올 확률이 높은지, '하늘'이 올 확률이 높은지는 고려하지 않죠.

그럼에도 불구하고 유니그램 확률은 텍스트 마이닝, 검색 엔진 순위 결정, 그리고 더 복잡한 언어 모델(ChatGPT 같은 것들!)의 가장 밑바닥 기초가 되기 때문에 매우 중요합니다.

요악하자면,

유니그램은 단어를 하나씩 쪼갠 조각이다.
유니그램 확률은 전체 단어 중 그 단어가 얼마나 자주 등장하는지 나타내는 수치다.
주머니에서 제비뽑기를 하는 것과 같은 원리다!

[논문프리뷰] 전신 기반 에고센트릭 비디오 예측 (Whole-Body Conditioned Egocentric Video Prediction)

Justin T. — Mon, 12 Jan 2026 02:11:36 +0900

이 논문은 PEVA(Predict Ego-centric Video from human Actions)라는 모델을 훈련하여, 전신(whole-body) 동작을 조건으로 하는 에고센트릭(1인칭 시점) 비디오 예측을 수행했습니다. PEVA는 신체 관절의 계층 구조로 구조화된 운동학적(kinematic) 포즈 궤적을 조건으로 받아, 인간의 물리적 행동이 1인칭 시점에서 환경을 어떻게 변화시키는지를 시뮬레이션하도록 학습합니다. 이 논문은 실제 에고센트릭 비디오와 신체 포즈 캡처가 쌍으로 이루어진 대규모 데이터셋인 Nymeria를 사용하여, 자기회귀적 조건부 디퓨전 트랜스포머(autoregressive conditional diffusion transformer)를 훈련했습니다. 또한 점점 더 어려워지는 과제들로 구성된 계층적 평가 프로토콜을 설계하여, 모델의 신체화된(embodied) 예측 및 제어 능력을 포괄적으로 분석했습니다.

PEVA: 인간 행동으로부터 에고센트릭 비디오 예측하기

과거의 비디오 프레임들과 3D 포즈의 원하는 변화를 명시하는 행동(action)이 주어졌을 때, PEVA는 다음 비디오 프레임을 예측합니다. 이 논문의 결과에 따르면, 첫 번째 프레임과 일련의 행동 시퀀스가 주어졌을 때 모델은 (a)원자적 행동(atomic action)의 비디오 생성, (b) 반사실적(counterfactual) 상황 시뮬레이션, (c) 장기 비디오 생성(long video generation)을 지원할 수 있다.

최근 몇 년 동안 계획(planning)과 제어(control)를 위해 미래 결과를 시뮬레이션하는 세계 모델(world models) 분야에서 상당한 발전이 있었습니다. 직관적 물리학(intuitive physics)에서부터 다단계 비디오 예측에 이르기까지, 이러한 모델들은 점점 더 강력해지고 표현력이 풍부해졌습니다.

그러나 진정한 의미의 신체화된 에이전트(Embodied Agents)를 위해 설계된 모델은 거의 없었습니다. 신체화된 에이전트를 위한 세계 모델을 만들기 위해서는 실제 세계에서 행동하는 실제 에이전트를 고려해야 합니다. 실제 신체화된 에이전트는 추상적인 제어 신호가 아닌 물리적으로 기반을 둔 복잡한 행동 공간(action space)을 가집니다. 또한 그들은 미적으로 연출된 장면이나 고정된 카메라가 아닌, 다양한 실제 시나리오 속에서 에고센트릭(1인칭) 시점을 통해 행동해야 합니다.

Translated and generated by Gemini nano banana pro

신체화된 에이전트 구현이 어려운 이유

사람처럼 보고, 생각하고 움직이는 신체화된 에이전트를 만드는 일은 매우 어렵습니다. 그 이유는 다음과 같습니다.

행동과 비전의 강한 맥락 의존성(Action and vision are heavily context-dependent): 똑같은 장면을 보더라도 어떤 행동을 해야 할지는 상황에 따라 완전히 다릅니다. 예를 들어, 앞에 컵이 놓여 있다고 해도, 물을 마시려는 상황인지, 치우려는 상황인지에 따라 손의 움직임이 달라집니다. 반대로, 같은 행동이더라도 보는 상황이 다르면 전혀 다른 의미를 가질 수 있습니다. 이처럼 행동과 시각 정보는 상황(맥락)에 매우 의존적입니다.
인간 제어의 다차원성 및 구조적 특성(Human control is high-dimensional and structured): 사람의 신체는 수십 개의 관절을 가지고 있어서, 아주 다양한 방식으로 움직일 수 있습니다. 또한 움직임은 단순히 하나하나 조정되는 것이 아니라, 시간에 따라 유기적으로 연결되고 구조적으로 구성돼 있습니다. 예를 들어, 손을 뻗는 동작만 해도 어깨, 팔꿈치, 손목까지 연동해서 움직여야 하죠.
1인칭 시점의 의도 노출 및 신체 가려짐 특성(Egocentric view reveals intention but hides the body): 사람의 시선(1인칭 시점)에서는 어디를 보거나 어떤 목표를 원하는지는 잘 나타나지만, 자기 몸이 직접적으로 보이진 않아서 어떤 행동을 하고 있는지는 잘 알 수 없습니다. 즉, 의도는 보이지만 실제 움직임은 가려져 있는 경우가 많습니다. 인공지능 모델이 이런 영상을 보고 어떤 행동이 이루어졌는지 정확히 이해하는 건 쉽지 않습니다.
지각의 행동 대비 지연 현상(Perception lags behind action): 어떤 행동을 하면, 그 결과(예: 컵에 물이 채워지는 모습)는 몇 초 후에 시각적으로 나타납니다. 그래서 에이전트가 제대로 배우려면, 지금의 행동이 나중에 어떤 결과로 이어지는지를 예측할 수 있어야 합니다. 즉, 장기적인 시간 개념과 예측 능력이 필요합니다.

신체화된 에이전트를 위한 세계 모델을 개발하기 위해서는 이러한 기준을 충족하는 에이전트에 기반을 두어야 합니다. 인간은 일상적으로 먼저 보고 나중에 행동합니다. 우리의 눈은 목표에 고정되고, 뇌는 결과에 대한 짧은 시각적 "시뮬레이션"을 실행한 뒤에야 움직입니다.

주요 업무

전신 동작 기반 자아중심(Egocentric) 비디오 예측을 위한 PEVA(Predict Ego-centric Video from human Actions) 모델을 학습시켰습니다. PEVA는 신체 관절 계층 구조로 정리된 운동학적 포즈 궤적(kinematic pose trajectory)을 조건으로 삼아, 물리적인 인간 동작이 1인칭 시점에서 환경을 어떻게 변화시키는지 시뮬레이션하는 법을 학습합니다. 이 논문은 실세계 자아중심 비디오와 신체 포즈 캡처 데이터가 쌍을 이루는 대규모 데이터셋 Nymeria를 활용하여 자회귀적 조건부 디퓨전 트랜스포머(autoregressive conditional diffusion transformer)를 학습시켰습니다. 계층적 평가 프로토콜을 통해 점차 어려워지는 과제들을 테스트함으로써, 모델의 구체화된(embodied) 예측 및 제어 능력을 종합적으로 분석하였습니다. 본 연구는 인간 관점의 비디오 예측을 통해 복잡한 실세계 환경과 구체화된 에이전트 행동을 모델링하려는 초기 시도였습니다.

방법

동작에서 구조화된 행동 표현 (Structured Action Representation from Motion)

인간의 움직임과 자아중심 시각을 연결하기 위해, 각 동작을 전신 역학(full-body dynamics)과 세부 관절 움직임을 모두 포착하는 풍부한 고차원 벡터로 표현합니다. 단순화된 제어 신호 대신, 신체 운동학 트리(kinematic tree)를 기반으로 전역 이동(global translation)과 상대 관절 회전(relative joint rotations)을 인코딩합니다. 움직임은 3D 공간에서 표현되며, 루트 이동에 3 자유도, 상체 15개 관절에 대해 각각 3 자유도를 갖습니다. 상대 관절 회전에 오일러 각(Euler angles)을 사용하면 48차원 행동 공간(3 + 15 × 3 = 48)이 됩니다. 모션 캡처 데이터는 타임스탬프를 기준으로 비디오와 정렬된 후, 위치 및 방향 불변성을 위해 골반 중심의 로컬 좌표계로 변환됩니다. 모든 위치와 회전은 정규화되어 안정적인 학습이 이루어지도록 합니다. 각 행동은 프레임 간 움직임 변화를 포착하므로, 모델이 시간에 걸쳐 물리적 움직임과 시각적 결과를 연결할 수 있습니다.

PEVA 설계: 자회귀적 조건부 디퓨전 트랜스포머(Autoregressive Conditional Diffusion Transformer)

Navigation World Models의 CDiT는 속도·회전과 같은 단순 제어 신호를 사용하지만, 전신 인간 동작을 모델링하는 것은 훨씬 더 어려운 과제입니다. 인간 행동은 고차원,시간적으로 길고,물리적으로 제약이 많기 때문입니다. 이를 해결하기 위해 CDiT를 다음과 같이 3가지 방식으로 확장하였습니다.

무작위 타임스킵(Random Timeskips): 단기 운동 역학과 장기 활동 패턴을 모두 학습할 수 있도록 합니다.
시퀀스 수준 학습(Sequence-Level Training): 각 프레임 prefix에 손실을 적용하여 전체 동작 시퀀스를 모델링합니다.
행동 임베딩(Action Embeddings): 시간 t의 모든 행동을 1D 텐서로 연결하여 고차원 전신 동작을 각 AdaLN 레이어에 조건으로 제공합니다.

비디오 생성 및 확장 전략 (Sampling and Rollout Strategy)

테스트 단계에서는 과거의 장면들을 힌트 삼아 미래의 장면을 그려내는데, 먼저 과거 장면들을 컴퓨터가 이해하기 쉬운 핵심 정보(잠재 상태)로 요약한 뒤 목표 장면에 섞인 노이즈를 단계적으로 걷어내며 선명한 그림을 완성하고, 작업 속도를 높이기 위해 꼭 필요한 부분에만 시선을 집중(어텐션 제한)하며, 다음 행동을 예측할 때는 마치 이어달리기를 하듯 현재 행동을 반영해 바로 다음 장면을 만들고 그 장면을 다시 새로운 힌트로 써서 그다음 장면을 예측하는 과정을 반복한 후, 최종적으로 요약된 정보를 우리가 볼 수 있는 실제 화면으로 되돌려 놓습니다.

원자적 행동 (Atomic Actions)

복잡한 인간 움직임을 손 움직임(위·아래·왼쪽·오른쪽)과 전신 움직임(전진·좌회전·우회전) 등 원자적 행동(atomic actions)으로 분해하여, 특정 관절 수준 움직임이 자아중심 시야에 미치는 영향을 모델이 얼마나 이해하는지 테스트하였습니다.

전신 움직임

전진하기	왼쪽으로 회전하기	오른쪽으로 회전하기

왼손 동작

왼손 위로 올리기	왼손 아래로 내리기

왼손 왼쪽 움직이기	왼손 오른쪽으로 움직이기

오른손 동작

오른손 위로 올리기	오른손 아래로 내리기

오른손 왼쪽으로 움직이기	오른손 오른쪽으로 움직이

장시간 롤아웃 (Long Rollout)

16초에 달하는 긴 예측 구간에서도 시각적·의미적 일관성을 유지하는 모델의 능력을 확인할 수 있습니다. 전신 동작을 조건으로 한 PEVA의 일관된 롤아웃 샘플을 비디오와 이미지로 제공합니다.

동영상 서비스가 종료되어 해당 콘텐츠를 재생할 수 없습니다.


Sequence1	Sequence2	Sequence3

계획 수립 (Planning)

PEVA는 여러 후보 행동을 시뮬레이션한 뒤, 목표 이미지와의 지각적 유사도(LPIPS)를 기준으로 점수를 매겨 계획에 활용할 수 있습니다.

싱크대나 야외로 가는 경로를 배제하고 냉장고를 여는 올바른 경로를 찾아냅니다.

근처 식물을 잡거나 부엌으로 가는 행동을 배제하고 선반으로 가는 합리적인 행동 순서를 찾아냅니다.

시각적 계획 능력 구현

계획 문제를 에너지 최소화 문제로 정식화하고, Navigation World Models에서 소개된 교차 엔트로피 방법(Cross-Entropy Method, CEM)을 사용하여 행동 최적화를 수행합니다. 왼쪽 또는 오른쪽 팔만 움직이도록 최적화하고 나머지 신체 부위는 고정합니다. 대표적인 계획 결과는 다음과 같습니다.

오른팔을 들어 믹싱 스틱에 닿도록 하는 행동 시퀀스 예측

주전자에 손을 뻗지만 정확히 잡지는 못하는 경우

목표와 유사하게 왼팔을 몸 쪽으로 당기는 행동 시퀀스 예측

정량적 결과 (Quantitative Results)

PEVA는 여러 지표에서 전신 행동으로부터 고품질 자아중심 비디오를 생성하는 데 탁월한 성능을 보였습니다. 베이스라인을 지속적으로 능가하며, 장시간 일관성을 유지하고 모델 크기에 따라 성능이 잘 확장됩니다.

기준 인지 측정 지표

원자적 행동 성능

FID 비교

스케일링

모델 크기별 스케일링 성능 (크기가 클수록 성능이 크게 향상)

향후 방향 (Future Directions)

본 모델은 전신 동작으로부터 자아중심 비디오를 예측하는 데 유망한 결과를 보여주었으나, 구체화된 계획(embodied planning)을 향한 초기 단계에 불과합니다. 현재 계획은 팔 동작 후보 시뮬레이션에 국한되며 장기 계획이나 전체 궤적 최적화는 부족합니다. PEVA를 폐루프 제어(closed-loop control)나 상호작용 환경으로 확장하는 것이 중요한 다음 단계입니다. 현재는 작업 의도나 의미적 목표에 대한 명시적 조건이 없고, 이미지 유사도를 대리 목표로 사용하고 있습니다. 향후 연구에서는 고수준 목표 조건 추가, 객체 중심 표현(object-centric representation) 통합 등을 통해 PEVA를 더욱 발전시킬 수 있을 것입니다.

참고자료: https://arxiv.org/abs/2506.21552

Whole-Body Conditioned Egocentric Video Prediction

We train models to Predict Ego-centric Video from human Actions (PEVA), given the past video and an action represented by the relative 3D body pose. By conditioning on kinematic pose trajectories, structured by the joint hierarchy of the body, our model le

arxiv.org

AI가 세상을 바라보는 방법(3) - 더 멀리, 더 촘촘히 보는 법: DenseASPP

Justin T. — Fri, 26 Dec 2025 00:06:54 +0900

- 이 포스팅은 GPT5의 초안을 바탕으로 작성한 글임을 밝힙니다.

앞선 두 편에서 우리는 인공지능이 이미지를 이해하는 방식이 어떻게 발전해 왔는지를 살펴봤습니다. 픽셀 하나만 보던 단계에서 시작해, 주변 정보를 함께 고려하고, 더 멀리 떨어진 문맥(context)까지 활용하는 방향으로 점점 확장되어 왔습니다.

이번 포스팅에서는 그 흐름의 한 지점에서 등장한 구조인 DenseASPP를 통해, “문맥을 본다”는 말이 실제로 어떤 구조적 의미를 가지는지를 정리하며 이 시리즈를 마무리해 보려 합니다.

자율주행 장면에서 Semantic Segmentation의 한계

DenseASPP 논문은 처음부터 이 문제를 매우 구체적으로 설정합니다. 이 연구가 다루는 대상은 일반적인 영상이 아니라, 자율주행 환경의 도로 장면(street scenes)입니다.

이 장면이 어려운 이유는 단순히 복잡해서가 아닙니다. 문제의 핵심은 객체 크기(scale)의 변화 방식에 있습니다. 자율주행 장면에서는 다음과 같은 상황들이 동시에 발생합니다.

카메라 바로 앞에 있어 화면을 가득 채우는 버스나 트럭
수십 미터 떨어져 작게 보이는 신호등이나 표지판
같은 클래스(person, car)이지만 거리 차이로 전혀 다른 크기로 나타남

여기서 중요한 점은 이 크기 변화가 몇 개의 정해진 단계로 나뉘는 것이 아니라, 마치 볼륨 조절 다이어처럼 객체의 크기가 아주 작은 상태에서 아주 큰 상태 까지 끊임없이 이어지듯 연속적인 스펙트럼을 이룬다는 점입니다.

즉, “작다 / 크다” 정도로 나눌 수 있는 문제가 아니라 그 사이의 수많은 중간 크기들을 모두 고려해야 하는 상황입니다.

논문에서는 이를 다음과 같이 표현합니다.

“Objects in autonomous driving scenes exhibit very large scale changes.”
"자율 주행 시나리오 내의 객체들은 매우 광범위한 스케일 변화(scale changes)를 보입니다."

ASPP는 무엇을 해결했고, 무엇이 부족했는가?

ASPP(Atrous Spatial Pyramid Pooling)는 Semantic Segmentation의 흐름에서 매우 중요한 구조입니다. ASPP의 핵심 아이디어는 다음과 같습니다.

서로 다른 dilation rate를 가진 atrous convolution을 병렬로 배치
각기 다른 receptive field를 가진 feature map을 동시에 생성
하나의 픽셀이 여러 거리의 문맥을 함께 참고하도록 설계

이를 통해 ASPP는 기존 CNN이 가지던 “한 픽셀은 하나의 시야만 가진다”는 한계를 분명히 넘어섰습니다. 하지만 DenseASPP 논문은 ASPP가 여전히 해결하지 못한 구조적 한계를 짚어냅니다.

첫 번째 한계: 스케일 공간을 성기게(듬성듬성, 몇 개의 대표 크기만 골라) 본다

ASPP는 보통 dilation rate 6, 12, 18, 24와 같이 몇 개의 대표적인 스케일만 선택합니다. 이는 곧, 객체 크기의 세계(스케일 공간)를 성기게(중간 크기들은 건너뛰고) 샘플링한다는 의미입니다. 아주 작은 객체와 아주 큰 객체는 잘 처리할 수 있지만, 그 사이에 있는 수많은 중간 크기 객체는 어느 스케일에도 정확히 대응하지 못할 수 있습니다.

두 번째 한계: 큰 dilation은 넓지만 비효율적이다

Atrous convolution은 dilation rate가 커질수록 receptive field는 커지지만, 실제로 계산에 참여하는 픽셀은 띄엄띄엄 선택됩니다.즉, 넓게는 보지만 그 안의 정보는 충분히 활용하지 못하는 구조가 됩니다. 논문에서는 이를 kernel degradation problem(커널 열화 문제)이라고 설명합니다.

큰 Dilation에서의 픽셀 샘플링 구조

DenseASPP는 이 두 가지 문제를 동시에 해결하기 위해 설계된 구조입니다.

DenseASPP는 스케일을 어떻게 ‘촘촘하게’ 만들었는가

DenseASPP의 핵심 아이디어는 단순하지만 강력합니다. ASPP와 동일하게 atrous convolution을 사용하지만, 연결 방식을 완전히 바꿉니다. DenseASPP는 atrous convolution을 병렬로 배치하지 않습니다. 대신 다음과 같은 구조를 취합니다.

dilation rate가 작은 atrous convolution부터 시작
점점 더 큰 dilation을 가진 convolution을 순차적으로 쌓고
각 단계의 출력(feature map)을 모두 concat하여 다음 단계의 입력으로 사용

즉, 각 단계는 이전 단계에서 얻은 모든 스케일 정보를 함께 보고 판단합니다.

DenseASPP 전체 구조

이 구조는 두 가지 중요한 효과를 만듭니다.

(1) 스케일 축의 고해상도화

각 atrous convolution 조합은 새로운 receptive field 크기를 만들어냅니다. 그 결과 DenseASPP는 ASPP가 제공하던 몇 개의 스케일뿐 아니라, 그 사이에 존재하는 중간 스케일까지 자연스럽게 채웁니다. 즉, 스케일 공간을 성기게(듬성듬성) 보던 방식에서 촘촘하게 연속적으로 보는 방식으로 바꾼 것입니다.

ASPP vs DenseASPP 스케일 피라미드 비교. DenseASPP가 훨씬 촘촘한 스케일 분해능을 가졌음을 알 수 있음

(2) receptive field가 커지는 이유

DenseASPP 논문에는 receptive field를 설명하는 수식이 등장합니다. 이 수식들은 단순한 계산이 아니라, DenseASPP가 왜 더 넓은 문맥을 볼 수 있는지를 설명하기 위한 근거입니다.

① 단일 atrous convolution의 receptive field
$$R = (d - 1) \times (K - 1) + K$$

R: 한 픽셀이 참고하는 입력 이미지 영역의 크기
d (dilation rate): 픽셀을 얼마나 띄엄띄엄 보는지
K (kernel size): 커널 크기 (보통 3)

이 수식은 dilation rate가 커질수록 receptive field가 커진다는 것을 보여줍니다. 하지만 중요한 점은, 사용되는 픽셀 수는 늘어나지 않는다는 사실입니다. 즉, atrous convolution은 “적은 픽셀로 넓은 범위를 본 것처럼 만드는 기술”입니다.

② convolution을 여러 층 쌓았을 때의 receptive field

DenseASPP는 atrous convolution을 연속으로 여러 층 쌓습니다. 이때 receptive field는 다음과 같이 누적됩니다.
$$R_{total} = R_1 + R_2 - 1$$
R₁, R₂: 각 convolution의 receptive field
$ R_{total} $: 두 convolution을 연속 적용했을 때의 전체 receptive field

여기서 ‘-1’은 두 receptive field가 중앙 픽셀 하나를 공유하기 때문에 중복을 제거하기 위한 보정입니다. 이 누적 효과 덕분에 DenseASPP는 하나의 큰 dilation에 의존하지 않고, 여러 중간 스케일이 차곡차곡 쌓이며 큰 문맥을 형성합니다.

논문에서는 이를 수치로 비교합니다.
ASPP(6, 12, 18, 24): 최대 receptive field ≈ 51
DenseASPP(6, 12, 18, 24): 최대 receptive field ≈ 122

ASPP vs DenseASPP 실제 reception filed 시각화

DenseASPP는 왜 실제 성능 향상으로 이어졌는가

DenseASPP의 구조적 장점은 Cityscapes 실험 결과에서도 명확히 드러납니다. 논문에 따르면 DenseASPP는 Cityscapes test set에서 80.6% mIoU를 기록하며 당시 최고 성능을 달성했습니다.

Cityscapes testset 성능 비교

하지만 숫자보다 중요한 것은 어떤 클래스에서 성능이 좋아졌는가입니다. DenseASPP는 특히 다음과 같은 경우에서 큰 개선을 보입니다.

vegetation ↔ terrain
bus ↔ truck ↔ train

이 클래스들의 공통점은 분명합니다. 픽셀 하나의 색이나 질감만으로는 구분이 어렵고 주변 환경, 즉 장면 전체의 문맥이 중요합니다DenseASPP는 작은 스케일의 세밀한 정보와 큰 스케일의 전역 문맥을 항상 함께 고려하기 때문에, 픽셀을 “고립된 점”이 아니라 “장면 속 구성 요소”로 해석할 수 있습니다.

DenseASPP와 Baseline 예측 결과 비교

결론

이번 시리즈에서는 AI가 이미지를 “본다”는 말이 무엇을 의미하는지를 구조의 진화라는 관점에서 따라왔습니다. DenseASPP는 이 흐름 속에서 하나의 중요한 결론을 제시합니다.

문맥을 본다는 것은 단순히 범위를 넓히는 문제가 아니라, 그 범위를 얼마나 촘촘한 해상도로 이해하느냐의 문제다.

DenseASPP가 나온 이후 Kernel 방식에서 Transformer 방식의 모델들이 더 좋은 성능을 보이고 있습니다. 차후 기회가 된다면 Transformer 형식의 딥러닝 모델에 대해 정리하는 시간을 가져보도록 하겠습니다.

참고자료: https://openaccess.thecvf.com/content_cvpr_2018/papers/Yang_DenseASPP_for_Semantic_CVPR_2018_paper.pdf

[용어 정리]Modeling Power

Justin T. — Sun, 2 Nov 2025 02:15:38 +0900

[ qwen-image-prompt-extend]

딥러닝 전체의 관점에서 'Modeling Power'는 모델이 복잡한 데이터의 패턴, 관계, 구조를 학습하고 표현할 수 있는 능력을 의미합니다. 간단히 말해, "이 모델이 얼마나 잘 데이터를 이해하고 예측할 수 있는가"라는 질문에 답하는 개념입니다. 딥러닝의 핵심이 되는 개념으로, 모델의 설계, 구조, 학습 과정 등 다양한 요소와 깊이 연관됩니다.

[gemini-2.5-flash-image-preview (nano-banana)]

Modeling Power의 핵심 구성 요소

(1) 표현력 (Expressiveness)

표현력이란, 주어진 데이터 분포를 얼마나 정확하고 복잡하게 표현할 수 있는가를 나타냅니다.
예를 들어, CNN(Convolutional Neural Network)은 이미지의 스파이럴(공간적) 구조를 자연스럽게 학습하여 높은 표현력을 가집니다. 그리고 Transformer는 Self-Attention 메커니즘을 통해 긴 시퀀스 데이터(문장, 시간 시리즈) 내의 장거리 의존성을 효과적으로 모델링합니다.

범용 근사 정리(Universal Approximation Theorem) 이론은 단일 Layer만으로 어떤 함수든 근사시킬 수 있다고 합니다. 즉, 충분히 큰 완전 연결 계층(FC Layer) 신경망이 어떤 연속 함수든 근사할 수 있음을 증명합니다. 이는 딥러닝 모델의 표현력이 이론적으로 매우 강하다는 것을 의미합니다.

(2) 모델 용량 (Model Capacity)

모델 용량이란, 모델이 학습할 수 있는 최대 복잡도의 수준. 즉, 얼마나 많은 파라미터를 가질 수 있고, 그 파라미터를 얼마나 효과적으로 활용할 수 있는가를 나타냅니다.
예를 들어, 깊은 네트워크(Deep Network) 또는 넓은 네트워크(Wide Network)는 더 높은 용량을 가집니다. 그리고 LLM과 같은 대규모 파라미터 수(예: GPT-3의 175억 파라미터)를 가진 AI모델은 더 복잡한 패턴을 모델링할 수 있는 용량을 제공합니다.
주의사항으로, 용량이 너무 높으면 과적합(Overfitting)에 쉽게 빠질 수 있습니다. 따라서 Regularization기법(드롭아웃, L2 정규화, 데이터 증식 등)이 중요합니다.

(3) 일반화 능력 (Generalization Ability)

일반화 능력이란, 학습 데이터에 노출되지 않은 새로운 데이터에 대해 성능을 유지하는 능력으로, 이는 Modeling Power의 궁극적인 목표입니다. 아래는 관련 기술들에 대한 설명입니다.

Bias-Variance Tradeoff: 이는 모델이 데이터의 일반적인 패턴을 잘 포착하는지(Bias) 또는 노이즈까지 학습하지 않아서 일반화에 실패하는지(Variance)를 밸런스해야 합니다.
Regularization: 과적합을 방지하고 일반화 능력을 높이는 기술입니다.
즉, 높은 Modeling Power는 일반화 능력을 높일 수 있지만, 용량이 너무 크면 오히려 일반화가 어려워질 수 있습니다. 따라서 적절한 Modeling Power와 Regularization을 조화시키는 것이 중요합니다.

Modeling Power를 좌우하는 핵심 요소

(1) 아키텍처 (Architecture)

계층 구조 (Hierarchical Representation)는 딥러닝의 핵심으로, 낮은 수준의 특징(예: 이미지의 테두리)부터 높은 수준의 추상적 특징(예: Object, Scene)을 단계적으로 학습합니다. 이 계층적 구조가 복잡한 패턴의 Modeling Power를 크게 향상시킵니다.

아래는 모델 별 특정 Layer 유형에 대해 설명한 것입니다.
CNN: 스파이럴 데이터(이미지, 비디오)에 대한 높은 모델링 파워.
RNN/Transformer: 시퀀스 데이터(문장, 시간 시리즈)에 대한 높은 모델링 파워.
Self-Attention: Transformer의 핵심. 장거리 의존성을 직접 모델링하여 표현력을 크게 향상시킵니다.
모듈화(Modularity): 복잡한 기능을 소규모의 재사용 가능한 모듈로 분해하여 모델링 파워를 효율적으로 구축할 수 있습니다

(예: ResNet의 Residual Block).

(2) 파라미터 수 (Number of Parameters)

더 많은 파라미터는 더 복잡한 함수를 표현할 수 있는 용량을 제공합니다. 주의할 점은 단순히 파라미터 수를 늘리는 것이 항상 모델링 파워를 높이는 것은 아닙니다. 효과적인 학습과 정규화가 필요합니다.

(3) 학습 데이터 (Training Data)

양 (Amount): 더 많은 데이터는 모델이 더 diverse한 패턴을 학습하고, 일반화 능력을 향상시킵니다.
질 (Quality): 노이즈가 적고, 대표성이 높은 데이터는 모델링 파워를 더 효과적으로 활용할 수 있게 합니다.
다양성 (Diversity): 다양한 시나리오를 포함한 데이터는 모델의 표현력을 테스트하고 향상시킵니다.

(4) 학습 알고리즘 (Training Algorithm)

최적화 알고리즘 (Optimizer): Adam, SGD 등이 학습 과정을 얼마나 효과적으로 이끌어가느냐가 모델링 파워를 발휘하는 데 영향을 미칩니다.
초기화 (Initialization): 가중치의 초기값이 학습의 시작을 얼마나 잘 도와느냐.
학습률 (Learning Rate): 너무 높으면 불안정해지고, 너무 낮으면 학습이 느려질 수 있습니다.

(5) 정규화 (Regularization)

Regularization이란, 과적합을 방지하고, 모델이 학습 데이터 외의 새로운 데이터에 대한 일반화 성능을 높이기 위해 사용됩니다.
아래는 Regularization 방법들입니다.
드롭아웃 (Dropout): 훈련 시 무작위로 몇몇 뉴런을 비활성화하여 모델의 단순화를 유도합니다.
L1/L2 정규화: 가중치의 크기를 제한하여 과적합을 방지합니다..
데이터 증강 (Data Augmentation): 기존의 학습 데이터에 확대, 반전 등의 변화를 준 데이터를 추가해 다양성을 증가시켜 일반화 능력을 향상시켜줍니다.

Modeling Power의 중요성과 한계

Modeling Power가 높을수록 복잡한 문제(이미지 인식, 자연어 처리, 예측 등)를 해결할 수 있으며, Testset에서의 정확도나 F1 스코어 등 성능 지표를 높일 수 있습니다. 그러나 Modeling Power을 마냥 높이게 된다 하여 AI모델의 성능이 기하급수적으로 좋아지지 않고, 되려 성능이 저하됩니다. 아래는 이러한 한계에 대한 설명입니다.
과적합 (Overfitting): 모델링 파워가 너무 높고 정규화가 부적절하면 학습 데이터에만 최적화되어 새로운 데이터에서는 성능이 떨어집니다.
컴퓨팅 비용 (Computational Cost): 높은 모델링 파워(대형 모델, 긴 훈련 시간)는 계산 자원과 시간을 많이 소모합니다.
Interpretability (해석 가능성): 모델링 파워가 매우 높아지면 모델이 학습한 패턴이 인간이 이해하기 어려워질 수 있습니다.

결론

Modeling power는 딥러닝 모델이 주어진 데이터의 복잡한 패턴, 관계, 구조를 얼마나 효과적으로 학습하고, 이를 바탕으로 새로운 데이터에 대해 정확한 예측을 수행할 수 있는 전반적인 능력입니다.
이 능력은 아키텍처의 표현력, 모델의 용량, 학습 데이터의 품질, 학습 알고리즘, 정규화 기법 등 다양한 요소의 조합에 의해 결정됩니다.

높은 Modeling Power는 강력한 성능을 가져오지만, 과적합이나 컴퓨팅 비용 등의 문제를 동반할 수 있으므로, 적절한 밸런스를 찾는 것이 중요합니다.

참고자료: https://arxiv.org/abs/1606.05336

On the Expressive Power of Deep Neural Networks

We propose a new approach to the problem of neural network expressivity, which seeks to characterize how structural properties of a neural network family affect the functions it is able to compute. Our approach is based on an interrelated set of measures o

arxiv.org

늦깎이 공대생의 인공지능 연구실

[용어정리] Confident Learning(신뢰 학습)

우리가 믿었던 데이터셋의 배신

Confident Learning이란?

잠깐, '결합 분포(Joint Distribution)'란 무슨 뜻일까요?

Confident Learning의 3가지 핵심 원칙

1. Prune (가지치기): 손실 함수 변경 대신 오염 데이터 직접 제거

2. Count (확신 기반 카운팅): 각 클래스별 임계값(Threshold)을 통한 오염도 추정

3. Rank (우선순위 정렬): 확률값의 절대적 수치에 의존하지 않는 안전성

직관적으로 이해하는 결합 분포 Matrix 산출 방식

1단계: OOF(Out-of-Fold) 예측 확률 수집

2단계: 확신 기반 결합 행렬(Confident Joint Matrix) 구축

3단계: 상위 오류 데이터 제거 및 모델 재학습

Confident Learning의 실무적 장점

참고자료

시각 AI를 위한 Active Learning(3) - 산업 현장의 혁신과 실제 적용 사례

자율주행: 치명적인 '엣지 케이스(Edge Case)' 정복

NVIDIA의 야간 보행자 인식 개선 사례

의료 AI 진단: 전문의를 'AI 훈련의 주체(Physician-in-the-loop)'로 이끄는 Active Learning

'단순 Labeler'에서 'AI 훈련의 주체'로 (Physician-in-the-loop)

기존 워크플로우(PACS)와의 통합과 직관적인 피드백

MLOps 및 데이터 플랫폼의 '핵심 엔진'으로 안착

데이터 중심 AI(Data-Centric AI)를 돕는 도구들

마치며: 양(Quantity)의 시대에서 질(Quality)의 시대로

시각 AI를 위한 Active Learning(2) - Segmentation과 Active Learning의 기술적 결합

Semanitc Segmentation이란?

세그멘테이션 관점에서 본 Active Learning의 5대 핵심 요소

단계별로 보는 Active Learning의 작동 프로세스

[1단계] 기초 다지기 (Initial Bootstrapping)

[2단계] 추론 및 불확실성 측정 (Inference & Uncertainty Estimation)

[3단계] 대표성 있는 샘플 선별 (Sampling)

[4단계] 인간의 개입 (Human-in-the-loop Labeling)

[5단계] 점진적 학습 (Incremental Learning)

왜 세그멘테이션에서 AL이 특히 중요한가?

결론

[용어정리] Channel

Channel이란 무엇인가?

채널(Channel)

AI에게 있어 Channel의 역할은?

채널은 곧 AI의 '생각의 깊이'

특징 추출을 위한 Channel 축소 과정

결론: AI에게 '채널'이란 무엇인가?

시각 AI를 위한 Active Learning(1) - AI의 공부법과 능동 학습

AI 개발의 거대한 장벽: '데이터의 굴레'

Active Learning이란 무엇인가?

무작정 읽기만 하는 '수동적인 철수' (Passive Learning)

약점을 공략하는 '능동적인 영희' (Active Learning)

Active Learning 시스템의 5가지 핵심 요소

모델 (Learner): 공부하는 학생

데이터 풀 (Unlabeled Pool): 아직 읽지 않은 두꺼운 문제집

선택 전략 (Query Strategy): 무엇을 모르는지 찾아내는 기준

오라클 (Oracle): 질문에 답해주는 선생님

정답셋 (Labeled Set): 오답 노트 및 핵심 요약집

지능의 선순환: Active Learning은 어떻게 작동하는가?

산업 현장에서 증명된 Active Learning의 가치

질적인 성숙을 지향하는 '데이터 중심 AI'

[논문프리뷰]word2vec은 정확히 무엇을 학습하는가?

분석 결과

특징(Feature)이란 무엇인가?

네 가지 '가벼운 근사(Mild Approximations)'란 무엇인가?

이론의 강점: 데이터 분포에 의존하지 않음

결론 및 응용: 추상적 선형 표현의 등장

[용어 정리]유니그램 확률(Unigram Probability)

유니그램(Unigram)이란 무엇인가

유니그램 확률: "단어 주머니에서 제비뽑기"

계산 방법

유니그램 확률의 한계

[논문프리뷰] ​전신 기반 에고센트릭 비디오 예측 (Whole-Body Conditioned Egocentric Video Prediction)

PEVA: 인간 행동으로부터 에고센트릭 비디오 예측하기

신체화된 에이전트 구현이 어려운 이유

주요 업무

방법

동작에서 구조화된 행동 표현 (Structured Action Representation from Motion)

PEVA 설계: 자회귀적 조건부 디퓨전 트랜스포머(Autoregressive Conditional Diffusion Transformer)

비디오 생성 및 확장 전략 (Sampling and Rollout Strategy)

원자적 행동 (Atomic Actions)

장시간 롤아웃 (Long Rollout)

계획 수립 (Planning)

시각적 계획 능력 구현

정량적 결과 (Quantitative Results)

[논문프리뷰] 전신 기반 에고센트릭 비디오 예측 (Whole-Body Conditioned Egocentric Video Prediction)