늦깎이 공대생의 인공지능 연구실

이 논문은 대규모 언어 모델링의 진전에 영감을 받아, 텍스트 출력의 영역을 넘어 단일의 박학다식한 에이전트를 구축하는 데 유사한 접근 방식을 적용합니다. Gato라 이름을 붙인 에이전트는 멀티모달, 다중 작업, 다중 구현 팔방미인 정책으로 작동합니다. 동일한 가중치를 가진 동일한 신경망은 실제 로봇 팔로 Atari, 캡션 이미지, 채팅, 블록 쌓기 등을 수행하여 텍스트, 관절 돌림힘, 버튼 누르기 또는 다른 토큰을 출력할 것인지 여부를 맥락에 따라 결정할 수 있습니다. 이 포스팅에서는 모델과 데이터를 설명하고 Gato의 현재 기능을 설명하고자 합니다. Gato는 동일한 가중치셋을 가진 단일 신경망을 사용하여 광범위한 환경에서 다양한 구현을 감지하고 행동할 수 있습니다. Gato는 다양한 양식, 관찰 및 ..

위성 사진은 현재 러시아의 우크라이나 침공 상황에서 중요한 정보원입니다. 군사 전략가, 언론인, 그리고 연구원들은 위성 사진을 분석하여 결정을 내리고, 국제 협약의 위반을 밝히고, 대중에게 전쟁의 냉엄한 현실을 알리기 위해 이 이미지를 사용합니다. 우크라이나가 많은 양의 구름이 나라를 덮고 있는 것을 경험한데다가, 밤 시간 동안 종종 공격이 발생하면서, 대다수의 위성 사진이 지상을 보는 이러한 요소들에 의해 방해가 됩니다. 합성 개구경 레이더(SAR) 이미지는 두꺼운 구름을 관통하지만 해석하려면 특수 교육이 필요합니다. 이 지루한 작업을 자동화하면 실시간 통찰력을 얻을 수 있지만, 일반적인 RGB 이미지에서 개발된 현재의 컴퓨터 비전 방법은 SAR의 현상학을 제대로 설명하지 못합니다. 이로 인해 이 중요..

※내용이 길어져 포스팅 내용을 분리하여 시계열 관련 내용을 별도로 정리하였습니다. 시계열(Time series) 먼저 데이터에 대해 작업 중인 문제에 따라 몇 가지 다른 유형의 데이터를 간략히 언급하고자 합니다. 서로 다른 유형의 데이터로 작업을 해야만 하는데, 각 유형들은 다른 전처리 작업을 요구하며, 몇몇 경우에는 다른 모델링 기술을 요구합니다. 예를 들어 이미지나 비디오, 텍스트, 오디오 또는 시계열 데이터에 대한 작업을 할 수도 있을것입니다. 이와 같은 데이터는 워낙 많아 전부다 다룰 수는 없습니다. 이 중 일부를 직접 살펴볼 수 있도록 몇 가지 선택된 데이터들을 보여드리겠습니다. CIFAR-10 이미지 데이터셋에 사용할 수 있는 옵션들이 있으며 시계열 데이터로 작업할 수 있는 다른 데이터도 두 ..

※이 자료는 Deeplearning.ai에서 제공하는 MLOps의 자료를 인용하였습니다. MLOps란 단순히 기계학습 모델 뿐 아니라, 데이터를 수집하고 분석하는 단계 (Data Collection, Ingestion, Analysis, Labeling, Validation, Preparation), 그리고 기계학습 모델을 학습하고 배포하는 단계(Model Training, Validation, Deployment)까지 전 과정을 AI Lifecycle로 보고 이에 대한 전반적인 내용을 이해하는 것을 목적으로 합니다. 지금부터 다루고자 하는 내용들은 MLOps 과정 중 생산 전문화를 위한 기계학습 데이터 Lifecycle의 방법들 중 일부인 고급 레이블링(Advanced labeling), 데이터 증강(..

※이 글은 ICML 2020에서 발표된 Tutorial on Model-Based Methods in Reinforcement Learning의 내용에 대해 Isaac Kargar의 요약본을 번역한 내용임 정리한 것임을 알립니다. 소개 및 동기 부여 월드 모델에 접근하여 의사 결정에 사용하는 것은 상당히 강력한 아이디어입니다. 로봇 공학(어떤 행동을 함으로써 일어날 일에 대한 조작), 자율주행 자동차(다른 에이전트의 결정과 미래 움직임에 대한 모델을 가지고 그에 따른 행동), 게임(AlphaGo- 다른 가능성을 검색), 과학(화학 사용 사례), 운영 연구 및 에너지 적용(수요를 충족시키기 위해 다양한 시점에 재생 에너지를 공급)과 같은 다양한 분야에서 모델 기반 강화학습(MBRL)의 응용분야는 무궁무진 ..

지도학습 RL의 단점 강화학습(RL)은 자율주행 차량 제어, 디지털 비서, 리소스 할당과 같은 AI의 많은 관심분야들이 문제를 해결하기 위한 강력한 패러다임 입니다. 저자들은 지난 5년 동안 외부 보상 기능이 제공될 때 RL 에이전트가 바둑, 스타크래프트 및 뛰어난 손재주 로봇 조작과 같은 매우 복잡한 작업을 마스터할 수 있음을 보였습니니다. 대규모 RL 에이전트는 놀라운 결과를 얻을 수 있지만 오늘날 최고의 RL 에이전트 조차도 성공할 수 있는 분야의 범위가 좁습니다. 오늘날 대부분의 RL 알고리즘은 훈련된 단말 작업만 해결할 수 있으며, 크로스 작업 또는 크로스 도메인 일반화 능력을 보이지 않습니다. 오늘날의 RL 시스템을 적용하고자 하는 분야 한정으로 인한 부작용은 오늘날의 RL 에이전트도 데이터 ..

2016년, 구글, 스탠포드, UC버클리 및 OpenAI의 연구원들이 공개한 논문 "AI 안전에 관한 구체적은 문제들(Concrete Problems in AI Safety)에 대해 다루어보고자 합니다. 2021년 12월 현재 피인용수 1300건을 기록한 이 논문은 5년이 지난 지금까지도 여전히 AI 안전에 관한 가장 중요한 논문 중 하나입니다. 심지어 연구원들이 인공지능을 개발하면서 직면하는 몇 가지 문제들에 대한 훌륭한 입문서로 활용되고 있습니다. 이 논문에서 저자들은 AI 시스템에서 의도하지 않았던 해로운 행동을 초래하는 사고 문제를 탐구하고, 이러한 잠재적인 문제로부터 보호하기 위한 다양한 전략과 진행 중인 연구들에 대해 논의합니다. 특히 저자들은 사무실을 청소하도록 훈련된 로봇의 예를 통해 치명..

구글브레인(Google Brain)과 오픈AI(OpenAI) 연구원들이 공동으로, "Unsolved Problems in ML Safety" 논문을 발표합니다. 최근 대규모 모델에 의해 도입된 사례와 같은 기계학습의 새로운 안전 문제로 인해 ML Safety에 대한 새로운 로드맵을 제공하고 현장에서 해결해야 할 기술적 문제를 개선하고자 합니다. 논문의 프리뷰로서, 이 논문의 방향의 소주제, 즉 위험 감수("강건함"), 위험 식별("모니터링") 및 조향 ML 시스템("정렬")에 대해 이야기 해봅니다. 강건함(Robustness) 강건함 연구는 극단적인 위험과 적대적 위협에 덜 취약한 시스템을 구축하는 것을 목표로 합니다. 강건함의 이 두 가지 문제는 롱테일 효과(Long tail)에 대한 강건함과 적대적 ..