늦깎이 공대생의 인공지능 연구실

">   강화학습(RL)으로 제어되는 차량 100대를 출퇴근 시간대 고속도로 교통 체증에 투입하여 교통 체증을 완화하고 모든 차량의 연료 소비를 줄이는 데 성공했습니다. 우리의 목표는 일반적으로 명확한 원인은 없지만 정체를 유발하고 상당한 에너지 낭비를 초래하는 ''스톱 앤 고'' 현상을 해결하는 것입니다. 효율적인 흐름 원활화 제어 솔루션을 훈련하기 위해 우리는 RL 에이전트가 상호 작용하는 빠른 데이터 기반 시뮬레이션을 구축하여 처리량을 유지하면서 에너지 효율을 극대화하고 인간 운전자가 안전하게 운행할 수 있는 방법을 학습했습니다. 전반적으로, 잘 제어된 자율주행차(AV)의 소수는 도로의 모든 운전자의 교통 흐름과 연비를 크게 개선하기에 충분합니다. 또한, 훈련된 차량 제어 시스템은 대부분의..

기발한 연구 논문을 작성하는 것이 목적인 대학원생과 수익을 내는 것이 목적인 직장인은 AI를 다루는 관점이 다를 수밖에 없습니다. 대학원생의 경우 기존에 공개된 AI모델의 성능을 고도화 하는 것을 목표로 하고, 직장인의 경우 기존에 공개된 성능좋은 AI모델을 어떻게 실무를 적용할지를 목표로 합니다. 그렇기에 대학원생은 AI모델의 알고리즘 고도화에 집중하는 경향이 있고, 직장인의 경우 AI모델이 적용되는 도메인 분야의 데이터를 어떻게 효율적으로 학습시키는지에 대해 집중하는 경향이 있습니다. 저 또한 대학원생때 기존의 AI모델 성능 고도화에 목맨 적이 있었는데, 밤새 고군분투하며 노력해도 연구결과를 도출하는 것이 결코 쉽지는 않았습니다. 물론 현업에서 AI모델을 적용하는 것 또한 도메인 지식인 데이터의 특성..

우리는 어떻게 하면 모델을 학습하고 이를 기반으로 행동할 수 있을지에 대한 질문에 답하고자 합니다.모델 학습을 위한 데이터 수집모델을 학습시키기 위해 데이터를 어떻게 수집할 수 있을까요? 이는 마치 '닭이 먼저냐 달걀이 먼저냐'와 같은 문제입니다. 나쁜 Policy는 나쁜 Experience로 이어지고, 나쁜 모델로 이어지고, 이는 또 나쁜 Policy로 이어지는 악순환이 발생하는 것이지요.이는 곧 학습 안정성 문제로 이어집니다. 최근 게임 이론에서 안정성에 대한 기준을 제시하는 몇 가지 연구가 있습니다.고정된 오프라인 데이터셋(Fixed off-line datasets)이 루프 문제를 해결하는 또 다른 방법은 Policy와 관련이 없는 고정된 Experience에서 실제로 훈련할 수 있는지 확인하는 것..

요즘 AI모델 성능 고도화를 위이 어떻게 하면 좋을지 Fine-Tuning을 하기 위해 학습 설정값들을 조금씩 바꾸면서 AI모델의 성능을 향상시키는데 열중하고 있습니다. 그러던 와중 Weight Decay값인 λ를 조절해보고 있는데, 이 값을 조정하였을 때 AI모델의 Weight에 어떻게 영향을 주는지 궁금해졌습니다. 제가 딥러닝을 공부하던 당시에는 Weight Decay를 설정하여 Overfitting을 막는다는 정도로만 배우고 이해하고 있었는데 실무에서 Weight Decay를 마주하게 되니 막상 이론으로 배웠던 용어가 실제 내가 다루고 있는 AI모델 성능 향상을 위해 어떻게 적용해야 하는지 잠시 궁금했습니다.먼저, Weight Decay가 모델 성능을 향상시킬 수 있는 이유에 대해 Chat GPT에..

수백만, 수십억 명의 개성 있는 인간 저자들이 집단적으로 생산한 방대한 규모의 텍스트 집단(Text Corpora)에 대해 대규모 언어 모델(LLM)을 학습시킨다는 것은 어떤 의미일까요? “Language Models as Agent Models”  논문에서는 최근의 언어 모델을 에이전트의 모델로 간주할 수 있다는 확실한 증거를 제시합니다. 텍스트 문맥이 제공되면 LLM은 해당 문맥을 생성했을 가능성이 있는 에이전트의 특성을 나타내는 조건 문맥을 생성할 수 있습니다. 이는 적절한 조정을 통해 LLM이 여러 사람들의 의견을 섞어내는 것이 아니라 특정 사람의 응답에 근접하도록 유도할 수 있음을 시사합니다. LLM의 이러한 기능이 실현된다면 인간 피실험자의 가상 페르소나(Virtual Personas)가 비용..

ChatGPT는 영어로 사람들과 놀랍도록 잘 소통할 수 있습니다. 그렇다면 어떤 영어를 사용할까요? ChatGPT 사용자의 15%만이 표준 미국 영어를 기본으로 사용하는 미국 출신입니다. 그러나 이 모델은 다른 종류의 영어를 사용하는 국가와 커뮤니티에서도 일반적으로 사용됩니다. 전 세계 10억 명 이상의 사람들이 인도 영어, 나이지리아 영어, 아일랜드 영어, 미국 흑인 영어와 같은 다양한 영어를 사용합니다. 이러한 '표준'이 아닌 언어를 사용하는 사람들은 현실 세계에서 종종 차별에 직면합니다. 모든 언어가 똑같이 복잡하고 적법하다는 광범위한 연구 결과가 있음에도 불구하고 이들은 자신의 말하기 방식이 비전문적이거나 부정확하다는 말을 듣거나, 증언으로서 불신을 받거나, 주택 임대를 거부당하기도 합니다. 누군..

대형언어모델(LLM)의 탈옥 방법에 대한 연구를 시작하였을때, 금지된 프롬프트를 모호한 언어로 번역하는 것만으로 프론티어급 LLM을 탈옥시킬 수 있다는 흥미로운 논문이 등장했습니다. 이 결과에 흥미를 느낀 BAIR 연구진은 이를 재현하는 과정에서 예상치 못한 결과를 발견했습니다.해당 논문에서는 금지된 메시지를 '스코틀랜드 게일어'로 번역하여 GPT-4를 탈옥시키는데 43%라는 놀라운 성공률을 기록했다고 주장했습니다.(Yong et al., 2023). 저자들은 그들의 방법을 보여주기 위해 GPT-4에 가정용 재료를 사용하여 수제 폭발 장치를 만드는 방법을 알려달라고 요청했습니다. 그들은 이 안내문을 스코틀랜드 게일어로 아래와 같이 번역했습니다.Ionnsaich mar a thogas tu inneal s..

AI 분야에서 관련 연구를 수행하시는 분들이라면 그 누구도 Nvidia의 GPU를 사용하지 않고 AI모델을 학습을 할 수 있는 방법을 떠올리기 어려울 정도로 Nvidia GPU는 2024년 현재 인공지능 분야에서 대체불가의 절대 권좌를 누리고 있습니다. 그러한 영향으로 Nvidia의 주식은 2024년초 대비 무려 2배 가까이 상승하였고, AI 적용 분야의 확산으로 인한 GPU의 수요는 끊임없이 상승할 것으로 보여 Nvidia의 전망을 매우 밝아보입니다. AI 연구를 수행하고 있는 저 또한 여러 종류의 Nvidia GPU를 접할 수 있는 기회가 있었습니다. GTX 1080 시리즈부터 H100까지 지금도 다양한 그래픽카드를 사용하여 여러 종류의 AI모델들의 학습을 진행하는 연구를 수행하고 있습니다. 워낙 많..