목록전체 글 (81)
늦깎이 공대생의 인공지능 연구실

우리는 어떻게 하면 모델을 학습하고 이를 기반으로 행동할 수 있을지에 대한 질문에 답하고자 합니다.모델 학습을 위한 데이터 수집모델을 학습시키기 위해 데이터를 어떻게 수집할 수 있을까요? 이는 마치 '닭이 먼저냐 달걀이 먼저냐'와 같은 문제입니다. 나쁜 Policy는 나쁜 Experience로 이어지고, 나쁜 모델로 이어지고, 이는 또 나쁜 Policy로 이어지는 악순환이 발생하는 것이지요.이는 곧 학습 안정성 문제로 이어집니다. 최근 게임 이론에서 안정성에 대한 기준을 제시하는 몇 가지 연구가 있습니다.고정된 오프라인 데이터셋(Fixed off-line datasets)이 루프 문제를 해결하는 또 다른 방법은 Policy와 관련이 없는 고정된 Experience에서 실제로 훈련할 수 있는지 확인하는 것..

요즘 AI모델 성능 고도화를 위이 어떻게 하면 좋을지 Fine-Tuning을 하기 위해 학습 설정값들을 조금씩 바꾸면서 AI모델의 성능을 향상시키는데 열중하고 있습니다. 그러던 와중 Weight Decay값인 λ를 조절해보고 있는데, 이 값을 조정하였을 때 AI모델의 Weight에 어떻게 영향을 주는지 궁금해졌습니다. 제가 딥러닝을 공부하던 당시에는 Weight Decay를 설정하여 Overfitting을 막는다는 정도로만 배우고 이해하고 있었는데 실무에서 Weight Decay를 마주하게 되니 막상 이론으로 배웠던 용어가 실제 내가 다루고 있는 AI모델 성능 향상을 위해 어떻게 적용해야 하는지 잠시 궁금했습니다.먼저, Weight Decay가 모델 성능을 향상시킬 수 있는 이유에 대해 Chat GPT에..

수백만, 수십억 명의 개성 있는 인간 저자들이 집단적으로 생산한 방대한 규모의 텍스트 집단(Text Corpora)에 대해 대규모 언어 모델(LLM)을 학습시킨다는 것은 어떤 의미일까요? “Language Models as Agent Models” 논문에서는 최근의 언어 모델을 에이전트의 모델로 간주할 수 있다는 확실한 증거를 제시합니다. 텍스트 문맥이 제공되면 LLM은 해당 문맥을 생성했을 가능성이 있는 에이전트의 특성을 나타내는 조건 문맥을 생성할 수 있습니다. 이는 적절한 조정을 통해 LLM이 여러 사람들의 의견을 섞어내는 것이 아니라 특정 사람의 응답에 근접하도록 유도할 수 있음을 시사합니다. LLM의 이러한 기능이 실현된다면 인간 피실험자의 가상 페르소나(Virtual Personas)가 비용..

ChatGPT는 영어로 사람들과 놀랍도록 잘 소통할 수 있습니다. 그렇다면 어떤 영어를 사용할까요? ChatGPT 사용자의 15%만이 표준 미국 영어를 기본으로 사용하는 미국 출신입니다. 그러나 이 모델은 다른 종류의 영어를 사용하는 국가와 커뮤니티에서도 일반적으로 사용됩니다. 전 세계 10억 명 이상의 사람들이 인도 영어, 나이지리아 영어, 아일랜드 영어, 미국 흑인 영어와 같은 다양한 영어를 사용합니다. 이러한 '표준'이 아닌 언어를 사용하는 사람들은 현실 세계에서 종종 차별에 직면합니다. 모든 언어가 똑같이 복잡하고 적법하다는 광범위한 연구 결과가 있음에도 불구하고 이들은 자신의 말하기 방식이 비전문적이거나 부정확하다는 말을 듣거나, 증언으로서 불신을 받거나, 주택 임대를 거부당하기도 합니다. 누군..

대형언어모델(LLM)의 탈옥 방법에 대한 연구를 시작하였을때, 금지된 프롬프트를 모호한 언어로 번역하는 것만으로 프론티어급 LLM을 탈옥시킬 수 있다는 흥미로운 논문이 등장했습니다. 이 결과에 흥미를 느낀 BAIR 연구진은 이를 재현하는 과정에서 예상치 못한 결과를 발견했습니다.해당 논문에서는 금지된 메시지를 '스코틀랜드 게일어'로 번역하여 GPT-4를 탈옥시키는데 43%라는 놀라운 성공률을 기록했다고 주장했습니다.(Yong et al., 2023). 저자들은 그들의 방법을 보여주기 위해 GPT-4에 가정용 재료를 사용하여 수제 폭발 장치를 만드는 방법을 알려달라고 요청했습니다. 그들은 이 안내문을 스코틀랜드 게일어로 아래와 같이 번역했습니다.Ionnsaich mar a thogas tu inneal s..

AI 분야에서 관련 연구를 수행하시는 분들이라면 그 누구도 Nvidia의 GPU를 사용하지 않고 AI모델을 학습을 할 수 있는 방법을 떠올리기 어려울 정도로 Nvidia GPU는 2024년 현재 인공지능 분야에서 대체불가의 절대 권좌를 누리고 있습니다. 그러한 영향으로 Nvidia의 주식은 2024년초 대비 무려 2배 가까이 상승하였고, AI 적용 분야의 확산으로 인한 GPU의 수요는 끊임없이 상승할 것으로 보여 Nvidia의 전망을 매우 밝아보입니다. AI 연구를 수행하고 있는 저 또한 여러 종류의 Nvidia GPU를 접할 수 있는 기회가 있었습니다. GTX 1080 시리즈부터 H100까지 지금도 다양한 그래픽카드를 사용하여 여러 종류의 AI모델들의 학습을 진행하는 연구를 수행하고 있습니다. 워낙 많..

인간은 방대한 시각 자료 처리에 탁월하며, 이는 인공 일반 지능(AGI)을 구현하는 데 매우 중요한 기술입니다. 수십 년 동안 AI 연구자들은 단일 이미지 내의 장면을 해석하고 관련 질문에 답하는 VQA(Visual Question Answering) 시스템을 개발해 왔습니다. 최근 기초 모델의 발전으로 인간과 기계의 시각 처리 사이의 격차가 크게 좁혀졌지만, 기존의 VQA는 전체 시각 데이터 집합보다 한 번에 단 하나의 이미지에 대해서만 추론하는 것으로 제한되어 왔습니다. 이러한 한계는 보다 복잡한 시나리오에서 문제가 발생합니다. 예를 들어 의료 이미지 자료에서 패턴을 식별하거나, 위성 이미지를 통해 삼림 벌채를 모니터링하거나, 자율 주행 데이터를 사용하여 도심 변화를 매핑하거나, 대규모 미술품 컬렉..

자연어(예: 영어)를 통해 명령을 실행하는 LLM의 능력 덕분에 적절한 도구들(ToolFormer, Gorilla)을 조율하여 사용자 쿼리를 완료할 수 있는 에이전트 시스템을 구현할 수 있게 되었습니다. 이는 GPT-4o 또는 Gemeni-1.5 모델과 같은 최근의 멀티모달 연구와 함께 AI 에이전트의 가능성의 영역을 확장시켰습니다. 이는 매우 흥미로운 일이지만, 이러한 모델의 규모가 크고 계산 요구사항이 많기 때문에 클라우드에서 연산을 수행해야 하는 경우가 많습니다. 이로 인하여 광범위한 도입에는 몇 가지 문제가 발생할 수 있습니다. 무엇보다도 비디오, 오디오 또는 텍스트 문서와 같은 데이터를 타사 클라우드 공급업체에 업로드 하게되면 개인정보 보호문제가 발생할 수 있습니다. 둘째로, 클라우드/Wi-Fi..