늦깎이 공대생의 인공지능 연구실

ChatGPT는 영어로 사람들과 놀랍도록 잘 소통할 수 있습니다. 그렇다면 어떤 영어를 사용할까요? ChatGPT 사용자의 15%만이 표준 미국 영어를 기본으로 사용하는 미국 출신입니다. 그러나 이 모델은 다른 종류의 영어를 사용하는 국가와 커뮤니티에서도 일반적으로 사용됩니다. 전 세계 10억 명 이상의 사람들이 인도 영어, 나이지리아 영어, 아일랜드 영어, 미국 흑인 영어와 같은 다양한 영어를 사용합니다. 이러한 '표준'이 아닌 언어를 사용하는 사람들은 현실 세계에서 종종 차별에 직면합니다. 모든 언어가 똑같이 복잡하고 적법하다는 광범위한 연구 결과가 있음에도 불구하고 이들은 자신의 말하기 방식이 비전문적이거나 부정확하다는 말을 듣거나, 증언으로서 불신을 받거나, 주택 임대를 거부당하기도 합니다. 누군..

대형언어모델(LLM)의 탈옥 방법에 대한 연구를 시작하였을때, 금지된 프롬프트를 모호한 언어로 번역하는 것만으로 프론티어급 LLM을 탈옥시킬 수 있다는 흥미로운 논문이 등장했습니다. 이 결과에 흥미를 느낀 BAIR 연구진은 이를 재현하는 과정에서 예상치 못한 결과를 발견했습니다.해당 논문에서는 금지된 메시지를 '스코틀랜드 게일어'로 번역하여 GPT-4를 탈옥시키는데 43%라는 놀라운 성공률을 기록했다고 주장했습니다.(Yong et al., 2023). 저자들은 그들의 방법을 보여주기 위해 GPT-4에 가정용 재료를 사용하여 수제 폭발 장치를 만드는 방법을 알려달라고 요청했습니다. 그들은 이 안내문을 스코틀랜드 게일어로 아래와 같이 번역했습니다.Ionnsaich mar a thogas tu inneal s..

AI 분야에서 관련 연구를 수행하시는 분들이라면 그 누구도 Nvidia의 GPU를 사용하지 않고 AI모델을 학습을 할 수 있는 방법을 떠올리기 어려울 정도로 Nvidia GPU는 2024년 현재 인공지능 분야에서 대체불가의 절대 권좌를 누리고 있습니다. 그러한 영향으로 Nvidia의 주식은 2024년초 대비 무려 2배 가까이 상승하였고, AI 적용 분야의 확산으로 인한 GPU의 수요는 끊임없이 상승할 것으로 보여 Nvidia의 전망을 매우 밝아보입니다. AI 연구를 수행하고 있는 저 또한 여러 종류의 Nvidia GPU를 접할 수 있는 기회가 있었습니다. GTX 1080 시리즈부터 H100까지 지금도 다양한 그래픽카드를 사용하여 여러 종류의 AI모델들의 학습을 진행하는 연구를 수행하고 있습니다. 워낙 많..

인간은 방대한 시각 자료 처리에 탁월하며, 이는 인공 일반 지능(AGI)을 구현하는 데 매우 중요한 기술입니다. 수십 년 동안 AI 연구자들은 단일 이미지 내의 장면을 해석하고 관련 질문에 답하는 VQA(Visual Question Answering) 시스템을 개발해 왔습니다. 최근 기초 모델의 발전으로 인간과 기계의 시각 처리 사이의 격차가 크게 좁혀졌지만, 기존의 VQA는 전체 시각 데이터 집합보다 한 번에 단 하나의 이미지에 대해서만 추론하는 것으로 제한되어 왔습니다.  이러한 한계는 보다 복잡한 시나리오에서 문제가 발생합니다. 예를 들어 의료 이미지 자료에서 패턴을 식별하거나, 위성 이미지를 통해 삼림 벌채를 모니터링하거나, 자율 주행 데이터를 사용하여 도심 변화를 매핑하거나, 대규모 미술품 컬렉..

자연어(예: 영어)를 통해 명령을 실행하는 LLM의 능력 덕분에 적절한 도구들(ToolFormer, Gorilla)을 조율하여 사용자 쿼리를 완료할 수 있는 에이전트 시스템을 구현할 수 있게 되었습니다. 이는 GPT-4o 또는 Gemeni-1.5 모델과 같은 최근의 멀티모달 연구와 함께 AI 에이전트의 가능성의 영역을 확장시켰습니다. 이는 매우 흥미로운 일이지만, 이러한 모델의 규모가 크고 계산 요구사항이 많기 때문에 클라우드에서 연산을 수행해야 하는 경우가 많습니다. 이로 인하여 광범위한 도입에는 몇 가지 문제가 발생할 수 있습니다. 무엇보다도 비디오, 오디오 또는 텍스트 문서와 같은 데이터를 타사 클라우드 공급업체에 업로드 하게되면 개인정보 보호문제가 발생할 수 있습니다. 둘째로, 클라우드/Wi-Fi..

비전 AI 분야에서 물체 탐지(Object Detection) 모델의 결과는 보통 해당 물체의 위치를 직사각형 모양의 Bounding Box로 둘러싸 직접 표현합니다. 이러한 방법은 단지 이미지 내에 원하는 물체가 어느 위치에 있는지 파악하는 것이 목적이라면 더없이 충분합니다. 그러나 Bounding Box 내에는 찾고자 하는 물체 뿐 아니라 물체 주변의 배경(Background)정보도 포함되기 때문에 대각선으로 긴 물체가 탐지된 경우 실제 물체가 Bounding Box에서 차지하는 비중이 배경보다 픽셀 갯수가 적기 때문에 오히려 배경 정보가 원하는 물체의 정보보다 더 비중이 클 수 있습니다. 실제 우리가 접하는 사진들은 의도대로 찍히지 않는 경우가 많기 때문에 자연 상태의 이미지에서는 Bounding ..

저는 컴퓨터 비전 연구자로서 모든 픽셀 하나하나가 하나의 이야기를 담고 있다고 믿습니다. 그러나 큰 이미지를 처리하는 데 있어서는 이 분야에 장애물이 있는 것 같습니다. 우리가 주머니에 넣고 다니는 카메라와 지구 궤도를 도는 카메라가 너무 크고 세밀한 사진을 찍어 현재 최고의 모델과 하드웨어가 처리할 수 있는 한계에 도달할 정도로 큰 이미지가 널리 사용되고 있습니다. 일반적으로 이미지 크기에 따라 메모리 사용량이 4배로 증가합니다. 오늘날 우리는 대용량 이미지를 처리할 때 다운샘플링 또는 크롭이라는 두 가지 차선책 중 하나를 선택합니다. 이러한 두 가지 방법은 이미지에 존재하는 정보와 컨텍스트의 양에 상당한 손실을 초래합니다. 이러한 접근 방식을 다시 한 번 살펴보고 최신 GPU에서 대규모 이미지를 엔드..

2023년 AI는 명령어만으로 번역이나 코딩과 같은 일반적인 작업을 수행하도록 지시할 수 있는 대규모 언어 모델(LLM)로 많은 주목을 받았습니다. 이는 자연스럽게 AI 애플리케이션 개발의 주요 요소인 모델에 대한 집중적인 연구로 이어졌고, 모두가 새로운 LLM이 어떤 기능을 제공할지 관심을 갖게 되었습니다. 그런데 더 많은 개발자가 LLM을 사용하여 개발하기 시작하면서 이러한 관점이 빠르게 변화하고 있으며, 단일 모델이 아닌 여러 구성 요소가 포함된 복합 시스템에서 최첨단 AI 결과를 얻는 경우가 점점 더 많아지고 있습니다. 예를 들어 Google의 AlphaCode 2는 LLM을 사용하여 하나의 작업에 대해 최대 100만 개의 가능한 솔루션을 생성한 다음 세심하게 설계된 시스템을 통해 프로그래밍의 가..