[논문프리뷰] 배경 이야기 엔솔로지를 통한 언어 모델용 가상 페르소나(Virtual Personas for Language Models via an Anthology of Backstories)

개인의 가치관과 경험에 대한 풍부한 디테일이 담긴 자연스러운 배경 이야기를 생성하고 활용하여 LLM을 대표성 있고 일관되며 다양한 가상 페르소나로 조정하는 방법인 앤솔로지(Anthology).

 

수백만, 수십억 명의 개성 있는 인간 저자들이 집단적으로 생산한 방대한 규모의 텍스트 집단(Text Corpora)에 대해 대규모 언어 모델(LLM)을 학습시킨다는 것은 어떤 의미일까요?
 
“Language Models as Agent Models”  논문에서는 최근의 언어 모델을 에이전트의 모델로 간주할 수 있다는 확실한 증거를 제시합니다. 텍스트 문맥이 제공되면 LLM은 해당 문맥을 생성했을 가능성이 있는 에이전트의 특성을 나타내는 조건 문맥을 생성할 수 있습니다. 이는 적절한 조정을 통해 LLM이 여러 사람들의 의견을 섞어내는 것이 아니라 특정 사람의 응답에 근접하도록 유도할 수 있음을 시사합니다. LLM의 이러한 기능이 실현된다면 인간 피실험자의 가상 페르소나(Virtual Personas)가 비용 효율적인 파일럿 연구 및 인간 연구의 모범 사례(예: 정의와 선의의 벨몬트 원칙)를 지원하는 역할을 할 수 있으므로 사용자 연구 및 소셜 사이언스 조건부 언어 모델(Conditioned Language Models)에 중요한 영향을 미칠 것입니다.
 
이 연구에서는 모델에 조건화된 컨텍스트로서 각 캐릭터의 상세한 일대기를 풍부하게 제공함으로써 LLM이 대표적이고 일관되며 다양한 가상 페르소나를 표현하도록 유도하는 접근 방식인 앤솔로지(Anthology)를 소개합니다. 이를 통해 다양한 인간 인구 통계를 포괄하는 방대한 분량의 세트를 효율적으로 제작하기 위한 수단으로 LLM 자체에서 배경 이야기를 생성하는 방법도 제시합니다. 앤솔로지는 언어 모델을 자연스러운 배경 이야기에 기반함으로써 LLM이 인간 반응의 분포와 일관성을 일치시키는 측면에서 측정된 충실도를 높여 개별 인물 샘플을 시뮬레이션할 수 있게 해줍니다.

접근 방식: 앤솔로지(Anthology)

개별 서사를 통한 언어 모델 생성 조건 설정

이전 방법의 가장 큰 한계는 가상 페르소나로 LLM을 조정할 때 개별 인물의 샘플을 안정적으로 근사화할 수 없다는 것이었습니다. 이전 연구의 접근방식은 "저는 25살이고, 캘리포니아에서 왔습니다. 나의 최고학력은 고등학생 이하입니다."와 같이 매우 광범위한 정보를 LLM의 프롬프트로 작성하는데, 이는 인구통계학적 변수들의 튜플 하나로부터 생성된 텍스트의 내용입니다. 이러한 방법을 사용하면 개인 수준이 아닌 집단 수준에서만 인물 샘플의 근사치를 구할 수 있기 때문에 그 결과는 다음과 같습니다.

• 응답이 인구통계학적 변수(예: 인종 및 성별) 조건으로만 제한되기 때문에 LLM이 고정관념적이거나 전형적인 묘사를 기본으로 하는 경향이 있음.
• 이러한 연산에 개별 응답이 필요하므로 공분산 및 통계적 유의성과 같은 중요한 관심 지표를 제공하지 못함.

 앤솔로지를 사용하면 풍부하고 상세한 배경 이야기를 조건화하여 개별 인물의 대략적인 근사치를 도출할 수 있습니다. 이러한 배경 이야기를 통해 이 모델은 인구통계학적 특성과 문화적, 사회경제적 배경, 삶의 철학에 대한 자발적인 언급 등 개인 정체성의 암묵적이자 명시적인 특성을 포착합니다. 이러한 접근 방식에는 "자신에 대해 말해 주세요"와 같은 제한 없는 개방형 프롬프트로 쿼리된 언어 모델을 통해 광범위한 인구통계학적 속성을 나타내는 방대한 배경 이야기를 생성하는 것이 포함됩니다. 그런 다음 각 배경 이야기에 따라 조정된 가상 페르소나를 실제 여론조사 샘플과 매칭합니다.

결과: 여론조사와 가장 가까운 근사치

평가를 위해, Pew Research Center의 ATP 설문조사 세 가지(Wave 34,92,99)를 근사화하여 각 방법의 가상 페르소나를 조정하는 효과를 비교합니다.

Pew Research Center의 ATP 설문조사에서 사람의 응답을 근사화한 결과. 굵은 글씨와 밑줄 친 결과는 각각 사람의 응답에 가장 가까운 값과 두 번째로 가까운 값을 나타냄.

가상 페르소나로 인물 샘플을 근사화하는 데 성공한 척도로 다음과 같은 지표를 고려합니다.

• 대표성의 척도로서 응답 분포 간의 평균 와서스타인 거리(Wasserstein Distance - WD)
• 일관성의 척도로서 상관관계 행렬 간의 프로베니우스 놈(Frobenius norm - Fro.)
• 내부 일관성의 추가 척도로서 크론바흐 알파(Cronbach's alpha)

 가상의 표본을 분석하기 전에 인구 집단을 무작위로 동일한 크기의 두 그룹으로 반복적으로 나누고 하위 그룹 간에 이러한 지표를  계산하여 각 평가지표의 하한을 추정합니다. 하한 추정치를 나타내기 위해 100회 반복의 평균값을 취합니다.

Llama-3-70B와 Mixtral-8x22B 모두에서 앤솔로지가 모든 지표에 대해 다른 조건화 방법보다 우수한 성능을 보이는 것으로 일관되게 관찰되었습니다. 두 매칭 방법을 비교할 때, 모든 Wave의 평균 Wasserstein 거리에서 탐욕적 매칭 방법이 더 나은 성능을 보이는 경향이 있습니다. 매칭 방법의 차이는 최대 가중치 매칭이라는 일대일 대응 조건과 제한된 가상 유저수에 기인합니다. 특히, 최대 가중치 매칭에서는 일대일 대응에 대한 제약이 완화되기 때문에 매칭된 가상 피차체에 할당되는 가중치가 탐욕적 매칭에 비해 낮을 수밖에 없습니다. 이러한 불일치로 인해 매칭된 사람과 가상 유저의 인구통계학적 유사성이 탐욕적 매칭에 비해 낮아질 수 있습니다. 이러한 결과는 우리의 접근 방식에서 생성된 풍부한 배경 이야기가 기준선에 비해 더 미묘한 반응을 이끌어낸다는 것을 시사합니다.

최종 의견

앤솔로지는 사용자 조사, 여론 조사 및 기타 사회과학 애플리케이션을 수행하는 방식을 잠재적으로 변화시킬 수 있는 확장 가능하고 때로는 윤리적인 대안을 제공함으로써 LLM에서 가상 페르소나를 조절하는 새로운 방향으로 나아갈 수 있는 유망한 방법입니다. 그러나 사회과학 분야에서 언어 모델을 적용할 때와 마찬가지로 앤솔로지를 사용할 때도 몇 가지 고려해야 할 사항이 있습니다. 생성된 배경 이야기가 보다 대표적인 페르소나를 만드는 데 도움이 되지만 편견을 지속시키거나 개인정보를 침해할 위험이 있으므로 결과를 신중하게 사용하고 해석해야 합니다.

향후에는 개인의 일관된 일대기를 나타내는 보다 광범위하고 다양한 배경 이야기를 통해 접근 방식을 개선할 수 있을 것으로 예상하고 있습니다. 또한, 객관식과 같은 정형화된 설문조사 형식을 넘어 보다 자연스럽고 미묘한 페르소나 시뮬레이션을 가능하게 하는 자유 형식 응답 생성을 고려하는 것도 이 연구의 중요한 연장선상에 있습니다. 마지막으로, 행동 연구에 LLM을 적용하는 데 있어 흥미로운 다음 단계는 장기적인 효과를 시뮬레이션하여 가상 페르소나가 시간에 따른 편화를 모델링하고 회고적으로 조사할 수 있도록 하는 것입니다.
 
-참고자료
https://arxiv.org/abs/2407.06576

Virtual Personas for Language Models via an Anthology of Backstories

https://bair.berkeley.edu/blog/2024/11/12/virutal-persona-llm/

Virtual Personas for Language Models via an Anthology of Backstories