[논문 요약] Demystifying embedding spaces using large language models

* 본 논문 요약은 Notebook LM을 활용하였습니다.

전체 요약

이 논문은 임베딩 공간을 이해하기 위해 대규모 언어 모델(LLM)을 활용하는 새로운 프레임워크인 ELM(Embedding Language Model)을 제안합니다. ELM은 도메인 임베딩을 LLM에 통합하여 추상적인 벡터를 사람이 이해할 수 있는 설명으로 변환합니다. 이 모델은 어댑터 레이어를 통해 도메인 임베딩 벡터를 LLM의 토큰 임베딩 공간으로 매핑하여 임베딩 데이터에 대한 쿼리 및 탐색을 가능하게 합니다.

 ELM은 영화 추천 시스템에서 개념 활성화 벡터 개선, 새로운 임베딩 엔티티 설명, 사용자 선호도 해석과 같은 다양한 작업에서 그 유용성을 입증합니다. 실험 결과는 ELM이 테스트 데이터에서 잘 일반화되고, 인간 평가와도 일치하며, 텍스트 기반 LLM보다 우수한 의미 및 행동 일관성을 보여줍니다. 또한 ELM은 CAV를 일반화하여 영화 및 사용자 프로필의 도메인 속성을 의미 있게 조작하고 해석할 수 있음을 보여줍니다.

ELM은 무엇이며 어떻게 학습되는가?

ELM(Embedding Language Model)은 도메인 임베딩 공간을 해석하기 위한 새로운 언어 모델 프레임워크입니다.

• ELM은 사전 훈련된 LLM(Large Language Model)을 활용하여 도메인 임베딩을 자연어로 해석할 수 있도록 합니다.

ELM은 다음과 같은 방식으로 구축됩니다:

• 도메인 임베딩 통합: ELM은 어댑터 레이어를 사용하여 도메인 임베딩 벡터를 LLM의 토큰 레벨 임베딩 공간에 매핑합니다. 이를 통해 임베딩 벡터를 해당 엔터티 또는 개념의 토큰 레벨 인코딩으로 취급할 수 있습니다. 여기서 도메인 임베딩은 특정 어휘의 엔터티를 잠재 공간에 매핑하는 것을 의미합니다.
• 어댑터 모델 훈련: 어댑터 모델(EA)은 도메인 임베딩 공간(W)에서 LLM의 토큰 임베딩 공간(Z)으로 벡터를 매핑하도록 훈련됩니다.
• LLM 훈련: LLM은 도메인 임베딩 공간의 벡터에 대한 해석을 용이하게 하도록 설계된 작업 모음을 사용하여 훈련됩니다. 이러한 작업은 임베딩 공간에서 의미 정보를 추출하고 일반화를 지원할 수 있을 만큼 다양해야 합니다. ELM은 영화 및 사용자 임베딩 해석을 허용하기 위해 MovieLens 25M 데이터 세트에서 파생된 영화 및 사용자 임베딩 해석을 허용하는 25개의 훈련 작업을 구축하여 테스트되었습니다.
• 2단계 훈련 절차:
  1. 1단계: 어댑터(EA)를 훈련하고 다른 모든 파라미터(E0, M0)는 고정합니다.
  2. 2단계: 모든 파라미터(E0, M0, EA)를 훈련하여 전체 모델을 미세 조정합니다.

어댑터 모델의 훈련 방법은?

ELM(Embedding Language Model)의 구체적인 Loss function은 다음과 같습니다.

ELM은 손실 함수 L을 사용하여 파라미터 θ로 모델 Mθ ELM을 훈련합니다. 훈련 목표는 다음과 같습니다:

• \(\text{argmin}_θ E_{s,o \text{~} P_t;t \text{~} P_\tau} [L_θ(M_{ELM}(s, o))]\)

여기서 s는 입력 시퀀스, o는 출력 시퀀스, \(P_t\)는 작업 t에 대한 데이터 분포, \(P_\tau\)는 작업 분포입니다.

ELM은 사전 훈련된 토큰 임베딩에 대한 제약 조건으로 인해 로컬 최소값으로 수렴할 수 있기 때문에 2단계 훈련이 필요합니다.

(결국 Downstream task의 maximum likelihood-base training. RL에 대한 내용도 appendix에 있긴 함)

학습을 위해 사용한 task는 어떤 것들이 있나?

ELM(Embedding Language Model) 학습을 위해 사용한 task는 다음과 같습니다.

ELM은 도메인 임베딩 공간의 벡터에 대한 해석을 용이하게 하도록 설계된 작업 모음을 사용하여 훈련됩니다. 이러한 작업은 임베딩 공간에서 의미 정보를 추출하고 일반화를 지원할 수 있을 만큼 다양해야 합니다.

ELM은 영화 및 사용자 임베딩 해석을 허용하기 위해 MovieLens 25M 데이터 세트에서 파생된 영화 및 사용자 임베딩 해석을 허용하는 25개의 훈련 작업을 구축하여 테스트되었습니다.

구체적인 task는 다음과 같습니다.

• 단일 영화 의미 작업:
  • 영화 줄거리 설명
  • 영화 요약
• 단일 영화 주관적 작업:
  • 긍정적 또는 부정적 영화 리뷰 작성
• 영화 쌍 주관적 작업:
  • 영화 특징 비교
• 사용자 프로필 생성:
  • 사용자 선호도에 대한 텍스트 요약 생성

MovieLens 데이터 세트를 사용하여 훈련된 24개의 영화 중심 작업 외에도 Amazon 데이터 세트에서 ELM을 테스트했습니다. Amazon 데이터 세트의 작업에는 다음이 포함됩니다:

• 상품 설명
• 긍정적 리뷰
• 부정적 리뷰
• 중립적 리뷰
• 상품 지지
• 사용자 프로필

다음은 24개의 영화 관련 task에 대한 자세한 설명입니다:

• summary: 영화 줄거리를 한 단락으로 요약합니다.
• positive review: 영화에 대한 긍정적인 리뷰.
• negative review: 영화에 대한 부정적인 리뷰.
• neutral review: 영화에 대한 중립적인 리뷰.
• five pos char.: 영화의 긍정적인 특징 5가지 나열.
• five neg char.: 영화의 부정적인 특징 5가지 나열.
• long description: 영화 줄거리에 대한 자세한 설명.
• funnier: 영화의 더 재미있는 버전의 줄거리.
• sadder: 영화의 더 슬픈 버전의 줄거리.
• scarier: 영화의 더 무서운 버전의 줄거리.
• improve: 개선된 버전의 영화 (LLM에서 생성).
• movie to viewer: 이 영화를 좋아할 시청자를 설명하고 특징을 포함.
• pitch: 영화에 대한 홍보.
• criticize: 영화 비평.
• convince1: 영화를 보도록 설득.
• convince2: 영화를 보도록 자세히 설득.
• convince3: 영화를 보도록 간략하게 설득.
• dissuade1: 영화를 보지 않도록 설득 (버전 1 프롬프트).
• dissuade2: 영화를 보지 않도록 자세히 설득.
• similarities: 영화 간의 유사점 3가지 나열.
• interpolation: 두 영화의 줄거리를 보간.
• why like nn: 다른 영화를 좋아하는 이유 설명.
• diff than nn: 두 인접 영화 간의 주요 속성 차이점 3가지.
• common with nn: 두 인접 영화 간의 공통점 3가지.

이러한 작업 외에도 ELM은 사용자 프로필을 생성하는 작업에도 사용되었습니다. 이 작업에서는 사용자가 긍정적으로 평가한 영화 5개와 부정적으로 평가한 영화 5개를 샘플링한 다음, PaLM 2-L에 프롬프트를 제공하여 처음 5개 영화를 좋아하지만 두 번째 5개 영화를 싫어하는 사람의 특징을 10개의 항목으로 설명하도록 했습니다.

이 논문에서 도메인 임베딩은 어떻게 획득하는가

이 논문에서는 MovieLens 25M 데이터 세트와 Amazon 데이터 세트라는 두 가지 데이터 세트에 대해 도메인 임베딩을 획득하고, 각각에 대해 행동 임베딩과 의미 임베딩이라는 두 가지 유형의 임베딩을 생성합니다.

도메인 임베딩은 특정 downstream task에 필요한 엔터티의 latent 특징을 포괄하도록 훈련됩니다. ELM에서는 해석하려는 외부 임베딩을 LLM에서 캡처한 임베딩과 구별하기 위해 "도메인 임베딩"이라는 용어를 사용합니다.

다음은 각 임베딩 유형에 대한 훈련 방법입니다.

• 행동 임베딩 (Behavioral Embeddings):
  • 사용자 평점과 같은 사용자-항목 간의 행동 상호 작용만을 기반으로 훈련됩니다.
  • 직접적인 의미 정보는 사용되지 않으며, 사용자 평점 데이터가 사용됩니다.
  • 가중 교대 최소 제곱 (WALS)을 사용한 행렬 분해 (MF)를 통해 계산됩니다. 사용자 u와 영화 m의 임베딩의 내적 <wb_u, w b_m>은 사용자 u의 영화 m에 대한 평점을 예측하는 데 사용됩니다.
• 의미 임베딩 (Semantic Embeddings):
  • 영화 또는 상품에 대한 텍스트 설명을 사용하여 생성됩니다.
  • 줄거리 설명, 리뷰, 상품 제목, 상품 설명, 상품 카테고리, 상품 특징 등이 사용될 수 있습니다.
  • Sentence-T5와 유사한 사전 훈련된 dual-encoder 언어 모델 (DLM)을 사용하여 텍스트 데이터를 인코딩하고, 결과 출력 벡터를 평균화하여 의미 임베딩을 생성합니다. 영화 m의 의미 임베딩은 ws_m으로 표시됩니다.

이러한 방식으로 획득한 도메인 임베딩은 ELM 모델의 훈련 데이터로 사용되며, ELM은 이러한 임베딩을 해석하고 다양한 task를 수행하도록 훈련됩니다. ELM은 도메인 임베딩 자체를 학습하는 것이 아니라, 주어진 임베딩 벡터 ED(v)에 대해 LLM이 해당 엔터티에 대한 담론에 의미있게 참여하도록 훈련하는 것을 목표로 합니다.

실험 결과 요약

ELM(Embedding Language Model) 실험 결과 요약은 다음과 같습니다.

ELM은 다양한 영화 작업과 사용자 프로필 작업에서 성능을 측정하기 위해 인간 평가와 함께 Semantic Consistency(SC, 의미론적 일관성) 및 Behavioral Consistency(BC, 행동 일관성)라는 두 가지 새로운 정량적 메트릭을 사용했습니다.

• 테스트 세트에서 ELM이 임베딩 벡터로 잘 일반화되고 인간 평가자의 기대에 부합하는 것을 확인했습니다.
• ELM은 기존 엔터티를 보간하는 작업에서 최첨단 텍스트 전용 LLM에 비해 더 나은 의미론적 및 행동적 일관성을 보여주며 새로운 엔터티를 설명하는 데 능숙합니다.

구체적인 실험 결과는 다음과 같습니다:

• MovieLens 25M 데이터 세트:
  • 24개의 영화 작업과 사용자 프로필 작업에서 ELM을 평가했습니다.
  • 인간 평가자는 ELM의 출력이 영화 줄거리와 일관성이 있는지, 언어적 완성도가 있는지, 전반적인 작업 품질이 우수한지 평가했습니다.
  • ELM은 대부분의 작업에서 높은 Semantic Consistency를 유지했으며 대부분의 작업에서 양호한 Behavioral Consistency를 보였습니다.
  • 두 개의 영화 작업에서는 추가적인 어려움으로 인해 성능이 저하되는 경향이 있었습니다.
• 새로운 엔터티 커뮤니케이션:
  • ELM은 기존 영화 또는 사용자를 기반으로 임베딩 공간의 "갭"을 해석할 수 있습니다.
  • 텍스트 전용 LLM은 임베딩 공간을 설명하기 어렵기 때문에 ELM이 더 나은 성능을 보였습니다.
  • ELM은 영화와 사용자 모두에 대해 보간된 임베딩에 대해 높은 일관성을 보였습니다.
• Concept Activation Vectors (CAV) 일반화:
  • ELM은 CAV 방향으로 엔터티 임베딩을 외삽하여 도메인 임베딩 공간에서 벡터를 해석할 수 있습니다.
  • 영화 외삽의 의미론적 일관성은 일반적으로 CAV 방향으로 더 멀리 외삽할수록 감소했지만, 사용자 프로필은 CAV 방향으로 이동할수록 행동 일관성이 더 높았습니다.
• Amazon 제품 데이터 세트:
  • ELM은 Amazon 데이터 세트에서도 잘 일반화되었으며, 높은 의미론적 및 행동적 일관성을 유지했습니다.
  • 인간 평가자는 ELM이 생성한 결과가 테스트 항목에 올바르게 대응하고, 종종 원래 ground-truth 데이터 품질을 능가한다고 평가했습니다.

결론적으로 ELM은 복잡한 임베딩 표현을 이해, 탐색 및 조작하기 위한 강력하고 유연한 메커니즘을 제공합니다.