[논문 요약] DeepSeek-R1

엔비디아 주가를 20%나 폭락시킨 중국 DeepSeek-R1 모델을 파헤쳐보고자 한다.DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning Abstract이 논문에서는 DeepSeek(중국 스타트업)의 첫 번째 reasoning model인 DeepSeek-R1-Zero와 DeepSeek-R1을 공개한다. 이 말에서부터 Reasoning이 아닌 다른 타입의 model은 이미 공개 된 상태란 것을 알 수 있다. 특히 R1-Zero는 지도 학습 없이 순수한 강화학습으로만 학습 되었음을 강조하고 있다(ChatGPT류의 시작인 InstructGPT, LLaMa 등은 대부분 지도 학습 이후 강화학습을 이어서 진행하는 방..

• format_list_bulleted 인공지능/논문
• · 2025. 2. 13.
• textsms

[논문 요약] Demystifying embedding spaces using large language models

* 본 논문 요약은 Notebook LM을 활용하였습니다.전체 요약이 논문은 임베딩 공간을 이해하기 위해 대규모 언어 모델(LLM)을 활용하는 새로운 프레임워크인 ELM(Embedding Language Model)을 제안합니다. ELM은 도메인 임베딩을 LLM에 통합하여 추상적인 벡터를 사람이 이해할 수 있는 설명으로 변환합니다. 이 모델은 어댑터 레이어를 통해 도메인 임베딩 벡터를 LLM의 토큰 임베딩 공간으로 매핑하여 임베딩 데이터에 대한 쿼리 및 탐색을 가능하게 합니다. ELM은 영화 추천 시스템에서 개념 활성화 벡터 개선, 새로운 임베딩 엔티티 설명, 사용자 선호도 해석과 같은 다양한 작업에서 그 유용성을 입증합니다. 실험 결과는 ELM이 테스트 데이터에서 잘 일반화되고, 인간 평가와도 일치하며..

• format_list_bulleted 인공지능/논문
• · 2025. 2. 10.
• textsms

[논문요약] Chat Vector: Enhancing LLMs via Simple Model Arithmetic

저자Shih-Cheng Huang 외National Applied Research Laboratories, Taipei, Taiwan한 줄 요약간단한 벡터 연산(덧셈/뺄셈)을 통해 새로운 언어에 대한 instruction following 능력과 human value alignment 능력을 부여하는 방법을 제시풀고자 하는 문제대부분의 오픈 소스 대규모 언어 모델(LLM)은 데이터 제약으로 인해 주로 영어에만 특화비영어권 사용자가 LLM을 처음부터 구축하는 것은 계산 비용이 많이 소요기존의 방법대로 비영어권 LLM을 구축하려면 continual pretraining, SFT, RLHF 등의 복잡한 과정을 거쳐야 함특히 RLHF는 구현이 복잡하고 많은 컴퓨팅 자원을 요구하며, 안정성 문제도 있음인간 선호도..

• format_list_bulleted 카테고리 없음
• · 2025. 1. 29.
• textsms

2024년 하반기 AI 업계 변화

24년 하반기부터 휴직을 하게 되면서, AI 업계의 변화의 흐름을 잠시 떨어져서 바라볼 기회를 얻게 되었다.휴직은 6개월의 짧은 기간이었지만, 돌아보니 OpenAI-O 시리즈, Agent 시대의 개막, 로봇(Phisical) AI의 재조명 등 눈여겨 볼만한 많은 변화가 있었다고 생각하여 그 내용들을 얕고 넓게 정리해보고자 함.OverviewLLMs24년 하반기에도 역시나 많은 Opensource LLM들이 등장하였다. 그 중에서 눈여겨볼 만한 LLM들을 정리하면 다음과 같다.1. QWEN 2.5(10월)알리바바에서 공개한 opensource LLM한국어 포함 29개 언어 지원32K~128K context lengthQWEN 72B 모델은 Llama-3-405B, Mixtral8-22B을 뛰어넘는 성능유료..

• format_list_bulleted 인공지능
• · 2025. 1. 21.
• textsms

[논문 리뷰] Gemma: Open Models Based on Gemini Research and Technology

Abstract구글에서 내놓은 2B, 7B의 상업이용 가능한 LLM (RL까지 함)Gemini에서 사용한 기술이 접목된 비교적 작은 규모의 오픈소스 LLM(그래서 이름이 Gemma)Pretrained, Fine-tuned 모델 둘다 공개18개 language understanding, reasoning, safety becnmarks 사용, 11개에서 sota6T token으로 학습, Gemini와 similar architecture, data, training recipe 사용ArchitectureTransformer Decoder 사용Context Length = 8KMulti-Query Attention: 7B uses Multi-Head Attention, 2B use multi-query at..

• format_list_bulleted 인공지능/논문
• · 2024. 11. 20.
• textsms

[논문 리뷰] LLaMA Beyond English: An Empirical Study on Language Capability Transfer

저자Jun Zhao et. al. (후당대)2024. 1. 2.한 줄 요약영어 라마를 다른 언어로 transfer 시킬 때, 의외로 vocabulary 확장이 좋은 전략이 아닐 수도 있다.ProblemLLaMA English를 다른 언어로 Transfer 하는 효과적인 방법 실험Main Ideas크게 3가지 Factor로 연구 진행The impact of vocabulary extension on transfer.Training scales required for effective transfer.Teh effect of Transfer Training on the original English capabilities.Experimental SetupModelsLLaMA: English-dominate ..

• format_list_bulleted 인공지능/논문
• · 2024. 11. 20.
• textsms

[논문 리뷰] Self-Rewarding Language Models

Authors (Affiliation)Yuan, 조경현 교수, Meta, NYU24.01요약Reward Model을 따로 두지 않고, LLM을 답변도 만들고 답변을 평가까지 같이 해본 결과.AI 피드백은 RLAIF 연구에서 이미 있었으나, 자기 스스로 답변하고 평가하고, 그 데이터로 다시 학습까지 하는 연구는 없었음중요한 점은 LLM을 Judge로 활용하기 위해 저자들이 사용한 프롬프트ProblemHuman Preference로 Reward Model을 학습하면 사실 Super Human Level에는 도달하기 어렵다.또한 Reward Model을 일단 학습하면 Agent를 학습할 때는 Frozen 형태로 사용하기 때문에 더 향상되지 못한다.DPO 방식은 일반적으로 Iterative 학습하지 않는다.Ma..

• format_list_bulleted 인공지능/논문
• · 2024. 11. 20.
• textsms