[논문 리뷰] LLaMA Beyond English: An Empirical Study on Language Capability Transfer

저자Jun Zhao et. al. (후당대)2024. 1. 2.한 줄 요약영어 라마를 다른 언어로 transfer 시킬 때, 의외로 vocabulary 확장이 좋은 전략이 아닐 수도 있다.ProblemLLaMA English를 다른 언어로 Transfer 하는 효과적인 방법 실험Main Ideas크게 3가지 Factor로 연구 진행The impact of vocabulary extension on transfer.Training scales required for effective transfer.Teh effect of Transfer Training on the original English capabilities.Experimental SetupModelsLLaMA: English-dominate ..