[논문 요약] COCONUT: Training Large Language Models to Reason in a Continuous Latent Space

저자Shibo Hao et al, FAIR at Meta 요약(NotebookLM)본 논문은 LLM의 추론 능력 향상을 위한 새로운 방법인 "Coconut(Chain of Continuous Thought)"을 제시합니다. 기존의 Chain-of-Thought(CoT) 방식이 언어 공간에서 추론 과정을 단계별로 생성하는 것과 달리, Coconut은 LLM의 Hidden States를 연속적인 사고(continuous thought)로 활용하여, 언어 제약 없이 추론을 수행합니다. 여러 추론 과제에 대한 실험 결과, Coconut은 특히 계획과 탐색이 필요한 복잡한 추론 과제에서 CoT보다 우수한 성능을 보이며, 추론 토큰 수도 감소시키는 것으로 나타났습니다. 이 연구는 잠재 추론(latent reason..