2024년 하반기 AI 업계 변화

24년 하반기부터 휴직을 하게 되면서, AI 업계의 변화의 흐름을 잠시 떨어져서 바라볼 기회를 얻게 되었다.휴직은 6개월의 짧은 기간이었지만, 돌아보니 OpenAI-O 시리즈, Agent 시대의 개막, 로봇(Phisical) AI의 재조명 등 눈여겨 볼만한 많은 변화가 있었다고 생각하여 그 내용들을 얕고 넓게 정리해보고자 함.OverviewLLMs24년 하반기에도 역시나 많은 Opensource LLM들이 등장하였다. 그 중에서 눈여겨볼 만한 LLM들을 정리하면 다음과 같다.1. QWEN 2.5(10월)알리바바에서 공개한 opensource LLM한국어 포함 29개 언어 지원32K~128K context lengthQWEN 72B 모델은 Llama-3-405B, Mixtral8-22B을 뛰어넘는 성능유료..

• format_list_bulleted 인공지능
• · 2025. 1. 21.
• textsms

[논문 리뷰] Solving math word problems with process and outcome-based feedback

저자Guan Wang, et. al, (칭화대)2022. 11. 25한 줄 요약수학 문제로 RL을 할 때, 최종 정답과 풀이 과정 2가지 Supervision을 가지고 학습 할 때 각각 어떤 결과가 나오는지에 관한 experimental한 페이퍼ProblemLLM에게 Reasoning Steps를 생성하게 하면, 자연스럽게 여러 Task에서 Reasoning 능력이 향상되어 왔음.문제는 최종 아웃풋(정답) 위주로 가르칠지 아니면 Process 위주로 가르칠지 선택의 기로에 놓이게 됨.Process 위주로 하게 되면 채점에서 cost가 커짐본 연구에서는 outcom-based vs process-based reasoning step에 대한 효과에 대해서 연구Main IdeasGSM8K(수학문제)를 활용하여..

• format_list_bulleted 인공지능/논문
• · 2024. 11. 20.
• textsms