deeep

최근 오픈된 GPT-4o의 이미지 인식 성능이 놀라운 수준이며 이미 무료로 서비스되고 있죠. 몇 가지 테스트를 해보니 영어 뿐 아니라 한국어가 쓰인 이미지도 완벽히 이해합니다. 온라인 쇼핑 사이트에서 부가부 유모차에 대한 이미지를 하나 캡처하여 아래와 같이 물어보았습니다.  이건 뭐..OCR까지 완벽히 되는데요, 현재 한국어 VLM (Visual Language Model) 및 기존 OCR 모델들을 테스트해본 결과 GPT-4o처럼 대답할 수 있는 모델이 전무했습니다. OpenAI의 Vision API Guide 문서를 확인해보면, 512px의 고해상도 이미지를 기본으로 입력받고 있음을 유추할 수 있습니다. 아래 소개 드릴 LLaVA 등의 open source model에서 이미지 해상도를 224px, 3..

KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents [2403.03101] KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents (arxiv.org) 이번에 소개드릴 KnowAgent는 arxiv 에 발행되었을 당시, 각종 온라인 커뮤니티에서 주목을 받았었던 논문입니다. LLM이 내부 지식을 활용하여 Chain-of-Thought (CoT) 으로 각종 task에 대해 뛰어난 성능을 보여주고는 있지만, 여전히 out-of-domain, 또는 학습되지 않은 in-domain의 최신 지식을 활용하기 위해서는 지속적으로 신규 학습 데이터에 대해 학습을 진행해주어야한다는 단점이 있습니다. LLM이 외부..

Direct Preference Optimization: Your Language Model is Secretly a Reward Model Stanford University 2305.18290.pdf (arxiv.org) 이번에 소개드릴 paper는 Large Language Model (LLM)을 사람의 의도에 align하는 기법에 혁신적인 변화를 가져온 중요한 논문입니다. 최근 공개된 업스테이지 SOLAR-10.7B 모델 역시 PPO가 아닌 DPO 알고리즘을 활용하여 높은 성능을 내었답니다. 출처: 챗봇 딥러닝 - LLM의 새로운 기법 - Merge와 DPO (aidev.co.kr) 챗봇 딥러닝 - LLM의 새로운 기법 - Merge와 DPO 요즘 LLM에서 Merge와 DPO가 많이 쓰이고 있습..