Paper Reviews
-
TaskMatrix.AIPaper Reviews 2023. 8. 16. 22:48
기업에서 LLM을 활용한다면 위와 같이 발전하지 않을까요? 이 flow는 맨 왼쪽에서 유저가 채팅 중 지시를 내리는 것으로 시작합니다. ChatGPT의 역할을 하는 멀티모달 모델(초록색)은 유저 지시에 따라 (1) 해결책의 outline을 작성하고, API Seletor가 해결책을 위한 적절한 API를 가져오면, (2) 이 API를 활용해 적절한 action sequence (code 형식)을 짜는 역할을 합니다. Action Executor가 이 code를 실행해 결과를 유저에게 가져다 주고, 그 결과를 평가하여 RLHF를 활용해 모델을 업그레이드 하는 선순환이 이루어지게 되는 구조입니다. 강화학습을 강조하는 이유는, 모델이 action sequence를 짤 때, 다양한 전략을 통해 action들을 조..
-
captum으로 내가 만든 pyTorch 모델 결과 분석하기 (XAI)Paper Reviews 2023. 3. 21. 10:39
가끔 내가 만든 모델이 왜 이런 output을 냈는지 궁금할 때가 있습니다. 딥 모델을 서비스에 적용한 경우라면 가끔 이상한 모델 결과에 대해 무엇 때문에 이런 결과가 나왔는지 설명을 듣고 싶은 지경에 이르를 수도 있습니다. 🤷 또는 이 모델을 더 발전시키고 개선하기 위해 결과를 분석해 볼 필요도 있죠. 입력한 feature 각각이 모델의 출력값에 기여한 기여도 attribution을 계산해보면 입력의 어떤 부분이 출력값을 결정하는데 중요한 역할을 했는지 설명해볼 수 있는데, 이러한 알고리즘을 attribution algorithm이라고 부릅니다. 요즘은 XAI(eXplainable AI) 기법들이 많이 연구되고 있어, 그 중 가장 설득력 있다고 여겨지는 방법 하나를 소개해드리려고 합니다. 바로 capt..
-
네이버와 Meta AI의 Multimodal Shopping Model 비교 분석Paper Reviews 2023. 1. 25. 10:55
최근 commerce AI 분야에서도 다양한 멀티모달 쇼핑 모델들이 발표되어 활용되고 있어 리뷰해보려고 합니다. Meta AI에서는 2022 KDD에서 멀티모달 쇼핑 모델 Commerce MM을 발표했습니다. Meta AI는 이미 페이스북과 인스타그램의 marketplace를 운영하고 있어서 여기서 나오는 데이터셋은 거대할 것으로 보입니다. 쇼핑 데이터의 핵심은 (아직까지는) 이미지와 텍스트인데요, 이 두 가지의 모달리티를 섞어서 쇼핑 전용 멀티모달(Multimodal) 모델을 학습한 뒤 다양한 태스크에 활용하는 추세입니다. 한국 최대의 e-commerce 사이트인 네이버 쇼핑에도 이미 이런 모델들을 만들 충분한 데이터가 쌓여있습니다. 네이버 쇼핑에서는 OpenAI에서 발표해 큰 화제가 된 CLIP 모델..