TaskMatrix.AI

 

 

기업에서 LLM을 활용한다면 위와 같이 발전하지 않을까요?

 

이 flow는 맨 왼쪽에서 유저가 채팅 중 지시를 내리는 것으로 시작합니다.  ChatGPT의 역할을 하는 멀티모달 모델(초록색)은 유저 지시에 따라 (1) 해결책의 outline을 작성하고,  API Seletor가 해결책을 위한 적절한 API를 가져오면, (2) 이 API를 활용해 적절한 action sequence (code 형식)을 짜는 역할을 합니다.

 

powerpoint에 대한 action sequence 사례

 

 

Action Executor가 이 code를 실행해 결과를 유저에게 가져다 주고, 그 결과를 평가하여 RLHF를 활용해 모델을 업그레이드 하는 선순환이 이루어지게 되는 구조입니다. 강화학습을 강조하는 이유는, 모델이 action sequence를 짤 때, 다양한 전략을 통해 action들을 조합할 수 있기 때문입니다.

마지막으로, code를 실행한 결과에 대한 피드백은 API 개발자에게도 전달되어, API를 추가/삭제하거나 수정하는데 사용되게 됩니다.

 

API Pool에는 AI model이나 검색엔진 등으로 이루어진 다양한 API 들이 있고,  LLM을 활용해 제품의 기능을 향상시키기 위해서, 이 API들을 LLM과 잘 연동되어야 합니다. (마치 ChatGPT의 Plugin 기능과 마찬가지로)

 

API Documentation을 보고 모델이 action sequence를 작성할 수 있다.

 

TaskMatrix.AI  논문에서는 본 논문이 proposition paper라고 밝히고 있고, LLM과 수백만 가지 활용 가능한 API들을 연결하는 AI ecosystem을 어떻게 설계하면 좋을지 blueprint를 그려주고 있습니다.

 

TaskMatrix.AI 라는 논문은 Microsoft 에서 작성하였기에 더 흥미로웠습니다.  Microsoft의 여러 제품들이나 Bing이 앞으로 이렇게 발전하지 않을까하는 생각이 들었고, Microsoft 뿐 아닌, 다른 스타트업이 이런 orchestration을 해줄 도구를 만들어도 가능성 있는 아이템이 될 것 같습니다.