captum
-
captum으로 내가 만든 pyTorch 모델 결과 분석하기 (XAI)Paper Reviews 2023. 3. 21. 10:39
가끔 내가 만든 모델이 왜 이런 output을 냈는지 궁금할 때가 있습니다. 딥 모델을 서비스에 적용한 경우라면 가끔 이상한 모델 결과에 대해 무엇 때문에 이런 결과가 나왔는지 설명을 듣고 싶은 지경에 이르를 수도 있습니다. 🤷 또는 이 모델을 더 발전시키고 개선하기 위해 결과를 분석해 볼 필요도 있죠. 입력한 feature 각각이 모델의 출력값에 기여한 기여도 attribution을 계산해보면 입력의 어떤 부분이 출력값을 결정하는데 중요한 역할을 했는지 설명해볼 수 있는데, 이러한 알고리즘을 attribution algorithm이라고 부릅니다. 요즘은 XAI(eXplainable AI) 기법들이 많이 연구되고 있어, 그 중 가장 설득력 있다고 여겨지는 방법 하나를 소개해드리려고 합니다. 바로 capt..