문서

GDSRec evaluation metric part

1. Recall

추천 시스템에서 항목이 얼마나 검색되었는지를 측정하는 지표.

분모: 전체 아이템 수,  분자: 추천된 아이템 수

0~1사이의 값, 1에 가까울수록 관련 아이템이 모두 추천됨을 의미

1. NDCG (Normalized Discounted Cumulative Gain)

추천 결과 순위에 따른 정확도 평가, 높은 순위 아이템에 더 큰 가중치 부여

추천 결과의 품질을 평가하는 지표

• Recall은 전체 아이템이 잘 추천됐는지를 평가
• NDCG는 랭킹을 고려하여 사용자 경험 반영했는지 평가
• Higher values of Recall and NDCG indicate better ranking performance
• 논문의 벤치마크 모형들과 GDSRec 모형의 Recall은 유사함
  • 상위 랭킹에 biased되어서 차지하는 비중이 커서?
• NDCG는 각 모형마다 상이함.
  • 논문 모형이 상위 랭킹에 긍정적인 아이템을 추천하는 측면에서 더 우위임을 나타냄

결과값

(Benchmark) Ciao 데이터

[Evaluating Epoch 0] Recall = 0.9651, NDCG = 0.9070

.

.