추천시스템 4

[추천시스템] 추천시스템 성능 평가 지표 총정리 (정확도, 정밀도, 재현율, F1 Score, PR Cureve, ROC Curve, Precision/Recall@K, MAP@K, nDCG, Hit Rate@K)

추천시스템의 성능을 명확하게 평가하기는 어렵다.어느 정도의 정량적 평가는 가능하지만, 그것이 정답이라고 할 수는 없다.사용자에 따라 주관적이며 도메인, 서비스, 목적성 등에 따라 기준이 달라질 수 있다.하나의 Metric로 평가하기 보다, 여러 Metric를 통해 다각도에서 평가하는 것이 필요하다고 생각한다.Table of Contents1. 평가 지표    - 비즈니스/서비스 관점    - PV, CTR2. 평가 방법    - Offline Test    - Online A/B Test3. 성능 지표    (1) 정확도, 정밀도, 재현율, F1 Score, PR Curve, ROC Curve    (2) Precsion@K, Recalll@K, MAP, nDCG, Hit Rate    (3) 평점 예측..

[추천시스템] 추천알고리즘 선택 1 - 협업필터링(CF), 컨텐츠기반필터링(CB)

추천시스템을 개발할 때 가장 중요한 부분은 무엇일까? 다양한 의견이 있겠지만, 추천의 기반이 되는 알고리즘, 추천모델의 선택은 신중하게 선택해야 하는 측면임은 분명하다.활용할 데이터의 종류, 크기, 양이나 추구하는 추천 결과의 방식 등을 충분히 고려해 선택해야 한다.내가 추천시스템을 개발할 때 이용한 알고리즘은 GNN 기반의 모델로,유저와 상품의 상호작용에 집중하기 위해 선택한 딥러닝 모델에 커스터마이징을 추가한 방식이었다.이에 관련해서는 나중에 더 자세히 다뤄볼 예정이다.오늘은 협업필터링과 컨텐츠(콘텐츠)기반필터링에 대해 간단히 정리해보았다.Table of Content1. 협업필터링 (CF)    - 메모리 기반의 접근 방식    - 모델 기반의 접근 방식    - 협업필터링의 한계2. 컨텐츠기반필터..

[추천시스템] 그래프와 추천시스템 : 1. 그래프 이론의 기초

Boost course의 강의 내용 정리>1. 그래프 이론의 기초1.1 그래프란 무엇이고 왜 중요할까     1.1.1 그래프란 무엇일까    1.1.2 그래프가 왜 중요할까?1.2 그래프 관련 인공지능 문제    - 정점 분류(Node Classification) 문제    - 연결 예측(Link Prediction) 문제    - 추천(Recommendation) 문제    - 군집 분석(Community Detection)    - 랭킹(Ranking) 및 정보 검색(Information Retrieval)    - 정보 전파(Information Cascading) 및 바이럴 마케팅(Viral Marketing) 문제 1.1 그래프란 무엇이고 왜 중요할까1.1.1 그래프란 무엇일까그래프(Graph..

[추천시스템] 추천시스템 성능 평가 - 평가 지표 (mAP@K, nDCG 총정리)

추천시스템, 추천 모델의 다양한 성능 평가 방법 중 mAP와 nDCG 평가 지표에 대해 알아보자.1. MAP@K- Precision, Recall- Cutoff (@K)- Average Precision (AP@K)- Mean Average Precision (MAP@K)2. nDCG- Relevance score, 관련성 점수- CG (Cumulative Gain)- DCG (Discounted Cumulative Gain)- IDCG (Ideal DCG)- nDCG (Normalized DCG) 1.  MAP (Mean Average Precision)@K Precision, Recall (정밀도와 재현율)Precision 정밀도→ 추천한 아이템 중 실제로 사용자가 관심을 보인 아이템의 비율Preci..