ctr-model
TL;DR
- 클릭률 예측(CTR Prediction) 모델은 Point-wise, Pair-wise, List-wise, Hybrid 방식으로 나뉨.
- Point-wise는 개별 클릭 확률을 예측하는 방식으로, 간단하지만 상대적 순위를 반영하지 않음.
- Pair-wise는 두 샘플을 비교하여 순위를 학습하는 방식으로, 랭킹 모델에 적합하지만 계산량이 많음.
- List-wise는 목록 전체를 최적화하는 방식으로, 성능이 뛰어나지만 높은 연산 비용이 발생함.
- Hybrid 모델은 여러 접근 방식을 조합하여 성능을 극대화하는 방식.
CTR 예측 모델의 주요 방식
1. Point-wise Approach
- 개별 샘플의 클릭 확률을 독립적으로 예측하는 방식.
- 예제:
P(y=1 | x), 특정 샘플이 클릭될 확률 예측. - 대표 모델: Logistic Regression, DeepFM, Wide & Deep, XGBoost.
- 장점: 간단하고 해석이 쉬움, 대규모 데이터 처리 가능.
- 단점: 샘플 간 상대적 순위를 고려하지 않음.
- Production 적용 방식: 추천될 모든 아이템에 대해 개별 추론을 수행한 후, 예측값을 기반으로 정렬하여 랭킹을 결정함.
2. Pair-wise Approach
- 두 개의 샘플을 비교하여 더 높은 순위를 찾는 방식.
- 예제:
(x_i, x_j, y_i, y_j) → P(y_i > y_j | x_i, x_j). - 대표 모델: RankNet, BPR(Bayesian Personalized Ranking).
- 장점: 순위 학습이 가능하며 검색 및 추천 시스템에 적합함.
- 단점: 많은 쌍을 생성해야 하므로 계산 비용이 큼.
- Production 적용 방식: 모든 가능한 아이템 쌍
(n^2) 을 비교하여 상대적인 랭킹을 학습함. 실시간 서빙 시 일부 샘플만 비교하여 연산량을 줄이는 방식이 활용됨.
3. List-wise Approach
- 전체 목록을 고려하여 최적의 정렬을 학습하는 방식.
- 예제:
P(rank | X), 여러 개의 항목을 한 번에 입력하여 정렬 학습. - 대표 모델: ListNet, LambdaMART, GBDT 기반 모델.
- 장점: 글로벌 최적화 가능, Pair-wise보다 효율적임.
- 단점: 높은 계산 비용, 데이터에 따라 학습이 어려움.
- Production 적용 방식: 전체 아이템 목록을 한 번에 처리하여 최적의 정렬을 생성하므로 연산량이 큼. 일반적으로 배치 예측으로 사용됨.
4. Hybrid Approach (Deep Learning 기반 모델)
- 여러 접근 방식을 결합하여 더 나은 성능을 목표로 함.
- 예제: Wide & Deep, DeepFM, DIN, DIEN, ESMM 등.
- 대표 기법:
- Wide & Deep: Wide(Logistic Regression) + Deep(MLP) 조합.
- DeepFM: Factorization Machine(FM) + MLP.
- DIN: 사용자 클릭 이력을 활용하여 동적 관심도 반영.
- 장점: Feature Engineering 자동화, 높은 성능.
- 단점: 모델이 복잡하여 학습 및 서빙 비용 증가.
- Production 적용 방식: Point-wise 또는 Pair-wise 방식과 결합하여 사용되며, 대규모 데이터에서 효율적으로 동작하도록 최적화가 필요함.
어떤 모델을 선택해야 할까?
- Point-wise: 개별 광고의 클릭 확률을 예측해야 하는 경우.
- Pair-wise: A/B 테스트나 랭킹이 중요한 경우.
- List-wise: 검색/추천 시스템에서 다수의 아이템을 최적 정렬할 때.
- Hybrid(Deep Learning 기반): 대량의 데이터를 활용하여 높은 성능을 원할 때.