decision-theory

결합확률분포 p(x,t)는 다음과 같이 베이즈 정리를 통해 표현할 수 있음:

여기서 p(t|x)는 사후확률, p(t)는 사전확률, p(x|t)는 우도, p(x)는 증거임.

오분류 확률은 다음과 같이 표현할 수 있음:

여기서 \(\mathcal{R_1}\)과 \(\mathcal{R_2}\)는 각각 클래스 1과 2에 대한 결정 영역임.

• 오분류 확률 정의 - 오분류 확률은 잘못 분류된 데이터의 확률
• 오분류 확률은 다음과 같이 표현됨
  • \(p(\text{mistake}) = \sum_{k} \int_{R_k} \sum_{j \neq k} p(C_j, x) dx\)
• 최적화 목표: 오분류 확률을 최소화하는 결정 규칙을 찾는 것이 목표.
• 적분 내부 최소화:
  • 각 x에 대해 적분 내부를 최소화하면 전체 적분도 최소화된다.
  • 즉, 각 x에 대해 다음을 최소화해야 함
    • \(\sum_{j \neq k} p(C_j, x)\)
• 전체 확률의 법칙 적용
  • \(\sum_{j} p(C_j, x) = p(x)\)
  • 따라서, \(\sum_{j \neq k} p(C_j, x) = p(x) - p(C_k, x)\)
• 최소화 조건:
  • \(p(x) - p(C_k, x)\)를 최소화하는 것은 \(p(C_k, x)\)를 최대화하는 것과 동일
• 베이즈 정리 적용:
  • \(p(C_k, x) = p(C_k|x)p(x)\)
  • 여기서 \(p(x)\)는 모든 클래스에 대해 동일하므로, \(p(C_k|x)\)를 최대화하는 것이 곧 \(p(C_k, x)\)를 최대화하는 것과 같다.
• 결론:
  • 따라서, 각 x에 대해 사후 확률 \(p(C_k|x)\)가 가장 높은 클래스 k로 분류하는 것이 오분류 확률을 최소화하는 최적의 결정.

이 증명은 각 데이터 포인트에 대해 가장 높은 사후 확률을 가진 클래스를 선택함으로써 전체적인 오분류 확률을 최소화할 수 있음을 보여준다. 이는 직관적으로도 이해할 수 있는데, 각 결정에서 가장 가능성 있는 선택을 하면 전체적으로 실수를 최소화할 수 있기 때문

기대 손실은 다음과 같이 표현할 수 있음:

여기서 \(L_{kj}\)는 실제 클래스가 k일 때 j로 분류할 경우의 손실임.

최적의 결정 규칙은 다음 값을 최소화하는 j를 선택하는 것임:

• 나이브 베이즈 분류기

  • 스팸(S)과 정상(H) 이메일의 비율 계산: p(S), p(H)
  • 각 단어가 스팸과 정상 이메일에 나타날 확률 계산: p(word|S), p(word|H)
  • 새 이메일에 대해 p(S|email) vs p(H|email) 비교

  def classify_email(email, word_probs, p_spam):
      log_prob_spam = log(p_spam)
      log_prob_ham = log(1 - p_spam)
      for word in email:
          if word in word_probs:
              log_prob_spam += log(word_probs[word][0])
              log_prob_ham += log(word_probs[word][1])
      return log_prob_spam > log_prob_ham
  

• 가우시안 판별 분석 (이미지 분류)

  • 각 클래스의 평균과 공분산 행렬 계산
  • 새 이미지에 대해 각 클래스의 확률 밀도 계산
  • 가장 높은 확률을 가진 클래스 선택

  from scipy.stats import multivariate_normal
  
  def classify_image(image, means, covs, priors):
      probs = [multivariate_normal.pdf(image, mean=mu, cov=cov) * prior
               for mu, cov, prior in zip(means, covs, priors)]
      return np.argmax(probs)
  

• 로지스틱 회귀

  • 각 클래스에 대한 로지스틱 함수 학습
  • 새 이미지에 대해 각 클래스의 확률 계산
  • 가장 높은 확률을 가진 클래스 선택

  from sklearn.linear_model import LogisticRegression
  
  model = LogisticRegression()
  model.fit(X_train, y_train)
  probabilities = model.predict_proba(X_test)
  predictions = model.predict(X_test)
  

• 신경망

  • 다층 퍼셉트론 구조 정의
  • 손실 함수로 크로스 엔트로피 사용
  • 역전파를 통한 가중치 학습

  • 소프트맥스 함수로 클래스 확률 출력

  • 코드 스니펫 (PyTorch 사용):

  import torch.nn as nn
  
  class DigitClassifier(nn.Module):
      def __init__(self):
          super().__init__()
          self.model = nn.Sequential(
              nn.Linear(784, 128),
              nn.ReLU(),
              nn.Linear(128, 10)
          )
  
      def forward(self, x):
          return self.model(x)
  
  model = DigitClassifier()
  criterion = nn.CrossEntropyLoss()
  optimizer = torch.optim.Adam(model.parameters())
  

• 결정 트리

  • 특성을 기반으로 트리 구조 생성
  • 각 노드에서 가장 정보 이득이 높은 특성으로 분할
  • 리프 노드에 도달할 때까지 반복
  • 새 데이터의 클래스는 해당 리프 노드의 다수 클래스로 결정

  from sklearn.tree import DecisionTreeClassifier
  
  model = DecisionTreeClassifier()
  model.fit(X_train, y_train)
  predictions = model.predict(X_test)
  

• K-최근접 이웃 (K-NN)

  • 새로운 데이터 포인트와 모든 훈련 데이터 간의 거리 계산
  • 가장 가까운 K개의 이웃 선택
  • 다수결로 클래스 결정

  from sklearn.neighbors import KNeighborsClassifier
  
  model = KNeighborsClassifier(n_neighbors=3)
  model.fit(X_train, y_train)
  predictions = model.predict(X_test)
  

X-ray 이미지(x_I)와 혈액 검사(x_B) 데이터가 주어졌을 때:

1. 조건부 독립 가정: \(\(p(x_I, x_B | C_k) = p(x_I | C_k)p(x_B | C_k)\)\)

2. 베이즈 정리 적용: \(\(p(C_k | x_I, x_B) \propto p(x_I, x_B | C_k)p(C_k)\)\)

3. 조건부 독립 가정 적용: \(\(p(C_k | x_I, x_B) \propto p(x_I | C_k)p(x_B | C_k)p(C_k)\)\)

4. 다시 베이즈 정리 사용: \(\(p(C_k | x_I, x_B) \propto \frac{p(C_k | x_I)p(C_k | x_B)}{p(C_k)}\)\)

이는 naive Bayes 모델의 한 예시임. 주의: 결합 주변 분포 p(x_I, x_B)는 여전히 인수분해되지 않음.