Intro

• 레이블 스무딩(Label Smoothing)은 데이터 정규화(Regularization) 테크닉 가운데 하나로, 간단한 방법이면서도 모델 일반화 성능을 높여 주목을 받음.

Prerequisits

Entropy

• 정보를 표현하기 위한 최소 평균 자원량(0과 1의 길이)

• 모든 정보를 0과 1로 표현(bits의 단위)할 때 필요한 최소 자원량

• 정보 표현의 자원량을 줄이기 위해서는 발생확률이 높은 정보일 수록 적은 자원을 할당하면 됨, Entropy는 이러한 자원량의 Lower bondary를 준 것

• 따라서 정보량을 표현하는 함수는 확률값에 대한 음의 로그 함수로 표현, bit으로 표현하므로 밑이 2

• 각 정보는 확률분포에의해 랜덤하게 발생하므로 정보량을 기댓값으로 표현해야함, 이것이 정보 표현을 위해 필요한 0과 1의 길이의 최소 기댓값, 이것 보다 더 작게 표현할 수 없음.

  $$ -\sum_{T}p_T \cdot(log_2p_T) $$

• 최소 자원량이 maximum이 되는 경우는 각 경우의 확률이 모두 동일할 때

• cf. 각 경우가 continuous 할 때는 밑이 e인 로그 함수로 표현함

Cross-Entropy

• 원래 각 사건의 발생확률과는 다르게 내가 생각한 발생 확률을 $q_T$라 하자 이걸로 Entropy 식에서 정보량을 표현한 것이 Cross-Entropy.
• 위의 식에서 로그의 $p_T$ 대신 $q_T$를 넣었을 때인 Cross-Entropy는 실제 사건 발생 확률을 반영한 이상적인 Entropy보다는 커질 것

$$ -\sum_{T}p_T log_2q_T $$

KL-Divergence

• 실제 확률 분포 $p_T$와 추정한 확률분포 $q_T$ 각각의 Entropy의 차이, 이 차이만큼 실제 분포를 예측하지 못하고 비효율적으로 정보를 표현한 것