확률분포 썸네일형 리스트형 [머신러닝] Jensen–Shannon 발산과 Kullback–Leibler 발산 GAN에서 조금 고전하던 도중 GAN에서 D와 G 사이의 확률분포 차이를 줄이기 위해 사용하는 발산들을 알아보았다. 1. KLD(쿨백-라이블러 발산) 쿨백-라이블러 발산, 줄여서 KLD는 간단히 말해 한 확률분포와 그 확률분포의 근사 간의 정보 손실율을 계산하는것이다. 양 확률분포가 같으면 KLD는 0이 된다. 확률분포 p와 근사 분포 q의 KLD는 다음과 같이 나타낸다 또한 KLD는 로그값을 이용해 그 차이를 계산하기 때문에 KLD는 다음과 같이 설명할 수 있다 또한 이 수식은 log a - log b = log a/b이므로 다음과 같이 정리된다 즉, log p(xi)와 log q(xi)의 차를 이용하여 KLD를 구하는 것을 알수 있으며 p와 q가 완전히 같으면 0이 된다는 것을 알 수 있다 2. JS.. 더보기 이전 1 다음