Data Analysis for Investment & Control

정보이론에서 같은 잠재적인 이벤트의 세트를 가지는 두 개의 확률 분포 p와 q의 cross entropy는 세트로부터 이벤트를 구분하는데 필요한 비트의 평균을 측정한다... 라고 위키에 나와있다. 여기서 두 가지를 알 수 있는데, 하나는 두 개의 확률 분포를 구분하기 위한 목적으로 사용되는 것이고 다른 하나는 이것을 측정하는 것이라는 것이다. 확률 분포는 변수(x)가 주어질 때 해당 변수의 값에서 이벤트가 발생할 확률을 분포로 나타낸 것이다. 예를 들어 x = {1, 2, ..., 10}의 10개의 값을 가지는 집합이라고 할 때, N번의 카운트에서 x = 1이 될 빈도수, x = 2가 될 빈도수, ... 를 계속 측정한다. 그러면 1