엔트로피 이전에 정보량에 대해서 이해할 필요가 있다. 어떠한 사건의 확률값에 -log를 취하면 확률이 높아질수록 0에 가까워지고 확률이 낮아질수록 무한대에 가까워진다. 즉 확률이 높을수록 낮은값을 지니도록 설정하기 위한 도구로 -log를 취했다. 그리고 -log p(x) 를 정보량 I(x) 으로 정한다. 정보의 크기(정보량)란? 어떤 정보가 참이라고 가정했을 때 어떠한 사건이 일어날 확률이 매우 낮을수록 큰 정보라고 부른다. 왜냐하면 확률이 낮은 사건은 누구나 알고 있다고 보기 어렵기 때문에 만일 사실일 경우 유익한 정보이기 때문이다. 개인적으로는 정보량을 정보의 가지수로 이해하면 어떨까 싶다. 가령 정보량이 0에 근사하다는 말은 즉 사건 발생 확률이 높다는 것이므로 A라는 사건이 발생할 경우 어떤 결과..