Mutual Information

Mutual Information, Self-information   상호 정보, 자기 정보

수정일 : 2011-10-08

코딩/정보이론> 정보이론   

1. 개요

  ㅇ 자기 정보 (Self-information)
     - 다른 사건과는 관련없이 순전히 자기 사건 만의 발생 확률에 근거한 정보량
       

  ㅇ 조건부 자기 정보 (Conditional Self Information)
     - 사건 Y=yj가 주어졌을 때, 사건 X=xj가 발생되는 조건부 정보
       

  ㅇ 상호 정보 (Mutual Information)
     - 사건들 간에 상호 조건적으로 발생되는 연관성에 따른 정보량
        . 사건 Y=yj를 관찰하고, 이 때문에 사건 X=xj (i=1,2,...,n)에 대해 기대하는 정보량
        . 그 역도 성립
       
     - 정보량의 차이
       
        . 사건들이 통계적 독립 즉, P(xi|yj) = P(xi) 일 때
           .. I(xi;yj) = 0 -> 상호정보는 없다
        . 사건들이 종속적 즉, P(xi|yj) = 1 일 때
           .. I(xi;yj) = I(xi) -> 상호정보 = 자기정보


2. 채널을 통한 상호 정보량

  ㅇ 의미
     - 채널을 통해 전송된 정보량으로, 채널에 대한 정보공학적 특성을 나타냄
     - 2가지 정보량의 차이
       . 선험적 확률(사전 확률)에 의한 정보량(전송하기전 원래 갖고있던 정보량) 및
         후험적 확률(사후 확률)에 의한 정보량(수신된 심볼을 조건으로하여 송신심볼에
         기대되는 정보량)의 차이

  ㅇ 종류
     - 전향조건 상호정보
        . 전향조건확률에 의한 평균
     - 후향조건 상호정보
        . 후향조건확률에 의한 평균
     - 시스템 상호정보
        . 정보채널을 통해 전송된 평균정보량


3. 시스템 상호정보 = 평균적 상호정보량

  ㅇ 정보채널을 통해 전송된 평균정보량 
  ㅇ 수신측이 채널을 통해 획득 가능한 정보량

  ㅇ   I(X;Y) = H(X) - H(X|Y)

  ㅇ 특징
     - 양수    I(X;Y) ≥ 0
     - 교환성  I(X;Y) = I(Y;X)
     - 결합    

  ㅇ ... (작성중) ...

【   참 고 문 헌   】
1) Ranjan Bose,"정보와 부호이론",이재진,정하봉 공역,한티미디어,2008
2) 강창언,오용선,강민구,"정보공학",진영사,1997

Copyrightⓒ since 2002 written by 차재복 (Cha Jae Bok)