情報理論について

古典力学を量子力学の近似ととらえた場合に、情報科学における情報という概念もひょっとしたら情報を包括するようなさらに高次な概念の近似なんじゃないかなと思うんです。

何を指して情報理論と言っているのかはよく分からないけど、もともと、独立な事象AとBがあった場合に、情報量を、

1. P(A)に対して単調現象
2. P(A and B)の情報量はP(A)とP(B)それぞれの情報量の和に比例する
3. P(A)に対して連続

の三点を満たす関数としてShannonが定義したのが始まり。じゃ、P(A)の分布ってどうなってるの?　という辺りに答えがありそうな気がする。つまり、圧縮なんかをするときはP(A)が何らかの分布に従って傾向を持っていると仮定するところから全てが始まるわけで、P(A)の真の分布は何、とかP(A)をどう推定するのかという問題になってくるのかもしれない。例えばテキストファイルの圧縮率が非常によいのは、頻出する文字コードがあるドメインに限定されているからである。しかし、ここでは事象Aの真の確率分布は誰も分からないわけで、統計理論とか確率理論を深堀りしたところに…と期待している俺ガイル。

ま、しかし、この定義はP(A)がある確率変数の下に定義されているものであって、ボレル集合とかわけわからんこと言い出したときにどう変わるかは不明。あんまし変わらないかもしれないけど。

情報理論