Definisi

Dalam matematika dan khususnya di inferensi statistik, geometri informasi adalah studi tentang probabilitas dan informasi dengan cara geometri diferensial. Ini mencapai kematangan melalui karya Shun’ichi Amari pada 1980-an, dengan apa yang sedang buku referensi kanonik [rujukan?]: Metode geometri informasi.

Pengenalan

Prinsip utama geometri informasi adalah bahwa banyak struktur penting dalam teori probabilitas, teori informasi dan statistik dapat dianggap sebagai struktur dalam geometri diferensial dengan memandang ruang dari distribusi probabilitas sebagai manifold terdiferensialkan diberkahi dengan metrik Riemann dan keluarga yang berbeda koneksi affinedari sambungan affine kanonik [kutipan. diperlukan] Sambungan-e affine dan koneksi m-affine geometrize klarifikasi [sunting] harapan dan maksimalisasi, sebagai dalam algoritma harapan-maksimisasi.

Sebagai contoh

  1. Informasi Fisher metrik adalah kutipan [metrik Riemann. Diperlukan]
  2. Penyimpangan Kullback-Leibler adalah salah satu dari keluarga divergensi yang berkaitan dengan hubungan affine dual.
  3. Sebuah keluarga eksponensial adalah datar submanifold bawah sambungan-e affine.
  4. The maximum likelihood merupakan proyeksi bawah sambungan m-affine.
  5. Adanya unik dari estimasi maksimum likelihood pada keluarga eksponensial adalah akibat dari kutipan [e- dan m-koneksi yang affine ganda. Diperlukan]
  6. Algoritma EM, dalam kondisi yang luas, metode proyeksi iterasi dual bawah hubungan-e dan m-koneksi.
  7. Konsep keakuratan penduga, khususnya efisiensi orde pertama dan ketiga penduga, dapat direpresentasikan dalam hal imbedding kelengkungan manifold mewakili model statistik dan manifold mewakili estimator (urutan kedua selalu sama dengan nol setelah bias koreksi).
  8. Urutan kekuatan yang lebih tinggi asimtotik uji statistik dapat direpresentasikan dengan menggunakan jumlah geometris.

Pentingnya mempelajari statistik struktur sebagai struktur geometri terletak pada kenyataan bahwa struktur geometris yang invarian dalam transformasi koordinat. Sebagai contoh, sebuah keluarga distribusi probabilitas, distribusi Gaussian seperti, dapat diubah menjadi keluarga distribusi yang lain, seperti distribusi log-normal, dengan perubahan variabel. Namun, fakta itu menjadi sebuah keluarga eksponensial tidak berubah, [rujukan?] Karena yang terakhir adalah properti geometris. Jarak antara dua distribusi dalam keluarga ini didefinisikan melalui metrik Fisher juga akan dipertahankan.

Para ahli statistik Fisher yang diakui di tahun 1920-an yang ada ukuran intrinsik jumlah informasi untuk penduga statistik. Informasi Fisher matriks ditunjukkan oleh Cramer dan Rao untuk menjadi metrik Riemann pada ruang probabilitas,  Dan dikenal sebagai informasi Fisher metrik. Ahli matematika itu Cencov (Chentsov) terbukti di tahun 1960-an dan 1970-an yang pada ruang distribusi probabilitas pada ruang sampel mengandung setidaknya tiga titik,  Ada ada metrik intrinsik yang unik. Ini adalah informasi Fisher metrik. Ada sebuah keluarga ada satu parameter koneksi affine unik. Ini adalah keluarga koneksi α-affine kemudian dipopulerkan oleh Amari. Kedua keunikan ini, tentu saja, hingga perkalian dengan konstanta.

Amari dan studi Nagaoka di tahun 1980-an membawa semua hasil bersama-sama, dengan diperkenalkannya konsep koneksi dual-affine, dan interaksi antara metrik, koneksi affine dan perbedaan. Secara khusus, Mengingat g metrik Riemann dan keluarga dual koneksi affine Γα, terdapat perbedaan yang unik dari dual Dα didefinisikan oleh mereka.  Mengingat perbedaan dual keluarga Dα, hubungan metrik dan dapat affine unik ditentukan oleh urutan kedua dan diferensiasi urutan ketiga. Juga, Amari dan Kumon menunjukkan bahwa efisiensi asimtotik estimasi dan tes dapat diwakili oleh jumlah geometris.

Information geometry is based primarily on the Fisher information metric:

g_{jk}=\int \frac{\partial \log  p(x,\theta)}{\partial \theta_j} \frac{\partial \log  p(x,\theta)}{\partial \theta_k} p(x,\theta)\, dx.

Substituting i = −log(p) from information theory, the formula becomes:

g_{jk}=\int \frac{\partial  i(x,\theta)}{\partial \theta_j} \frac{\partial i(x,\theta)}{\partial  \theta_k} p(x,\theta)\, dx.

Sumber ; http://en.wikipedia.org