Konsep Dasar Entropy dan Redundancy (Shannon)

Entropy dan redundancy merupakan konsep dasar yang dikemumakan pada teori informasi Shannon ini. Ide tersebut diadopsi dari salah satu cabang ilmu fisika yaitu termodinamika. Kedua konsep tersebut saling mempengaruhi dan bersifat sebab-akibat (kausalitas) dimana entropy akan sangat berpengaruh terhadap redundancy yang timbul dalam proses komunikasi.

Entropy adalah konsep keacakan, di mana terdapat suatu keadaan yang tidak dapat dipastikan kemungkinannya. Entropy timbul jika prediktabilitas/kemungkinan rendah (low predictable) dan informasi yang ada tinggi (high information). Sebagai contoh ada pada penderita penyakit AIDS. Pengidap AIDS atau yang lebih sering disebut OHIDA tidak dapat dipastikan usianya atau kapan ia akan dijemput maut. Ada yang sampai delapan tahun, sepuluh tahun, bahkan sampai dua puluh tahun, masih bisa menjalani hidup sebagaimana orang yang sehat. Hal ini dikarenakan ajal atau kematian adalah sebuah sistem organisasi yang kemungkinannya sangat tidak dapat dipastikan.

Informasi adalah sebuah ukuran ketidakpastian, atau entropy, dalam sebuah situasi. Semakin besar ketidakpastian, semakin besar informasi yang tersedia dalam proses komunikasi. Ketika sebuah situasi atau keadaan secara lengkap dapat dipastikan kemungkinannya atau dapat diprediksikan (highly predictable), maka informasi tidak ada sama sekali. Kondisi inilah yang disebut dengan negentropy.

Konsep kedua adalah redundancy, yang merupakan kebalikan dari entropy. dudansi adalah sesuatu yang bisa diramalkan atau diprediksikan (predictable). Karena prediktabilitasnya tinggi (high predictable), maka informasi pun rendah (low information). Redundansi apabila dikaitkan dengan masalah teknis, ia dapat membantu untuk mengatasi masalah komunikasi praktis. Masalah ini berhubungan dengan akurasi dan kesalahan, dengan saluran dan gangguan, dengan sifat pesan, atau dengan khalayak.    Kekurangan-kekurangan dari saluran (channel) yang mengalami gangguan (noisy channel) juga dapat diatasi oleh bantuan redundancy. Misalnya ketika kita berkomunikasi melalui pesawat telepon dan mengalami gangguan, mungkin sinyal yang lemah, maka kita akan mengeja huruf dengan ejaan yang telah banyak diketahui umum, seperti charlie untuk C, alpa untuk huruf A, dan seterusnya.

Dengan memandang informasi sebagai entropy, Shannon mencetuskan ide bahwa sebuah sumber informasi bersifat probabilistik dengan mengajukan pertanyaan seperti ini : jika sebuah sumber informasi memproduksi pesan-pesan dengan cara memilih simbol-simbol dari himpunan simbol terhingga, dan probabilitas simbol-simbol yang muncul bergantung pada pilihan sebelumnya, maka seberapa banyakkah informasi yang terkait dengan sumber tersebut?

Shannon menjelaskan hal tersebut dengan sebuah persamaan yang memaparkan hubungan antara entropy dan redundancy. Jika sebuah sumber informasi tidak mempunyai banyak pilihan atau memiliki derajat keacakan yang rendah, maka informasi  atau entropy tersebut rendah.

(actual entropy / max entropy) = redudancy

Dengan mendefinisikan informasi sebagai entropy, terbentuklah 2 buah teorema fundamental dari Shannon. Teori yang pertama berhubungan dengan sistem komunikasi pada channel tanpa noise, sedangkan teori yang kedua berhubungan dengan sistem komunikasi dengan noise.

Bunyi dari teorema pertama adalah sebagai berikut.

Terdapat sebuah sumber informasi yang memiliki entropy H (bits per symbol) dan sebuah channel  dengan kapasitas C (bits per transmit) dengan laju rata-rata C/H – e symbol per second dimana e sangat kecil. Tidak mungkin untuk dapat melakukan transmisi dengan laju rata-rata lebih dari C/H.

Ide utama dibalik teorema ini adalah bahwa jumlah informasi yang mungkin untuk ditransmisikan berdasar pada besarnya entropy atau derajat keacakkan. Oleh karena itu, berdasarkan sifat-sifat statistik dari sumber informasi, ini memungkinkan untuk dilakukannya pengkodean informasi sehingga memungkinkannya untuk melakukan pentransmisian informasi pada laju maksimum yang diperbolehkan channel. Ini merupakan ide revolusioner bagi para insinyur komunikasi sebelumnya yang berpikir bahwa jumlah sinyal maksimum yang dapat ditransport dalam suatu mediam bergantung pada berbagai faktor, seperti frequensi, dan sebagainya.

Sedangkan, bunyi dari teorema kedua adalah sebagai berikut.

Diketahui sebuah channel yang memiliki kapasitas C dan sebuah sumber entropy discrete per second H.  Jika H<=C maka akan ada suatu sistem koding dimana output dari sumbernya dapat ditransmisikan melalui channel dengan tingkat kegagalan yang sangat rendah. Jika H-C > C maka akan ada kemungkinan untuk meng-encode pesan sehingga pesan yang ambigu bernilai kurang dari H-C + e dimana e sangat kecil. Tidak ada metode yang mengenkode pesan dimana tingkat ke-ambiguitasnya kurang dari H-C.