Dalam teori informasi, kita mempelajari bagaimana cara mengukur secara kuantitatif informasi yang terkandung didalam sebuah sinyal pesan, dan bagaimana menentukan kapasitas sistem komunikasi yang memadai untuk memindahkan informasi tersebut dari sisi pengirim (sumber informasi) ke sisi penerima (tujuan informasi). Di dalam pembahasan ini, kita akan membahas secara singkat gagasan-gagasan utama yang mendasari teori informasi dan teknik penyandian sumber informasi.
SUMBER INFORMASI
Sumber informasi dalah obyek yang menimbulkan sebuah kejadian, di mana hasil-hasil kejadian ini muncul sesuai dengan suatu distribusi peluang tertentu. Sumber informasi praktis di dalam sebuah sistem komunikasi adalah perangkat-perangkat yang menghasilkan (mengirimkan atau mentransmisikan) pesan, di mana pesan ini dapat bersifat kontinyu atau diskrit. Kita akan menitikberatkan perhatian pada sumber informasi diskrit, hal ini dikarenakan sumber analog dapat ditransformasikan menjadi sumber diskrit melalui teknik-teknik sampling dan kuantisasi yang kita pelajari. Sebuah sumber informasi diskrit adalah sumber yang memberikan output berupa simbol-simbol dalam jumlah berhingga sebagai hasil-hasil kejadian yang mungkin. Himpunan semua simbo yang mungkin dihasilkan oleh sebuah sumber diskrit disebut sebagai abjad sumber, atau alfabet sumber, dan anggota-anggota himpunan ini disebut sebagai simbol atau huruf.
Sumber-sumber informasi dapat diklasifikasikan menjadi sumber dengan memori dan sumber tanpa memori (memoryless). Sebuah sumber dengan memori adalah sumber yang menghasilkan simbol-simbol yang peluang kemunculannya ditentukan oleh kemunculan simbol-simbol terdahulu. Sebuah sumber tanpa memori adalah sumber yang menghasilkan simbol-simbol tanpa terikat oleh kemunculan simbol-simbol terdahulu.
Sebuah sumber diskrit tanpa-memori (DMS, discrete memoryless source) dapat dicirikan secara lengkap oleh hal-hal berikut ini : himpunan semua simbol yang mungkin dimunculkannya, peluang untuk masing-masing simbol tersebut, dan kecepatan sumber memunculkan simbol-simbol atau laju kemunculan simbol.
KANDUNGAN INFORMASI DARI SUMBER TANPA-MEMORI
Informasi yang terkandung di dalam sebuah kejadian sangat bergantung pada seberapa besar peluang kemunculan kejadian tersebut. Pesan-pesan yang memberitahukan kita mengenai kejadian yang hampir pasti muncul hanya memberikan kita sedikit sekali informasi. Kita bersepakat disini bahwa jika sebuah kejadian akan muncul secara pasti (yaitu, peluang itu adalah 1), maka informasi mengenainya sama sekali tidak memiliki nilai atau kandungan informasi didalam pesan tentang kejadian itu adalah nol. Sehingga suatau bentuk ukuran matematis untuk informasi dapat diturunkan di sini, sebagai fungsi dari peluang kemunculan hasil-hasil kejadian dan yang harus memenuhi kedua aksioma dibawah ini :
- Informasi harus bernilai sebanding dengan ketidakpastian munculnya sebuah kejadian.
- Kandungan informasi di dalam kejadian-kejadian yang independen (tidak bergantung pada satu sama lainnya) dapat dijumlahkan nilainya secara kumulatif.
Kandungan Informasi Simbol
Jika diketahui adalah sebuah sumber DMS, yang memiliki abjad
. Kandungan informasi dari sebuah simbol tunggal
, yang dituliskan dengan lambang
, didefinisikan oleh persamaan :
dimana, adalah peluang kemunculan simbol
. Perhatikan
memiliki sifat-sifat berikut :
untuk
jika
dan
independen
Satuan kandungan informasi adalah bit (binary unit, satuan biner) jika b=2, Hartley atau desit jika b=10, dan nat (natural unit, satuan natural) jika b=e. Secara baku kita menggunakan b=2. Di sini, satuan bit (disingkat menjadi “b”) adalah ukuran kandungan informasi, dan berbeda dengan istilah bit yang berarti “digital biner” (binary digit). Konversi dari satuan bit ke satuan-satuan kandungan informasi lainnya dapat dilakukan dengan menggunakan rumusan berikut ini :
Informasi Rata-rata (Entropi)
Sistem-sistem komunikasi praktis umumnya mentransmisikan serangkaian panjang simbol-simbol yang dihasilkan oleh sebuah sumber informasi. Oleh sebab itu, kita sebenarnya lebih berkepentingan dengan jumlah informasi rata-rata yang dihasilkan oleh sebuah sumber, ketimbang dengan jumlah informasi yang dikandung oleh sebuah simbol tunggal. Nilai rata-rata dari untuk sebuah abjad sumber yang terdiri dari
simbol, yang dihasilkan oleh sumber X, dapat ditentukan melalui rumusan
Besaran dinamakan entropi dari sumber X. Besaran ini merupakan ukuran kandungan informasi rata-rata per simbol dari serangkaian simbol yang dihasilkan sumber. Entropi sumber
dapat pula dipandang sebagai jumlah rata-rata ketidakpastian yang melekat pada sumber
, yang diwujudkan dalam bentuk peluang simbol-simbol.
Perhatikan bahwa untuk sebuah sumber informasi biner X yang menghasilkan dua simbol independen 0 dan 1 dengan peluang yang sama besarnya, entropi sumber adalah
Entropi sumber memenuhi kondisi berikut ini :
dimana adalah ukuran (ukuran simbol) dari abjad sumber X. Batas bawah pada pertidaksamaan di atas merepresentasikan situasi di mana tidak terdapat ketidakpastian, yang terjadi apabila salah satu simbol memiliki peluang kemunculan
sedangkan simbol lainnya memiliki peluang
dimana
, sehingga berarti sumber X mengeluarkan hanya satu simbol yang sama
sepanjang waktu. Batas atas merepresentasikan situasi ketidakpastian maksimum, yang terjadi jika
untuk
, masing-masing dari m simbol yang mungkin dihasilkan oleh X memiliki peluang yang sama besar.
Laju Informasi
Jika kecepatan sumber X menghasilkan simbol-simbol adalah r simbol dalam setiap detik (r simbol/s), maka laju informasi R dari sumber ini adalah
(reference : Hwei HSU, Schaum’s Outlines)