Ketidakstabilan modulasional (dalam bahasa Inggris : Modulational instability atau sideband instability) merupakan fenomena dalam bidang optika nonlinier dan dinamika fluida, di mana penyimpangan dari gelombang periodik diperkuat oleh sifat nonlinier suatu sistem. Proses ini menyebabkan terbentuknya pita samping spektral (spectral sidebands) dan pada akhirnya memicu pemecahan gelombang menjadi menjadi paket gelombang (wave packets).^[1][2][3]

Fenomena ini pertama kali ditemukan dan dimodelkan pada gelombang gravitasi permukaan periodik (gelombang Stokes) di perairan dalam oleh T. Brooke Benjamin dan Jim E. Feir pada tahun 1967,^[4] sehingga dikenal juga sebagai ketidakstabilan Benjamin–Feir (Benjamin–Feir instability). Meskipun demikian, ketidakstabilan modulasi spasial pada laser berdaya tinggi dalam pelarut organik telah diamati sebelumnya oleh ilmuwan Rusia N. F. Piliptetskii dan A. R. Rustamov pada tahun 1965,^[5] sedangkan penurunan matematis fenomena ini dipublikasikan oleh V. I. Bespalov dan V. I. Talanov pada tahun 1966.^[6] Ketidakstabilan modulasi juga dianggap sebagai salah satu mekanisme yang dapat menjelaskan terbentuknya gelombang raksasa di lautan.^[7][8]

Ketidakstabilan modulasi terjadi hanya dalam kondisi tertentu. Salah satu kondisi utama adalah dispersi kecepatan grup anomali, di mana pulsa dengan panjang gelombang lebih pendek bergerak dengan kecepatan grup yang lebih tinggi dibandingkan dengan pulsa berpanjang gelombang lebih panjang. Kondisi ini biasanya diasumsikan berlangsung pada sistem dengan nonlinieritas Kerr, yaitu ketika indeks bias meningkat seiring dengan intensitas optik.^[3]

Tingkat ketidakstabilan bergantung pada frekuensi gangguan (perturbasi). Pada beberapa frekuensi, gangguan memiliki pengaruh yang kecil, sedangkan pada frekuensi lain, gangguan dapat tumbuh secara eksponensial. Spektrum penguatan (gain spectrum) dari proses ini dapat diturunkan secara analitik.^[9]

Kecenderungan sinyal gangguan untuk mengalami pertumbuhan menjadikan ketidakstabilan modulasi sebagai salah satu bentuk proses penguatan (amplifikasi). Dengan mengatur sinyal masukan agar bertepatan dengan puncak spektrum penguatan, fenomena ini dapat dimanfaatkan untuk menghasilkan penguat optik (optical amplifier).^[10]

Ketidakstabilan modulasi medan optik juga ditemukan pada sistem fotokimia, khususnya dalam media fotopolimerisasi.^{[11][12][13][14]} Fenomena ini muncul akibat nonlinieritas optik intrinsik yang disebabkan oleh perubahan indeks bias karena reaksi fotokimia.^[15]

Ketidakstabilan modulasi dapat pula terjadi pada cahaya yang tidak koheren secara spasial maupun temporal, karena respon non-instan dari sistem fotoreaktif. Sistem tersebut merespons intensitas rata-rata cahaya terhadap waktu, sehingga fluktuasi dengan skala waktu femtosekon saling meniadakan.^[16][17][18]