Kampung Orang Asli Desa Sri Banang merupakan penempatan semula Orang Laut (Orang Kuala) yang asalnya berlokasi di Pulau Sialu dan Kampung Segenting. Mereka adalah dari suku Orang Duano dan mereka lebih tepat dipanggil Orang Kuala dan bukan Orang Asli. Kehidupan yang serba mencabar di Pulau Sialu dengan kejadian ribut dan kemiskinan memaksa mereka dipindahkan oleh kerajaan Johor di sekitar tahun 1970an. Asalnya Orang Laut ini tinggal di Pulau Sialu dengan rumah-rumah mereka yang beratapkan nipah. Beberapa foto lama menunjukkan bagaimana suasana kehidupan mereka di sekitar tahun 1964 dengan suasana kehidupan dan rumah kampung yang cantik. Pada sekitar tahun 2000, mereka dipindahkan sekali lagi ke Desa Sri Banang ini melalui program penempatan semula di bawah inisiatif Jabatan Kemajuan Orang Asli (JAKOA). Namun penempatan di sini tidak lagi menggambarkan suasana kehidupan silam mereka dengan penempatan yang lebih moden dengan infrastruktur asas yang lebih baik.