คำว่า “กาบัง” หรือ “กาแบ” เป็นภาษามลายูพื้นเมืองของปักษ์ใต้เป็นคำเรียกพันธุ์ป่าไม้ชนิดหนึ่ง เป็นไม้ตระกูลเดียวกับเงาะ ลำต้น กิ่ง ก้านใบและดอกผล มีลักษณะเหมือนเงาะ มีผลลักษณะกลม โตกลม ว่าเงาะบ้าน ขนเกรียนดูเพียงขรุขระเท่านั้น ไม่เป็นเส้นยาวๆ เหมือนขนเงาะ (และมีประวัติมาจากคำว่า ฆามแบ แปลว่า ต้นสีเสียด) สาเหตุที่เรียกว่า อำเภอกาบัง เพราะในอดีตมีต้นกาบัง ขึ้นอยู่ในหมู่บ้านกาบัง ต้นขนาดเส้นผ่าศูนย์กลาง ๑ เมตร อยู่ริมทางเส้นทางจากบ้านยือนัง – บาละ ซึ่งเส้นทางนี้ในอดีตใช้สัญจรในการเดินทางไปอำเภอยะหา
อำเภอกาบัง ได้รับการจัดตั้งโดยแยกพื้นที่การปกครอง ๒ ตำบลของ อำเภอยะหาคือ ตำบลกาบังและตำบลบาละ เมื่อวันที่ ๑ เมษายน พ.ศ. ๒๕๓๔ ตามประกาศของกระทรวงมหาดไทย เรื่องแบ่งเขตท้องที่อำเภอยะหา จังหวัดยะลา ตั้งเป็นกิ่งอำเภอกาบัง วันที่ ๒๗ ธันวาคม พ.ศ. ๒๕๓๓ ได้จัดตั้งขึ้นตามพระราชกฤษฎีกาประกาศตั้งอำเภอซึ่งได้ประกาศในราชกิจจานุเบกษา ฉบับกฤษฎีกา ตอนที่ ๕๐ ก วันที่ ๒๖ กันยายน ๒๕๔๐ และมีผลบังคับใช้ตั้งแต่วันที่ ๑๑ ตุลาคม ๒๕๔๗