Gaziantep İli, Yavuzeli İlçesi, Kasaba köyünün yakınında bulunan Rumkale; Gaziantep şehir merkezinden 62 km. Yavuzeli’nden ise 25 km. uzaklıkta, Merzimen Çayı’nın Fırat Nehri ile birleştiği yerde, dik kayalar üzerindedir. Rumkale’ye Kasaba köyünden ve Halfeti’den teknelerle kolaylıkla ulaşılmaktadır. Antik dönemden günümüze kadar Şitamrat, Kal-a Rhomayta, Hromklay, Ranculat, 
Kal-at el Rum, Kal-at el Müslimin, Kale-i Zerrin (Altın Kale) ve Rumkale gibi bir çok isimle adlandırılmıştır.

Rumkale Fırat ve Merzimen kıyılarından itibaren dimdik yükselen sarp kayalıklarla çevrili yüksek bir tepe üstüne kurulmuştur. 1838 de Rumkaleyi ziyaret eden Moltke’ye “kayalığın nerede bittiğini, insan eserinin nerede başladığını söyleyebilmek çok zor” dedirtecek kadar doğayla uyumlu mimari özelliğe sahiptir. Kale iki beden halindedir. Birinci beden; kalenin doğu, kuzey ve batıda doğal kayalığın dik olarak yontulmasıyla, doğal sur meydana getirilerek oluşturulmuştur. İkinci beden ise bu doğal surun üstüne sert kalker kesme taşlarla sur duvarı olarak yapılmıştır. Kuzey ve doğu surlarında dikdörtgen planlı 7 burç ile kuzeyde çok sayıda mazgal pencere yer almaktadır. Kalenin güney yöndeki kayalık uzantısı 12. yüzyılda 30m. derinliğinde ve 20m. genişliğinde oyularak uçurum (hendek) haline getirilmiştir. Böylece, savunmaya yönelik olarak karayla kalenin direkt ilişkisi kesilmiştir. Kale 120m. genişliğinde ve 200m. uzunluğunda bir alanı kaplamaktadır. 

Rumkale bir zamanlar Halfeti (Şanlıurfa) ile Gaziantep arasında sınır oluşturan Fırat ırmağı kıyısında yer alırdı. Merzimen çayının suyu Rumkale dibinde, derin ve sarp vadi içinde akan Fırat nehrine karışırdı. Günümüzde üç yanı Baraj gölüyle çevrilmiş olup, yarım ada görünümündedir. Kalenin eteklerinde ise aşağı şehir bulunmaktaydı. 
Rumkale’nin doğu ve batıdan olmak üzere iki ana giriş kapısı mevcuttur. Doğu girişi Fırat nehriyle, batı girişi ise Merzimen çayı üzerine kurulmuştu. Bugün sadece ayaklarının kalıntısı mevcut olan köprü, kara ile irtibatı sağlamaktaydı. Buradan patika yolla kalenin giriş kapısına çıkılmaktadır. Batı cephesinde yol üzerine 20m. aralıklarla 4 tane kule şeklinde kapı yapılarak savunma açısından büyük kolaylık sağlanmıştır. Batı surlarda kuzeyden itibaren birinci kapı dikdörtgen planlıdır. Nöldeke birinci kapının olduğu yerde bir türbe ve bir iskele olduğundan bahsetmiştir. İkinci kapı kareye yakın dikdörtgen planlı yarım daire şeklindedir. Üçünçü kapı tahrip olmuştur. Dördüncü kapı kare planlı haç tonozludur. Beşinci kapı kalenin Fırat’a bakan doğu cephesindedir. Dikdörtgen biçimli bu kapı, içte biri yuvarlak, diğeri sivri kemerli iki niş içine alınmıştır.

Kalede beden duvarları ve burçlardan başka, bugün görülebilen kalıntılar arasında Şair Aziz Nerses kilisesi, Barşavma manastırı, su sarnıçları ve su kuyusu sayılabilir. Kuyu basamaklarla Fırat nehrinin seviyesine kadar inen 8m. genişliğinde ve yaklaşık 75m. derinliğindedir. Fırat nehrinden su temin etmek için yapılmış olan bu kuyunun gizli bir geçit olduğu da rivayet edilmektedir. Kuyunun silindirik iç yüzünde kayanın oyulmasıyla helozonik bir merdiven meydana getirilmiştir. Bunlardan başka kale içinde işlevi tesbit edilemeyen çok sayıda yapı kalıntısı mevcuttur. Kaledeki yapıların bir çok bölümü ana kayanın oyulması ve düzleştirilmesiyle yapılmıştır. Surlarda ve burçlarda örgü malzemesi moloz taş, kaplama malzemesi olarak büyük boyutlu düzgün kesme taşlar, kemerlerde ise tuğla görünümü verilmiş kesme taşlar kullanılmıştır. 

Şair Aziz Nerses Kilisesi: Rumkalenin güneyinde yer alan hükümranlık kilisesini 1173’te Şair Aziz Nerses yaptırmıştır. 18. Yüzyılda Rumkale’yi ziyaret eden Richard Peacock bu yapıdan ”Gotik” tarzda küçük ama güzel bir kilise olarak bahsetmiştir. 

Doğu-batı doğrultusundaki kilise dikdörtgen planlı, üç nefli ve üç apsislidir. Batısında narteks yer alır. Sadece absisin doğu cephesinin bir bölümü toprak üstündedir. Doğu cephesinin ortasında silmeli çerçevenin iki yanında birbirine benzer kabartmalı levha bulunur. Sol levhada haç ve rumi süslemenin olduğu kabartmanın altında başlarını geriye çevirmiş karşılıklı duran iki aslan, sağ levhada ise iki palmet arasında başını sağa çevirmiş, kanatlarını açmış bir kartal kabartması vardır. Bu kilise İslami dönemde cami olarak kullanılmıştır. 

Barşavma manastırı : Kale içinde kuzeyde yer alır. 13. yüzyılda Yakubi azizi Barşavma kendi adına inşa ettirmiştir.Birbirine bitişik iki yapıdan bazı bölümler ayakta kalmıştır. Kuzey cephesini kaya kütlesi oluşturur. Kare planlı olan yapı haç tonozlarla örtülmüştür. Duvarlarda büyük taş bloklar halinde kesme taşlar, payelerde ve batı mekanın kapısında düzgün kesme taşlar, kemerlerde ve örtü sisteminde ise tuğla görünümü verilmiş kesme taşlar burada da kullanılmıştır. Yakınında bir de kuyu mevcuttur.

Kalede toprak üstündeki yapılar 12-14. yüzyıllar arasına aittir. Bunlar içinde en eski yapının hendek olduğu ifade edilmektedir.

Fırat nehri boyunca ele geçen çakmak taşından yapılmış aletler ve diğer kalıntılar, insan oğlunun Rumkale ve çevresinde yontma taş (Paleotik) döneminden beri yerleştiğini kanıtlamaktadır. Bu dönemden sonraki iskan yerlerini ise Fırat vadisinde Tunç çağından başlayıp Kalkolitik döneme kadar inen höyüklerle izlemekteyiz. Rum kale ve çevresiyle ilgili antik kaynaklardaki ilk bilgiye Asur Kralı III. Salmanazar’ın MÖ. 855’ te zaptettiği “Şitamrat” yerleşimiyle ulaşmaktayız. Bu yerin Rumkale olduğu ifade edilmektedir. Rumkale çevresi bölgedeki stratejik konumu sebebiyle Med, Pers, Helenistik ve Roma dönemlerinde de iskan görmüştür. 

Hz. İsanın havarilerinden Johannes (Yuhanna) ‘in Roma döneminde Rumkale’yi mesken yaparak kayadan oyma bir odada incilin nüshalarını çoğalttığı rivayet edilir. 11. yüzyılda Rumkale Hromgla’ adıyla önemli bir konumdadır. 1113 te III. Grigoris Rumkale’yi Joscelin’in dul karısından satın almış, katolikosluk (başpiskoposluk) makamını buraya yerleştirmiştir. Şair aziz Nerses mezheplerin birleştirilmesi nedeniyle imparator elçileri, Kayşum ve Yakubi baş patrikler ile Rum kale’de toplantılar yapmıştır. 13. yüzyılda Rumkale’de bir çok Yakubi’nin olması sebebiyle Yakubi Patriği II. Ignace, Rumkale’de bir kilise yaptırmıştır. Sonraları kaleyi patriklik makamı olarak seçmiştir. 1279 da kaleyi kuşatan Memluklular bu aşamada kaleyi zaptedememişlerdir. Ancak Memluklu sultanı Melik el-Eşref 1292 de Rumkale’yi tekrar kuşatmış olup, Rumkale’nin fethi gerçekleşmiştir. Sultanın emriyle Suriye naibi Sancar Suca tarafından tamir ettirilen Rumkale, Kal’at el Müslimin adını almıştır. Daha sonraları ise Kale-i Zerrin (Altın Kale) olarak adlandırılmıştır. Rumkale Memluklular zamanında yeniden uç kalesi olarak kullanılmışsa da, eski parlak dönemini bir daha yaşayamamıştır. 

1516 da Osmanlıların eline geçen Rumkale, Halep Eyaleti’nin Birecik Sancağı’na bağlı bir kaza haline getirilmiştir. 17. yüzyılda Evliya çelebi, Rumkale’nin bir tepe üstünde sağlam bir kale olduğunu, dışarıda camii, hanı, hamamı ve küçük bir çarşısı bulunduğunu belirtir. Katip Çelebi de burasının bahce ve meyvelerinin bolluğunu vurgulamıştır. 
Rumkale; üç yanı zümrüt yeşili göl ve bunu çevreleyen dik, sarp kayalıklı tepelerle çevrili doğa ve insan harikası bir yerdir.

Rumkale'ye ulaşım için Gaziantep'in Yavuzeli ilçesinden doğuya doğru yaklaşık olarak 30 km. gidilince kasaba köyünün güney eteğindeki Rumkale'nin karşı kıyısına ulaşılır. Rumkale'ye geçmek için Kasaba köylülerine ait küçük balıkçı ve gezi teknelerini ve Yavuzeli Kaymakamlığına ait sürat teknesini kullanmanız gerekmektedir.

Yavuzeli, eski adı ise Cingife olan Gaziantep ilinin bir ilçesidir. Tarihi kesin olarak bilinmemekle birlikte bir rivayete göre burada bir Ceneviz Şehri olduğu ve Cingife adının buradan kaynaklandığı söylenmektedir.
 
Yakın tarihte ise Osmanlı Sultanlarından Yavuz Sultan Selim 1517 yılında Mercidabık seferine giderken burada konaklar. Yerli halkın kendisine gösterdiği yakın ilgiden dolayı buraya “ Yavuzun İli” adının verilmesini ister. Cingife adı 1958 yılında İlçe kurulması hakkında kanunla da Yavuzeli olarak değiştirilmiştir.
 
İlçe Kuzeyde Araban, Doğuda Şanlıurfa İli, Kuzeybatıda Kahramanmaraş İli, Güneydoğuda Nizip, Güneyinde ise Merkez Şehitkamil İlçesi ile çevrili alanda yer alır. İlçemizin Doğusunda Şanlıurfa İli ile sınırlı Fırat Nehri ile belirlenmiştir. İlçemizin denizden yüksekliği 850 metre, İl Merkezine uzaklığı 38 km. Yüzölçümü ise 483 km²’dir. Nüfusun %31 ilçe merkezinde %69’u ise köylerde yaşamaktadır. İlçedeki nüfus yoğunluğu 51’dir.İlçenin temel geçim kaynağının tarım ve hayvancılık olması, sanayinin olmaması nedeniyle, işsizlik sorunu yaşayan aileler Gaziantep il merkezine göç etmişlerdir. Başka şehirlerden ilçe merkezine yerleşmiş ailelerde az da olsa vardır.
 
Rum Kalesi ,Dolmen Mezarları ile tarihi yerler barındırır. Karapınar Göl Gazinosu gibi bir doğa harikası yine bu ilçededir.