Antik dönemlerden günümüze uzanan geçmişi boyunca Rumkale, çok farklı isimlerle de anılmıştır. Bu isimlerden bazıları şu şekildedir: Şitamrat, Kal-a Rhomayta, Hromklay, Kale-i Zerrin, vb. Merzimen Çayı ile Fırat Nehrinin birleştiği noktada yükselen sarp kayalar üzerindeki kale; doğaya son derece uyum gösteren mimarisi ile oldukça sıra dışıdır. Doğa ile uyum o derecedir ki, kalenin neresi doğa, neresi insan yapımı ayırt etmesi son derece zordur.

İki bedenli kalenin birinci bedeni, doğal kayalığın dik şekilde yontulması ile oluşmuş sur kısmını; ikinci beden ise bu surun üstünde yer alan sur duvarını kapsamaktadır. Doğu ve batı yönlerinden iki kapısı yer alan kalenin; beden duvarları ve burçlarından başka bugün ayakta olan kalıntıları arasından en önemlileri Şair Aziz Nerses Kilisesi ve Barşavma Manastırıdır.

Şair Aziz Nerses Kilisesi
1173 yılında Şair Aziz Nerses tarafından yaptırılan kilise, Gotik tarzda bir mimariye sahip olup, oldukça küçük bir kilisedir. Yapı; İslami dönemde cami olarak kullanılmıştır.

Barşavma Manastırı
Yakubi azizi Barşavma tarafından kendi adına yaptırılan manastırın birbirine bitişik durumdaki iki kısmından çok az bölümü bugüne kalmıştır. Manastırın yakınında bir kuyu yer alır. Helezonik yapıdaki bu kuyu 8 Metre genişliğinde ve 75 Metre derinliğinde olup, Fırat Nehrinden su çekmek için inşa edilmiştir.