Süleymaniye Camii Sağır Mevkiinde bulunan Kaya Kilisesi, şehrin kuzeyindekayalık bir alanın içerisine inşa edilmiştir. Üslup özelliği nedeniyle bölgedeki diğer kiliselerle benzerlik gösterdiğinden XIX. yy olarak tarihlendirilmektedir. Kilise, çevresine hâkim bir kayalık üzerinde güney ve batı kesimlerde duvar örülerek yapılmıştır. Kilisenin iç mekânı 10,95 x 8,03 m ölçülerindedir. Yapının kuzey tarafı kayalık bir alanın düzleştirilmesiyle oluşturulduğu için simetrik değildir. Kuzey tarafta 2,40 x 4,50 m ölçülerinde doğal kayalık alan ayazmadır. Kilisenin buraya inşa edilmesinin amaçları arasında buradan kaynak suyu çıkıyor olması da düşünülebilir. Suyun çıktığı kaynak bölümünün önüne bir duvar örülerek küçük bir açıklık bırakılmıştır. Kilise, bu mekânın güney tarafına moloz taş araları horosan haçlı duvar örülerek, tek neftli olarak yapılmıştır. Doğusuna yerleştirilen apsis, yarı yüksekliğe kadar anakayaya işlenmiş, yarıdan yukarı kısmı ise taş ve tuğladan oluşan yıllarında yapıldığı kaynaklarda geçmektedir. Günümüzde mevcut olmamasına rağmen güney duvarı üzerinde aziz tasvirlerinin varlığından söz edilmektedir. Yapının üst örtüsünün tamamen yıkılmıştır ve kalan izlerden beşik tonoz örtülü olduğu anlaşılmaktadır.