Trabzon’u İran-Azerbaycan’a bağlayan tarihî yol, Karadeniz kıyılarını Trabzon’un doğusunda terk ettikten sonra, Değirmendere Vadisini takip ederek, 2030 m yükseklikte Zigana Dağlarını aşıp Harşit Vadisine ulaşır. Gümüşhane ve çevresi bu yol ile kolaylıkla Bayburt’a bağlanmakta, ardından Kop Geçidi (2400 m) vasıtasıyla Doğu Karadeniz Dağlarının ikinci sırası da aşılarak Erzurum’a ulaşılmaktadır. Daha doğuda Aras Vadisinin oluşturduğu tabii yol izlenerek İran’a geçilmektedir. Bu ana yoldan, Gümüşhane’de ayrılan bir diğer yol da, güneydeki dağları Sıpikor Geçidi’ni aşarak şehri, Erzincan’a ve buradan da ülkenin diğer bölgelerine bağlamaktadır.
Gümüşhane yöresinin eski tarihi ve şehrin ne zaman kurulduğu hakkında kesin bilgi yoktur. Bununla birlikte şehrin, iki defa yer değiştirdikten sonra bugünkü mevkiine yerleştiği bilinmektedir.
Giriş bölümünde kısaca ele aldığımız Gümüşhane ilinin coğrafi yapısında görülen farklılıklar, Gümüşhane ve çevresinin tarihsel gelişimini de önemli ölçüde etkilemiştir. Gümüşhane’de tamamen birbirinden farklı, başlıca iki önemli coğraf, kültürel ve tarihsel saha gözlemlenmektedir. Bu iki bölgeden birincisi, Gümüşhane merkez ilçenin doğu-güneydoğu yönünde yer alan Tekke ile Akçakale Köylerini birbirinden ayıran Akçakale Boğazı’ndan, kuzeyde Zigana Dağı’na kadar devam eden bölgeyi içerisine alan Aşağı Dere’dir. İkinci bölge ise, Tekke’de başlayıp Vavuk Dağı’nda son bulan alanı kapsayan Yukarı Dere’dir. Her iki bölge birbirinden bağımsız olan tarihsel bir gelişim göstermişlerdir. Aşağı Dere bölgesi kuzeyde yer alan Trabzon ilinin gösterdiği tarihsel süreçle, Yukarı Dere bölgesi ise Erzurum, Erzincan ve Bayburt illerinin gösterdiği tarihsel süreçle bağlantılı olmuşlardır. Bunu özellikle yerleşim alanlarının şekillenmesinde görebilmekteyiz. Aşağı Dere yerleşmeleri daha çok yamaç yerleşmesi olup, evler birbirinden uzaktır. Yukarı Dere yerleşmeleri ise, düzlük alanlarda kurulmuş olan tipik köy yerleşmeleri biçimindedir.

Gümüşhane ve çevresinin, tarih öncesi çağları ile ilgili bilgiler oldukça sınırlıdır. Bölgenin prehistoryası ve arkeolojisi üzerine ilk bilimsel çalışmalar K. Kökten tarafından yapılmıştır. Kökten; hem Bayburt hem de Gümüşhane ve çevresinde bulunan birçok mağarada yaptığı çalışmalar sonucu bölgenin Paleolitik Çağ’ı ile ilgili veriler tanımlamayı amaçlamıştır. Bu araştırmanın sonucu Gümüşhane’de 21 doğal, 1 yapay mağara belirlemiştir.
Anadolu prehistor yasındaki önemli sorunlardan biri, Doğu Anadolu ve Karadeniz bölgelerinde, insanlık tarihinin önemli bir kırılma noktasını oluşturan, göçebelikten yerleşik hayata geçilen, tarım ve hayvancılıkta evcilleştirmenin başladığı Neolitik Çağ’ın henüz belirlenememiş olmasıdır. Gümüşhane ve çevresinin Neolitik Çağı’nı da aydınlatacak yeterli bilgi ve bulgu bulunmamaktadır.

Gümüşhane bölgesinin tarih öncesi çağlar içerisindeki en erken bulguları, Geç Kalkolitik Çağda başlar. Yukarı Dere olarak tanımlanan Köse-Kelkit ve Şiran’da yapılan arkeolojik araştırmalarda, bölgede Geç Kalkolitik Çağ’ın yaşandığına dair kanıtlar bulunmuştur. Gümüşhane ve çevresinde, Eski Tunç Çağı’nda önemli yerleşim alanlarına rastlanmaktadır. Bölgenin Eski Tunç Çağı ile ilgili ilk bilgiler, Bayburt ve çevresi arkeolojik yüzey araştırmaları esnasında Pulur Höyük’te çalışmalar yapan K. Kökten tarafından verilmektedir. Kökten, bölgede yaptığı çalışmalarda Bayburt/Pulur Höyük’te Eski Tunç Çağı ile ilgili seramik ve mühürleri tanımlamıştır.

Gümüşhane ve çevresinde bugüne kadar yapılan arkeolojik araştırmalarda, Roma Dönemi’ne kadar bölgenin tarihine ışık tutabilecek herhangi bir yazıt elde edilememiştir. Bölge gerçek anlamda tarihi çağlarına Roma ile girmiştir. Bununla beraber, özellikle arkeolojik yüzey çalışmalarından elde edilen çanak çömlek parçalarının değerlendirilmesi ve bölgenin jeopolitik konumu ile yeraltı kaynaklarından yola çıkılarak bir takım sonuçlara ulaşılmıştır.
Bölgenin tarihi çağları ile ilgili yazılı bilgilere, en erken Hitit kaynaklarında rastlanmaktadır. Hitit İmparatorluğu, Anadolu içerisinde Hayaşa-Azzi ülkesi ile siyasi mücadele içerisine girmiştir. Özellikle Hayaşalar Hititlerin Yukarı Memleket’indeki şehirleri tehdit ediyorlardı. Bunun üzerine Hititler, Hayaşaları, hem askeri seferlerle hem de kız alış verişine dayanan akrabalık bağlarıyla bir tehlike unsuru olmaktan uzaklaştırmaya çalışmışlardır. Ancak Hititlerin bu bölgede tam bir hâkimiyet kurduğuna dair bir belge bulunmamaktadır.

Barne, Belli,  Zimansky ve Çilingiroğlu Karadeniz limanlarının, Urartu mallarının batıya taşınmasında kullanılan önemli bir ihracat kapısı olduğunu ifade etmektedirler. Bu anlamda Karadeniz limanlarına ulaşmak için takip edilecek ana yollardan biri de Erzurum-Bayburt-Gümüşhane üzerinden geçmektedir. Bölgenin coğrafi yapısı göz önüne alındığında, derin vadilerden geçen yolun kontrol edilmesinin zorlukları açıktır. Urartu Krallığı’nın askeri ve ticari yolları kontrol altında tutmaktaki politikalarını Gümüşhane ve çevresinde de uyguladıklarını gösterir mimari unsurlar henüz tanımlanmış değildir. Gümüşhane ve çevresinde sıklıkla karşılaştığımız kale ve gözetleme kulelerinin, Urartu hâkimiyetinden itibaren kullanıldığını gösterir yazılı ve mimari bir kanıt da bulunmamaktadır. Fakat şunu da hemen ifade etmeliyiz ki bölgenin stratejik konumu dolayısıyla sürekli olarak dışarıdan gelen tehlikelere açık olması, kale ve gözetleme kulelerinin bölgeye hâkim olan toplumlar tarafından kullanıldığını göstermektedir. İlerleyen zaman içerisinde İskitler’in, Doğu ve Kuzeydoğu Anadolu’yu kendilerine yurt tuttuklarını görmekteyiz. Xsenophon, Onbinlerin Dönüşü’nde M.Ö. IV. yüzyılda onların dört yüz ayak eninde olan Harpasos (Çoruh) Irmağı’nın kıyısına vardıklarını, sonra İskitler’in ülkesine girdiklerini ifade etmektedir15. Böylece batıya doğru yollarına devam eden Onbinler, Kelkit Vadisi’ne girmiş olmalıdırlar. Bunun için bu dönemde, en azından Köse-Kelkit ve Şiran’ın İskit toprakları içerisinde olduğunu rahatlıkla söyleyebiliriz. Hatta Sagona16, Xsenophon’un bahsettiği Harpasos Nehri’nin Harşit olduğunu ve bu nehrin yüksek dağları takip ettiğini ve bu yolu izleyen Ksenophon’un Gymnias’a17 geldiğini ifade ederek, Gymnias’ın Gümüşhane de olabileceği üzerinde durmaktadır.
İmparator Vespasianus (M.S. 69-79) döneminde gerçekleştirilen imar faaliyetleri içerisinde Roma’nın deniz üssü olan Trapezos (Trabzon) ile Satala arasında son derece önemli bir yol yapılmış, böylece Kelkit ve Çoruh Vadisine açılan bu yolla Trapezos’un hinterlandı ile bağlantıları sağlanmıştır. Bu yolla Fırat’ınbatı yakasında Parthlara karşı konuşlandırılan legionlar arasında bağlantılar sağlandığı gibi, Samosata’ya (Samsat) kadar denizyolu ile askeri güçlerin kolayca ulaşması elde ediliyordu. Buralarayerleştirilen Roma legionları doğudan gelecek olan Parth saldırılarına karşı güneyde Melitene (Malatya), Samosata, kuzeyde de Satala’yı önemli bir stratejik konuma ulaştırmışlardır.
İlk Gümüşhane, bugünkü şehrin kuzeybatısında Canca adıyla bilinen mahalde kurulmuştur. Bu sebeple şehrin adı, Türk kaynaklarında Canca biçiminde geçmektedir. Bütün eski kaynakların tasvirlerine göre gümüş yatakları da bu mevkide bulunuyordu.Evliya Çelebi’ye göre Büyük İskender’in hâkimlerinden Philikostarafından bu yörede gümüş madenleri bulunduktan sonra, eski Canca Kalesi onarım görmüş ve şehrin önemi artmıştır. İskender döneminden sonra Pontus Devleti’nin, daha sonra da Roma İmparatorluğu’nun sınırlan içine giren Canca Kalesi, bu imparatorluğun ikiye ayrılmasından sonra da Doğu Roma’nın (Bizans) idari birimlerinden olan Khaldia teması içinde yer almıştır. Bizans döneminde de fonksiyonu, işletilen maden yataklarına bağlı kalan şehre “gümüş şehri» anlamında Argyropolis adı verilmiştir.

VII. yüzyıl sonlan ile VIII. yüzyıl başlarında yöreye Müslüman Araplar gelmiş ve şehir Müslümanlarla Bizanslılar arasında birkaç defa el değiştirmiştir. Harşit Vadisi ve Canca Kalesi Selçukluların en erken ulaştığı yerler arasındadır. Tuğrul Bey döneminde Selçukluların Bizans’a karşı kazandığı ilk zafer olan Pasinler Ovasındaki savaştan sonra, Gümüşhane dolayları geçici de olsa bir süre Türklerin elinde kalmıştır.Yukarıdaki bilgileri destekler mahiyettel-İsfehânî ve Ermeni kaynakları bilgi vermektedir. El-İsfehânî bu durumu şöyle belirtir. “H.437’de (M.1045) Türklerin Irak’a gelip, oradan etrafa dağıldıkları ilk senedir. Türkler her yere girdiler, her tarafı aldılar, içmedik su, ele geçirmedik yer, alevlendirmedik ateş bırakmadılar”. Bu ifadelerin benzerleri Ermeni kaynaklarında da geçtiğini O.Turan ifade etmektedir:“1048 yılında İran (Türk) milletinin korkunç dalgaları Garin (İslam kaynalarında Kalikala; Erzurum) ve Pasin (Basian) Ovalarına döküldü İnsan dalgaları sel gibi memleketin dört köşesi istila etti. Batıda Haldia (Gümüşhane ve Trabzon havalisi), Kuzeyde İspir (Sper), Güneyde Muş (Daran) bölgesine ve Ağrı (Sisak) taraflarına kadar yayıldı. Alparslan’ın Malazgirt Savaşı’nı kazanmasından sonra Erzincan yöresine hâkim olan Emir Mengücek Gazi Gümüşhane dolaylarını zapt ederek Erzincan imaretine bağlamıştır. Anadolu Selçukluları zamanında Gümüşhane, Harşit Vadisinden geçerek Maçka’ya kadar ilerleyen Melik II. Gıyâseddin Keyhusrev ve Atabeği Mübârizüddin Ertokuş kumandasındaki kuvvetler tarafından ele geçirilmiştir. Moğol istilâsı başladıktan sonra Anadolu’nun birçok yeri gibi Gümüşhane ve çevresi de İlhanlıların hâkimiyeti altına girmiştir. İlhanlıların saltanat kavgasına düşerek kuvvetlerini kaybettikleri sırada ise Gümüşhane, komşusu Bayburt gibi Celâyirliler’in idaresine geçmiştir. XIV. yüzyılın ilk yansında merkezi, önceleri Sivas, daha sonra Kayseri olan Eretnaoğullarının hâkimiyetini tanımıştır. Ardından Kadı Burhâneddin, Akkoyunlular ve Karakoyunlular arasında el değiştirmiş, zaman zaman da Trabzon Rum Devleti’nin idaresine girmiştir. Fâtih Sultan Mehmed’in bu devlete son vermesi üzerine de Osmanlı topraklarına katılmıştır. Fakat bu hakimiyet uzun sürmemiş, 1467’de Gümüşhane yöresi Akkoyunlular tarafından ele geçirilmiş, Akkoyunlu hâkimiyeti 1473 yılında Fâtih Sultan Mehmed’in Otlukbeli Savaşında Uzun Hasan’ı yenilgiye uğratmasıyla son bulmuştur. Bu tarihten sonra şehir kesin olarak Osmanlı hâkimiyetine geçmiştir.

Osmanlı idaresinde Gümüşhane önceleri Erzurum, daha sonra Trabzon Beylerbeyliklerinin sınırları içerisinde bulunmuştur. Meselâ Kâtib Celebi’nin Cîhannümâ’smda şehir Erzurum’a bağlı, Evliya Çelebi Seyahatnamesinde ise Trabzon eyaleti içinde gösterilmiştir. Canca civarında gümüş yataklarının işletilmesine Osmanlı döneminde de devam edilmiştir. Hatta burada gümüş sikkeler basıldığı da bilinmektedir. Fâtih Sultan Mehmet, madenle uğraşan halkı vergiden muaf tutarak onları gümüş madenlerini işletmeye teşvik etmiştir. Böylece madenci nüfusunda artış meydana gelmiştir. Kanuni Sultan Süleyman döneminde şehrin yerindeki ilk değişiklik gerçekleşmiş, Kanuni yeni gümüş yataklarına daha yakın olan mevkide Süleymaniye Camii adı verilen bir cami ile bu cami çevresinde elli kadar evin inşasını emretmiştir. Bu şekilde günümüzde Süleymaniye Mahallesi ya da ‘Eski Gümüşhane’ adı verilen şehrin temelleri atılmıştır. Bunun üzerine Canca sönükleşmeye, yeni kurulan ve muhtemelen bu dönemde Gümüşhane adı verilen şehir gelişmeye başlamıştır. Bu şehir, Harşit Irmağına sol taraftan akan Musalla Deresi’nin yamaçlarında ve bugünkü Gümüşhane’ye 4 km kadar uzaklıkta kurulmuş, mahalleler arazinin eğimine göre yayılmıştır. Gümüşhane’den çıkan gümüş ve bakır, hükümet tarafından satın alınarak gümüş kısmı darphaneye, bakır kısmı tophaneye gönderilmiştir. Bakırın fazlasının da dışarıya gitmemesi için, ülke içinde sarf edilmiştir. Buradan çıkan gümüş, sikke kesmek üzere ülkenin başka darphanelerine gönderildiği gibi Gümüşhane’de de sikke kesilmiştir. İsminin Gümüşhane olarak değiştirilmesine rağmen bu sikkelerde hâlâ Canca adının da kullanıldığı dikkati çeker. Kanuni Sultan Süleyman ve onun ardından gelen iki padişah II. Selim ve III. Murad da Gümüşhane’de sikke kestirmişlerdir.

Kâtib Çelebi Cihannüma’sında, Gümüşhane’den “azîm ve mâmur” bir kasaba olarak söz eder. 1647 yılında buraya gelen Evliya Çelebi de, maden yataklarının zenginliğini anlatıp bazısı kapalı, bazısı işleyen yetmiş gümüş maden ocağı bulunduğunu, bu tarihte darphanesinin çalışmadığını, fakat üzerinde Canca yazılı sikkeler gördüğünü söyler. Evliya Çelebi’nin şehri ziyaret ettiği yıllardan önce sona eren IV. Murad dönemi (1623-1640), şehrin yeni yerinde en fazla geliştiği dönemlerden biri olmuştur. XVIII. yüzyılda burada maden çıkarılması ve aynı yüzyılın ilk yarısında gümüş sikke darbı sürdürülmüştür. H.1130 (M.1718) ve H.1143 (M.1730-31) tarihlerini taşıyan sikkelerde artık Canca adının kullanılmadığı Gümüşhane isminin geçmeye başladığı görülmektedir. Şehrin önemi XIX. yüzyıla kadar devam etmiştir. Devlet idaresinin Gümüşhane’ye ve çevresindeki madenlere verdiği önem, zaman zaman buradan Tophâne-i Âmire için bakır getirilmesine, darphaneye gümüş gönderilmesine, Gümüşhane madenlerinden çıkan gümüşün dışarıya satılmamasına, buradaki madenlerin sermayesine ve madenlerde çalışan işçilere dair hükümler göndermesinden de anlaşılmaktadır. Ancak XVIII. yüzyılın ikinci yarısında III.Mustafa döneminde (1757-1774) su dolan maden ocakları Fransa’dan getirtilen aletlerle de çalıştırılamayınca, şehir canlılığını yitirmeye başlamıştır.

XIX. yüzyılın başlarına gelindiğinde maden yatakları giderek tükenmiştir. 1829 yılındaki Osmanlı-Rus Harbi esnasında, Rus kuvvetleri Gümüşhane’ye ulaşamadılarsa da çok yakınındaki Hart Ovasına kadar geldiklerinden Gümüşhane bu savaştan etkilenmiş, nüfusun ve özellikle madencilikle uğraşan gayrimüslimlerin önemli bir kısmı ülkenin başka yerlerine göç etmiştir. Bu da madenciliğin ve şehrin gerilemesine, nüfusunun azalmasına yol açmıştır. Aynı yüzyılın ortalarında yörenin ormanlarının tükenmesi sonucu yakıt sıkıntısı da buna eklenince maden işletmesi durdurulmuştur.

XIX. yüzyılda maden ocaklarının önemini kaybettiği, 1847 yılında Gümüşhane’yi ziyaret eden Batılı seyyahlardan Hommaire de Hell’in bu konuya hiç temas etmemesinden de anlaşılmaktadır. Hommaire de Hell, Harşit Vadisinin tabanını kaplayan meyve bahçelerinden, bu bahçelerdeki meyvelerin çeşitliliğinden söz etmekte, bahçelerden toplanan armutların İstanbul’a kadar gönderildiğini yazmaktadır.

1869’da yöreye uğrayan Theophile Deyrolle de buraya adını veren gümüşlü kurşun madenlerinin işletilmesinin hemen hemen terk edilmiş olduğunu, Gümüşhane’nin meyve ticaretinde önemli bir rol oynadığını belirterek şehirden sandıklarla Trabzon, Erzurum ve hatta İstanbul’a armut, daha yakın çevreye ise kiraz gönderildiğini belirtmektedir. O yıllarda Gümüşhane şehrinin 800 kadar haneden oluştuğunu ifade eden seyyah, meyve ticaretinden sonra önemli etkinlik olarak çanak çömlek yapımının geliştiğini ve her yıl sarı yeşil ve kırmızı sırlı 30-40.000 testi imal edildiğini yazmaktadır. Gümüşhane’de deri ticaretinin de günden güne geliştiğini söyleyen Deyrolle, şehrin pazarında az miktarda ayı, kurt, tilki, vaşak, sansar ve samur postlarının satıldığını ilâve ederek Gümüşhanelilerin avcılıktaki maharetlerini dile getirmektedir.

Tanzimat döneminde 1867 yılındaki düzenleme ile Osmanlı idari teşkilâtında eyalet sisteminden büyük vilâyet sistemine ge-çilince, Gümüşhane Trabzon vilâyeti içinde bir sancak merkezi haline gelmiştir. 1870 tarihli Trabzon Vilâyeti Salnamesi’ne göre şehirde 14 mahalle içinde 920 hâne bulunmakta ve bu hanelerde toplam 2357 nüfus yaşamaktaydı.
1877-1878 Osmanlı-Rus Harbi neticesinde, 1878 yılında imzalanan Ayastefanos ve Berlin Antlaşmalarıyla Osmanlı diplomasisinde Ermeni meselesi ortaya çıkmış ve Osmanlı Devleti sınırları içinde yaşayan Pontusçu Rumların ve Ermenilerinbağımsız devlet kurma girişimleri, bölgede yaşayan Türk halkına bu dönemde büyük sıkıntılar yaşatmıştır. Gümüşhane’de Ermeni nüfusu az olduğundan, Rus ordularının buraları terk etmeleri ile birlikte Ermeniler de çekilmişlerdir. Ancak bölgedeki Rumların nüfusu Ermenilere göre dikkate değer düzeyde idi. Dağdaki çeteleri yiyecek, giyecek, istihbarat açısından destekleyecek Rum köyleri mevcuttu. Gümüşhane, Pontus Devleti sınırları içerisinde gösterildiği için, Pontusçuların bütün ülke çapında yürüttükleri teşkilatlanma, propaganda ve mücadele faaliyetlerinden önemli ölçüde etkilenmiştir. 1904 yılında Merzifon Amerikan Koleji’nde kurulan Pontus Cemiyeti, bütün Türkiye çapında olduğu gibi Gümüşhane’de de kilise ve din adamları vasıtasıyla şubeler açıp faaliyetlerde bulunmuşlardır. Halbuki bu sıralarda Gümüşhane nüfusunun çoğunluğu Türktür. 1885 yılında Gümüşhane’de 21.956 Türk, 5459 Rum, 1152 Ermeni yaşarken; 1914 yılında 29.639 Türk, 9179 Rum, 1817 Ermeni nüfusu bulunmaktaydı.

Şehir önceleri ticaret amaçlı olarak seçtiği Trabzon-Erzurum-İran transit yolu kenarını sonra da bir yönetim merkezi olarak benimsemiş, yerleşimi buraya taşımış ve böylece Gümüşhane’nin ikinci defa yer değiştirmesi gerçekleşmiştir. I. Dünya Savaşının ardından yeni şehirde, henüz resmi daireler inşa edilemediğinden idari binalar olarak Harşit Vadisinde eskiden beri mevcut yazlık konaklardan faydalanılmıştır. 1922 yılında hükümet konağı yapılınca idare burada çalışmaya başlamış, bundan sonra konut sayısı da artmıştır. 1922’de dört, beş konak ve birkaç handan ibaret olan yeni Gümüşhane zamanla büyümüş, Cumhuriyet döneminden sonra da bütün ticaret ve yönetim etkinliği Harşit Vadisinde kurulan Gümüşhane’de toplanmıştır. İmparatorluğun sonlarına doğru Trabzon vilâyetinden ayrılarak müstakil bir sancağın merkezi olan Gümüşhane şehri, Cumhuriyetin ilk yıllarında vilâyet merkezi durumuna getirilmiştir.