Şehrin ilk kuruluş yeri olan 20. yüzyıl basina kadar Rum yerlesimi olan Güneygören (İsola) köyüdür. Romalılara kadar bölgenin en önemli yerleşim yeri olan İsola şehri Romalılardan itibaren önemini gittikçe kaybetmeye başlamıştır. Şebinkarahisar, Türklerin eline geçtiği 1075 tarihinden 1473 yılına kadar 410 yıllık müddet zarfında beylik şeklinde idare edilmiştir.
Şebinkarahisar Osmanlı İmparatorluğu topraklarına katıldığı 1478 yılından 1515 yılına kadar Amasya vilayetine bağlı kalmıştır. 1515 yılında Trabzon, Canik ve Şebinkarahisar Livaları birleştirilerek Erzincan iline bağlanmıştır. 1538 yılına kadar Erzincan vilayetine bağlı kalan Şebinkarahisar, daha sonra Erzincan’dan alınarak tekrar Amasya vilayetine bağlanmıştır. 1553 tarihine kadar Amasya vilayetine bağlı kalan Şebinkarahisar, 1553 tarihinde Amasya vilayetinden alınarak Erzurum’a bağlanmıştır. 1805 yılına kadar iki buçuk asır Erzurum’a bağlı kalan ilçe, 1865 tarihinde Erzurum’dan alınarak Trabzon’a bağlanmıştır. Aynı tarihte Giresun, Ordu ve Gölköy’de Şebinkarahisar Sancağına bağlanmıştır. Yeniden yapılan düzenlemede 1865 yılında Şebinkarahisar, Trabzon’dan alınarak Amasya ve Tokat Sancağı ile birlikte Sivas’a bağlanmıştır. Şebinkarahisar Vilayet haline getirildiği 1923 yılına kadar Sivas’a bağlı kalmıştır. Şebinkarahisar, tarihi içinde pek çok yangın atlatmıştır.
1895 yılı itibarıyla Şebinkarahisar merkez nüfusunun üçte bir kadarı Ermenilerden oluşmaktadır. 1901 yılında kentte 332 erkek ve 105 kız öğrencinin okuduğu iki Ermeni okulu mevcuttu. Ermeni Devrimci Federasyonu (Taşnak) partisinin liderlerinden olan Antranik Ozanyan Şebinkarahisar doğumlu idi. I. Dünya Savaşı sırasında Şebinkarahisar Ermenileri tehcir (mecburi göç) kararına direnmeye karar vererek kadın ve çocuklarıyla birlikte kaleye sığınmıştır. 25 gün süren isyan sırasındaki saldırılarda Türk askeri kuvvetlerinden ikisi subay olmak üzere 84 şehit, 140 yaralı ve Müslüman halktan 30 ölü ve 20 yaralı olmuştur.