Karaman’ın doğusunda ve kuzeyinde yer alan ovanın verimliliği, tarihin ilk çağlarından itibaren Anadolu’yu güneye bağlayan ticari yollardan en önemlilerinden birisinin Karaman sınırları içerisinden geçiyor olması sonucu, Karaman ve çevresinde insanlık tarihinin izleri çok eski tarihlere inmektedir.
Karaman İli Süleymanhacı Köyü sınırları içerisinde yer alan Pınarbaşı Höyüğünde yapılan kazı ve yüzey araştırmalarında bu çevrede Epi Paleolitik Devirde (M.Ö.10000-8000) yerleşme olduğu tespit edilmiştir.
Yine Pınarbaşı Höyüğünde ve Karaman İli Alaçatı Köyü sınırları içerisinde yer alan Canhasan I ve Canhasan III Höyüklerinde yapılan bilimsel kazılarda insanlık tarihinde çok önemli bir yeri olan Neolitik Devire (M.Ö.8000-5500) ait bulgulara rastlanılmıştır.
Karaman yakınındaki Can Hasan, Eski Konya Gölü kenarında kurulmuştur. Can Hasan, İbrala Deresi’nin getirmiş olduğu birikinti yelpazesinin üzerinde bulunmak taydı. Bu yerleşim merkezi de o dönemdeki verimli topraklara sahip olduğundan ilk çağ insanlarının temel ihtiyaçlarını karşılamak için de çok uygun yerlerdi. Çünkü göl kıyısında ve bataklık alanlarda bulunan yabani hayvanları avlayarak da geçimlerini sağladıkları gibi verimli düzlüklerde küçük çaplı tarımla da uğraşmaktaydılar. Eski Konya Göl’ü ilk çağlar da insanların yerleşmelerini etkilemiş ve Çatalhöyük, Can Hasan, Alibeyhöyüğü gibi yerleşmeler bu gölün kenarına kurulmuştur. 
Özellikle Canhasan I Höyüğünde yapılan kazılarda ve Karaman çevresinde yer alan bir çok höyükte yapılan yüzey araştırmalarında Karaman çevresinde Kalkolitik Devirde (M.Ö. 5500-3000) çok yaygın yerleşmenin olduğu anlaşılmıştır.
Başta Kılbasan Sısan Höyük olmak üzere Karaman çevresinde yer alan bir çok höyüğün yüzeyinde yapılan incelemelerde Bronz Çağı (M.Ö.3000-1200) buluntularına yoğun olarak rastlanılmaktadır.
Tarihi Devirlerden (yazılı kaynaklardan bilgi edinilen devirler) Hititler Devrinde (M.Ö. 1800-700) Karaman Arzava adlı yarı bağımsız bir devletin sınırları içerisinde yer almaktadır. Şehir bu devirde önemli bir ticari ve askeri merkez konumundadır. Karadağ üzerinde Mahalaç Tepesinde ve Kızıldağ üzerinde Hititlerden kalma hiyeroglif kitabeler bulunmaktadır. Ayrıca Kızıldağ üzerinde önde yer alan ovaya ve Hotamış Gölüne hakim bir noktada Geç Hitit Kralı Hartapus’un kazıma röliyefi bulunmaktadır.
M.Ö. 7. yüzyılda Friglerin, 6. yüzyılda Lidyalıların işgaline uğrayan şehir 6. yüzyıl sonlarında Pers egemenliği altına girmiştir.
Klasik Devirlerde Lykaonia Bölgesi sınırları içerisinde yer alan Karaman’ın adının Laranda olduğu bilinmektedir. Laranda M.Ö. 322 yıllarında Hellenistik Devirde Büyük İskender’in haleflerinden Perdikkas ve Filippos’un talan ve tahribatına uğramıştır. Bundan sonra Antigon’un ve daha sonra Selevkos’un eline geçen Laranda M.Ö. I. Yüzyıla kadar Anadoludaki Hellenistik krallıkların hakimiyetinde kalmıştır.
Laranda Roma Devrinde mahalli Krallardan Derbe hakimi Antipatros’un idaresine girmiş, Galatia Kralı Amyntos’un Antipatrosu yenmesi sonucu Galatların eline geçmiştir. Laranda bu devirde de Lykaonia Birliğine bağlı önemli bir ticaret merkezidir.
Bizans Devrinde Laranda Hristiyanlığın önemli şehirlerinden birisidir. Karadağ’ın değişik yükseltilerinde ve vadilerinde yer alan ve Binbirkilise olarak bilinen örenyerinde M.S. 4. ve 9. yüzyıllar arasında yapılmış bir çok kilise, manastır, konut, bazilika, şapel, mezar yapısı, sarnıç ve askeri yapılar bulunmaktadır. Ekinözü Köyünde yer alan Derbe Höyüğü ve Taşkale Kasabası yolunda yer alan Manazan Mağaraları Bizans Devrinin bölgedeki önemli yerleşme yerleridir. Ayrıca diğer örenyerleri ve höyüklerin üst katlarında bu devre ait yerleşme katları bulunmaktadır.
M.S. 8. ve 9. yüzyıllarda Laranda Arap orduları tarafından birkaç kez kısa süreli işgal edilmiş, ancak şehir Selçuklulara kadar Bizans egemenliği altında kalmıştır.
Anadolu’nun Selçuklu Türkleri tarafından fethinden sonra Danişmend Oğullarının eline geçen Laranda M.S. 1165 yılında II. Kılıç Aslan tarafından Selçuklu topraklarına katılmıştır. 
Anadolu Selçuklu Sultanı Alaeddin Keykubat, devletinin Ak Deniz kıyılarını güvenlik altına almak için, Türkmenlerin (Oğuzlar) Avşar Boyundan olan Karamanoğullarını Karaman, Ermenek, Mut, Gülnar, Silifke,Anamur, Mersin, Alanya ve Antalya bölgelerine yerleştirmiştir.
Anadolu Selçuklu Devleti’nin zamanla zayıflaması, özellikle Kösedağ Savaşında Moğollara yenilmesi, Anadoluda Moğol felaketinin başlangıcı olmuştur. 1260 yılından sonra zayıflayan otorite kuramayan Anadolu Selçuklu Devleti’nin yerine Moğol egemenliği hüküm sürmeye başlamıştır. 
Moğol İstilası ve Anadolunun her tarafında ortaya çıkan karışıklıklar, diğer uç beyliklerine göre daha kalabalık ve askerliğe yatkın Karamanoğulları’nın devlet kurma arzularını körüklemiştir. Selçuklu ve Moğol otoritesinden kaçanların, gazi olmak isteyen gönüllülerin katılımı ile iyice güçlenen Karamanoğulları Nure Sofi adındaki Türkmen Dervişinin oğlu olan Kerümiddin Karaman önderliğinde, 1256 yılında bağımsızlıklarını ilan ederek Karamanoğulları Beyliğini kurmuşlardır.
Karamanoğulları Moğol istilasından sonra dağılan Anadoludaki Türk birliğini sağlamak için büyük mücadeleler vermişlerdir. Karamanoğlu Mehmet Bey ordusu ile 1277’de Konya üzerine yürümüş, Moğolları yenerek şehri zaptetmiş ve 13 Mayıs 1277’de ünlü Dil Fermanını ilan etmiştir: “Şimdidengeru Hiç Gimesne Kapıda Divanda Mecliste Seyranda Türk Dilinden Özge Söz Söylemesinler.”
Anadolu Selçuklu Devleti’nin 1308 yılında yıkılmasından sonra Karamanoğulları Konya ve çevresine tamamen hakim oldular. Selçuklu başkentine sahip oldukları için bu devletin mirasçısı olduklarını iddia edip Anadoludaki siyasi birliği sağlamaya çalıştılar. Bunun için Moğollarla çok uzun süren savaşlar yaptılar. Topraklarını Ak Deniz sahillerine kadar genişlettiler. 14. yüzyılın başına gelindiğinde Karamanoğulları Anadolu’daki en güçlü beylik konumundaydı. Toprakları; Karaman, Konya, Sivas, Kayseri, Niğde, Adana, Antalya, Silifke, Anamur, Mut, Ermenek, Gülnar, Alanya, Gazipaşa, Isparta ve Beyşehir’i içine alıyordu.
Bu devirde diğer bir güçlü beylik Osmanlı Beyliği idi. 14. yüzyıldan itibaren bu iki güçlü beylik karşı karşıya geldi. İki beylik arasında yaklaşık 150 yıl süren savaşlar oldu. Fatih Sultan Mehmet Döneminde yapılan bir dizi savaştan sonra 1467 yılında Karamanoğulları Beyliğine son verildi ve toprakları Osmanlı Devletine katıldı.
Larende önce Konya Vilayetine bağlı bir sancak merkezi haline getirilmiş, Kanuni Sultan Süleyman Döneminde ilçe merkezi olmuştur. 
Cumhuriyetin ilanından sonra Konya iline bağlı olan şehrin Larende olan adı Karaman olarak değiştirilmiştir. 15 Haziran 1989 tarihinde çıkarılan 3589 sayılı yasa ile de Türkiye’nin 70. ili olmuştur