İlçemiz, Anadolu’nun Türkleştirilmesi faaliyetlerine zemin hazırlamak üzere, Anadolu’ya gelen Türk güçlerince kurulmuştur. Türk güçlerinin önderliğini Seyidi Ali, Yahya Ali(Yahya Gazi) ve Benli Gazi’nin yaptıkları bilinmektedir. Nitekim başta İlçemizin kendi adı olmak üzere bazı mahalleler şimdiki isimlerini bu şahıslardan almaktadır. Örneğin; İlçemizin Yahyalı adını “Yahya Ali’’, Gazibeyli Mahallesi ise adını “ Gazi Benli'den’ Seydili ise Seyit ali’den almıştır.
İlçemizde bulunan Camikebir Camii önündeki türbenin Yahya Gazi’ye ait olduğu bilinmektedir. Yine Devlet Hastanesi’nin bulunduğu bahçede halen mevcut bulunan Kümbet içersindeki kitabede yazılı bulunan 1075 tarihi yukarıda adı geçen kişilerin önderliğindeki Türk güçlerinin, bu tarihlerde Yahyalıya geldiklerini göstermektedir.
İlçede halen mevcudiyetini koruyan tarihi yapıların Anadolu Selçuklu mimarisinin özelliklerini taşıdığını söylemek mümkündür. 1913 yılında Belediye teşkilatına kavuşan şehrimiz, o yıllarda Niğde’ye bağlı bir kasaba iken, Cumhuriyet döneminde Develi ilçesine bağlı bir nahiye durumuna gelmiş ve 1954 yılında Kayseri’ye bağlı ilçesi statüsüne kavuşmuştur.
Denizden yüksekliği 1210 m olan İlçemiz, Erciyes Dağı’nın güney yönünde kalan Sultan Sazlığı’nı kuşatan düzlüklerin ve Sakız Dağı’nın doğuya bakan yamaçlarında bir vadi içinde kurulmuş olup, vadi boyunca uzunluğu 8 km. yi bulan bir mesafeye yayılmıştır. İlçemizin yüz ölçümü 1225 km2 ‘dir.
İlçe, Kayseri İlinin güneyinde kurulmuş olup, kuzeyi Develi, güneydoğusu Adana’nın Feke İlçesi, güney batısı ve güneyi Niğde’nin Çamardı ve Kayseri’nin Yeşilhisar İlçeleri ile çevrilidir.
İlçede karasal iklim hüküm sürmekle beraber, özellikle güneyindeki rakımı düşük ormanlık bölgede tamamı ile Akdeniz iklimi hüküm sürer. İlçe yazları 18,5 C0, kışları ise 3,5 C0 sıcaklık ortalamasına sahiptir. Yıllık maksimum yağış ortalaması 500 mm dir. En çok kar kalınlığı 33 cm olup karın yerde kalma süresi 27 gündür.
İlçenin akarsular ve kaynakları olarak, İlçenin Gözbaşı mevkiinden ve Derebağ Mahallesi Çağlayan Şellalesinde Büyük Pınar mevkiinden çıkan suların birleşmesi ile oluşan ve güneyden Ağcaşar Barajı’na ve kısmen Sultan Sazlığı’na dökülen Yahyalı Çayı(Kocaçay) ile, ilçe sınırları içinden çıkan ve Ağcaşar Barajı’na dökülen çınar kaynağı, Kocahacılı Mahallesi ve Yerköy Mahallesi ortak sınırlarından çıkan Sultan Sazlığı’na dökülen Karaboğa kaynağı ile, Göynük mevkiinden çıkan Esiri Kaynağı, Özbek mevkiinden çıkan Özbek Kalın kilise kaynağı ile irili ufaklı bir çok su kaynakları mevcuttur. Yine ilçe sınırları içerisinden çıkan ve Zamantı ile birleşen Ulupınar-Kapuzbaşı Çayı, Kapuzbaşı Şelaleleri ile Büyükçakır Mahallesi içinden çıkan Büyük Şelale de önemli su kaynaklarıdır.
Yine ilçenin Karaköy sınırları içinden çıkan Menteş Suyu, Yeşilköy Mahallesi sınırları içinden çıkan Ziyaret Şelalesi suları da belli başlı su kaynaklarımızdandır.