1955 yılında İzmit'te doğdu. İmam Hatip Okulu'nu bitirdikten sonra Derince Lisesi'nden mezun oldu. Bursa İktisadi ve Ticari ilimler Akademisi'nde öğrenim gördü. Daha sonra Yüksek İslam Enstitüsü'nü bitirdi. Devlet memuriyeti'ne 1974 yılında 19 yaşındayken Adalet Bakanı Şevket Kazan' ın Özel Kalem Müdürü olarak başladı. Daha sonra Diyanet İşleri Başkanlığı'nda Murakıp olarak çalıştı. 1980'den sonra Viyana'ya gitti. Oradan da Berlin'e geçti. Avrupa Milli Görüş Teşkilatları Genel Sekreteri oldu. Berlin Üniversitesi'nde öğretim üyesi. Şevki Yılmaz evli ve üç çocuk babası. Ingilizce ve Arapça biliyor. 27 Mart 1994 mahalli idareler seçimlerinde Refah Partisi'nden Rize Belediye Başkanı seçildi.Bilahare Rize milletvekili seçildi.28 Şubat sürecinin gerekçeleri arasında söylemleri gündeme getirildi.Halen yurtdışında yaşıyor.