İlk ve ortaöğrenimini Kahramanmaraş'ta yaptı. İlkokulda öğrenciyken yazmış olduğu bir şiir öğretmeninin dikkatini çekmiş, bunun üzerine öğretmen yörenin güçlü şairlerinden Hayati Vasfı Taşyürek ile tanıştırmış, Hayati Vasfi'nin imtihan amacıyla verdiği ayağa çok güzel cevap verince şairden büyük iltifatlar görmüş, bu olay Şahballı'yı şiir yazmaya teşvik etmiştir. Yine kendi ifadesiyle 10 yaşlarında Erzurum'a âşıklar şölenine götürülmüş ve Âşık Reyhanı, Murat Çobanoğlu gibi güçlü şairlerin de yer aldığı atışma yarışmasında birincilik ödülü kazanmıştır. 1973 yılında bir plak şirketinin düzenlemiş olduğu Âşıklar Yarışması'nda birinci seçildi, burada soyadının önüne "Şah" mahlası verildi ve o günden sonra "Şahballı" mahlasını kullandı.
Hilmi Şahballı; Abdurrahim Karakoç, Hayati Vasfi Taşyürek, Âşık Veysel, Neşet Ertaş gibi şairleri kendisine rehber aldı. Ulusal televizyon kanallarında "Ozanların Dilinden" ve "Türküler Pınarı" adlı programlar yaptı.
Çok yönlü bir sanatçı olan Şahballı, altı adet sinema filminde oynadı, 63 plak, 26 kaset doldurdu ve 1050 adet şiire imza attı. Şiirlerinde samimi, açık ve akıcı bir ifade bulunan Şahballı, âşıklık geleneğinin tüm özelliklerini yaşamış ve şiirlerine yansıtmıştır.
