Malatya'nın doğubatı istikametinde, eski adı Kışla Caddesi olan Atatürk Caddesi üzerindedir.

Okul binası, eskiden ordu karargâhı alay binası ve topçu Kışlası olarak yapılan binalardan olup 1909-1914 yılları arasında Askeri Sevkiyat Kışlası olarak kullanılmıştır. 1914 tarihinden itibaren bina okula dönüştürülerek Mahalle Mektebi olmuştur. Beş yıllık eğitim veren ilkokul statüsüne 1921 yılından itibaren kavuşan okulun inşasına eski binanin temelleri üzerine, 1927 yılında başlanmış: 1928 yılında birinci kat, 1929 yılında ikinci kat tamamlanmıştır. Binanın ön cephesi kesme taş, diğer cepheler ise moloz taştan olup iç duvarlar kagirdir. Taşlar Battalgazi ilçesindeki tarihi harabelerden sağlanmıştır. Bodrum üzerine iki kat olarak inşa edilen binaya sekiz basamaklı dış merdivenden çıkılarak çift kanatli kemerli kapıdan birinci kata girilir. Tüm pencerelerde aynı tip kemer kullanılmıştır.

Başlangıçta Mahalle Mektebi olan bina, 1921 yılından itibaren beş yıllık eğitim veren ilkokul statüsüne kavuşturulmuştur. Bugünkü binasına kavuştuktan sonra Taş Mektep adı ile anılmıştır. Okulun adı, Mustafa Kemal Atatürk'ün 1937 yılında Malatya'ya ikinci gelişinin anısına Gazi ilkokulu olarak değiştirilmiş, 1997 yılında ise Gazi İlköğretim Okulu adını almıştır.

Bu okuldan mezun olmuş ünlüler arasında Recai Kutan, Metin Emiroğlu, Yusuf Bozkurt Özal, Hasan Celal Güzel gibi bakanlık görevlerinde bulunmuş siyaset adamları; Safter Nefcioğlu gibi hava kuvvetleri Komutanlığı yapmış askerler; Tülay Turfanda, Abdullah Turfanda, Metin Sözen, Nihat Bozdağ gibi profesörler bulunmaktadır. Halihazırda on beş derslikle eğitim ve öğretim faaliyetlerini sürdüren okul, Malatya'nın gözde eğitim kurumlarındandır.