Ulus’ta, Augustus Tapınağı ile yan yana bulunmaktadır. Hacı Bayram Camii, Hacı Bayramı Veli adına, Hacı Bayram’ın ölümünden 2 yıl önce 1427 yılında bizzat kendisi tarafından tamamen tuğladan yaptırılmıştır. İçerisinde Kütahya çinileri bulunmaktadır. Hacı Bayram Camii bahçesinde Osman Fazıl Paşa’ya ait olan bir türbe bulunmaktadır. Hazı Bayram Camii iki şerefeli minareye sahiptir. Bu minare camiye daha sonradan eklenmiştir. Caminin restorasyon çalışmaları Mimar Sinan tarafından yapılmıştır. Türbe caminin güneyine 1429 yılında eklenmiştir. 

Hacı Bayram Camii'nin bulunduğu alanda daha önceden Firglere ait ana tanrıça Men adına yapılan dört sutundan oluşan küçük bir tapınak bulunmaktaydı. Daha sonra Roma Dönemi'nde bu tapınak yıklmıştır. Men tapınağı yerine Augustus Tapınağı yapılmıştır. Bizans resmi din olarak Hıristiyanlığa geçince bu tapınak kiliseye çevrilmiştir. Daha sonra bölge'nin el değiştirmesi ile birlikte Augustu Tapınağının duvarı ile bitişik Hacı Bayram Camii inşa edilmiştir.

Camii’nin zaviye, hazire, iki hamam ve iki medresesi maalesef günümüze ulaşamamıştır. Augustus Tapınağı ve Hacı Bayram Camii’nin yan yana bulunması, Anadolu’nun hoşgörüsünü yansıtmaktadır.