Костел имеет длинную и очень интересную историю. В 1783 году в Рогачеве был открыт деревянный католический храм, носивший название Непорочного Зачатия Девы Марии.
Трудно сказать, кто и когда переименовал его. Возможно, это был местный настоятель ксендз Бернатович, чьими усилиями был возведен новый костел из красного неоштукатуренного кирпича в стиле неоготики, освященный летом 1912 года в честь Святого Антония Падуанского. Костел действовал до конца 1930-х годов, а после закрытия пережил много драматических событий и разрушений. В свое время в нем размещались зерносклад и цехпо производству напитков и мороженого. В 1940-х страшный пожар уничтожил кровлю и деревянные конструкции храма.
Особенно сильно пострадала святыня в Великую Отечественную: в ходе боев за освобождение города в костел попало несколько снарядов. В послевоенные годы в здании дежурил пожарный пост, затем работал хлебозавод. С 1970-х годов храм пустовал, и лишь спустя тридцать лет здание было передано местной католической общине. В начале 2000-х началась его реставрация.