من أبرز معالم مدينة تبوك مسجد التوبة ذلك المسجد الذي إختط موقعه رسول هذه الأمة في السنة التاسعة من الهجرة وهي السنة التي كانت بها آخر غزواته صلى الله عليه وسلم , وتذكر كتب التاريخ أن الرسول «صلى الله عليه وسلم» اختطّه عند بئر كانت هي المصدر الوحيد للماء في المنطقة، أثناء غزوة تبوك في العام التاسع للهجرة، حيث أقام الرسول في تبوك عشرين يوماً وأدى الصلاة جماعة مع أصحابه في هذا المكان الذي عُرف بعد ذلك بمسجد الرسول طوال مدة إقامته. ويؤكد الدكتور مسعد العطوي في كتابه «تبوك قديماً وحديثاً» المطبوع عام 1413هـ، أن مسجد التوبة من المساجد التي بناها الخليفة الراشد عمر بن عبدالعزيز «رحمه الله» في عام 98هـ، ويوضح العطوي أن العثمانيين جددوا بناءه عام 1063هـ، ثم تم تجديده في عهدهم أيضا عام 1325هـ حيث بُني من الأحجار المشذبة، وظل على هذه الحال حتى زار الملك فيصل بن عبدالعزيز تبوك عام 1393هـ وزار مسجد التوبة وأمر «رحمه الله» بإعادة بنائه من جديد على طراز الحرم النبوي الشريف، وتم ما أراد خلال عام واحد. وفي سلسلة موسوعة آثار المملكة الصادرة عام 1423هـ ذُكر أن مسجد التوبة تم بناء سقفه من جريد النخل حتى تم تجديده في عام 1062هـ، وعندما قام الملك فيصل بن عبدالعزيز «رحمه الله» بزيارة لمدينة تبوك عام 1393هـ زار خلالها المسجد وأمر بتجديد بنائه على ماهو عليه الآن ليتسع لأكثر من ألف مصل.