南墻指的是影壁墻。古代房屋的方向大都坐北朝南，大門進來還有一堵墻，叫照墻或影壁，不僅能遮擋外人的目光，而且可以阻攔直來直去的氣流。這堵墻就是南墻，從正房門出來向外走時，必須避開它繞著走，否則就會一頭撞上。南墻即影壁墻，是中國傳統建筑中用于遮擋視線的墻壁。中國建筑大門一般都是朝南開的，舊時代有地位、有勢力的人家大門外都有影壁墻，出了門就要向左或右行，直著走會撞到南墻。不撞南墻不回頭這種現象比喻某人的行為固執，聽不進不同意見。與一條道走到黑、不到黃河心不死有相同義項。