北京胡同的形成是隨著北京城的形成而變化、發展、演進的。公元前1045年，北京是奴隸制的古燕國的都城，叫薊城，當時的城墻是用夯土筑成的。到了戰國時期，《周禮·考工記》記載：“匠人營國，方九里，旁三門，國中九經九緯，經涂九軌，左祖右社，面朝后市。”這就是胡同的雛形。以后的兩千多年間，從秦、漢開始，無論是三國、兩晉、南北朝，還是隋、唐、五代和宋朝，這塊地界兒一直都是北方的重鎮。公元10世紀初，遼朝建立，把這兒當成了陪都，改稱南京，又稱燕京。公元12世紀，金朝建立，在此建都，稱為中都，中都城里出現了坊、街、道、巷，這些可算作是“胡同”的最早雛形。