鉴于上述原因，宋太宗决定平毁太原城，让居民迁往汾水东的新城，把新设立的并州府迁到榆次。居民出城后，宋太宗下令放火，“万炬皆发，宫寺民舍，一日俱尽”。
第二年四月，宋太宗又封堵汾水、晋祠水，灌入太原。古太原城经此火烧、水灌，变为一片废墟。往日被誉为“锦绣太原城”，并已逾千年的大都会便不复存在了。太原旧城被毁后，宋太宗又命将太原治所从榆次迁到唐明镇。逃出城的百姓逐渐聚集到这里定居下来。由于此处地理位置十分重要，982年，宋太宗赵光义派三交都部署潘美在唐明镇的基础上，扩大范围，修筑城墙，兴建太原城。宋初修建的太原城是一座土城，城池周长528公里。筑四门：“东曰朝曦;南曰开远;西曰金肃;北曰怀德。城西南至现迎泽大街北边，西至现新建路东边，后小河、东后小河是当时北面东边的城壕。
据说赵宋在新修太原城街道时，都筑成丁字街，取其谐音，“钉”破“龙脉”，使太原不再出现“真龙天子”，危及赵宋天下。并忌讳使用“晋阳”、“太原”名称，而设为紧州军事，派潘美、杨业把守。