府治在今府山之上，縣治在今十字街頭之右，故城中有縣西街，南街（原名縣南街或南市大街），縣后街等地名，都是以縣治方位定名。府縣皆有治學，縣學在縣學街黌序巷，古有鹿鳴書院；府學在府山西麓，故地叫府學里，建有清蓮書院（又名正誼書院）。

2006年6月，衢州府城正式被國務院核定公布為第六批全國重點文物保護單位，衢州府城是我國東南重鎮的實物依據，是研究府城一級城池格局、規模等方面的實物標本。此外，衢州府城在選址和城臺形制等方面皆有獨到之處，具有很高的歷史、藝術、科學價值。目前，衢州府城的護城河體系保存基本完整，六個城門臺基也基本完好，另外還有殘破程度不同的數段城墻遺址共2000余米。

城池是中國特有的人文景觀，是城市的縮影。衢州是一座歷史文化名城，這座城市有著深厚的文化底蘊，城墻和城河就是歷史的見證，文化的背景。衢州府城歷史悠久，明弘治《衢州府志》云：“今龜峰之城亦不知其初建。州人相傳，先址土墻而已。”衢州之城建于何時，史志均無明確的記載，尚難以確定，但比較統一的說法是唐以后衢州的古建筑才正式運用磚石城墻。明嘉靖《衢州府志》云：“唐武德四年（621）置衢州建郡治”。有郭必有城，因為自古以來城郭是相依的。唐崔耿《女樓記》云：“衢之城成于龜峰崢嶸嶺上”，說得亦十分肯定。所以可以斷定，衢州城墻的初建，其時當在唐武德四年建郡治之后；其址當以龜峰、崢嶸嶺為中心。自此以后，城墻歷經修筑、擴展，形成保留至今的古城墻。

衢州地處浙西，交通便利，自古有四省通衢之美名，此地能控鄱陽之肘腋，扼甌閩之咽喉，連宣徽之聲勢，集百越之精華。這里是南孔圣地、圍棋仙境、軍事要塞、文化之邦，是錢塘江上游的璀璨明珠。夏商為“揚州之域”，春秋歸越，戰國歸楚，秦屬會稽，漢屬東陽，三國從吳，建制于唐，興于宋，昌于明，盛于清。前后近兩千年的發展史。

在衢州城內北門街南端的十宇路口，還有一座建于明萬歷年間（1573—1620年）的古建筑四門塔式鐘樓基座。其平面呈正方形，邊長約13米，高4.6米，由四道拱券圍合中央天井組成，基座上原建有二層古建筑樓閣，后毀于戰火。近年來，幾座城門周邊已修建古城墻遺址公園,并于1999年復建了大西門城樓和鐘樓樓閣等古建筑，遺址公園環境古樸幽靜，古城整體風貌也得到了一定程度的恢復。此外，在大西門和大南門的維修過程中，先后有“南宋開慶元年、嘉定三年”、“元至正十三年”，以及“明崇楨十三年”等紀年城磚出土，成為鑒定衝州古城歷史的重要依據。

衢州府城地處浙西門戶，四省通衢，歷來是軍事重鎮，為兵家必爭之地，其城防體系是研究我國古代軍事思想和城防戰略的真實案例，同時，衢州城墻近兩千年的修繕歷史，也記錄了歷代修城的工藝特征和材料演變等歷史信息。