南京有紫金山、牛首山、幕府山、栖霞山、汤山、青龙山、黄龙山、方山、祖堂山、云台山、老山、灵岩山、茅山等，另有富贵山、九华山、北极阁山、清凉山、狮子山、鸡笼山等聚散于市内，形成了山多水多丘陵多的地貌特征。

南京城区起伏不平。紫金山中支的余脉向西延伸，在太平门旁为富贵山，进城为小九华山、北极阁，继续向西连接古长江冲积物堆成的下蜀黄土岗地，把南京城一分为二，形成了秦淮河水系和金川河水系的天然分水岭。在城北锈球公园附近还有狮子山（又名卢龙山），城西有马鞍山，城南有石子岗（又名玛瑙岗、聚宝山）。