丹徒自古以来就是沟通南北交通的要塞。这里依山临江，步移景换，可出游，可幽居，既有利商贾流通，亦是寄情书画，修身养性的宜居之地。米芾于1087年迁居丹徒，始住北固山净名斋，后建“海岳庵”，又建东海岳庵于城东南。此外，米芾在丹徒的居所还有致爽轩、宝晋斋，在南山还建有精致小舍。苏东坡来丹徒与其晤谈时，不无羡慕地说他是“狡兔三窟。”古时交通不便，作为书画家的米芾为师法造化，观察自然，体悟长山烟云变幻，干脆在他喜欢的一些景点处，建起了书斋画室。
宋大观元年三月（1107年）米芾去世，葬于丹徒西南长山脚下。中书舍人蔡肇曾题写《墓志铭》：“以大观元年三月某日，葬丹徒长山脚下。”现南郊黄鹤山下的米墓，实际上是他父母的合葬之地。
米芾从迁居丹徒，到终老长山，在丹徒定居的时间长达20年之久。他在《净名斋记》中表达了自己对丹徒山水的无限眷恋：“江山万里，十郡百邑，绕山为城，临江为隍者，唯吾丹徒。”一个“吾”字，说明米芾已完全自觉地将自己和丹徒融为一体。他还写到：“襄阳米元章将卜老丹徒。”生前就选择丹徒作为自己的终老之地，足见米芾对丹徒的钟爱之切和眷念之深。因此可以说，米芾就是丹徒人。
