欲理解《山居赋》，必先了解始宁、始宁墅、谢灵运出生地。
据唐谢肈的《谢氏宗支避地会稽序》:永嘉不靖，谢衡（太安元年为散骑常侍，谢裒之父）来寓于始宁。永昌元年(322)谢裒升太常卿，次年，担任吏部尚书、万寿子(“子”是爵位)。始宁作为谢家封地或肇于封爵的谢裒。故有谢裒之子谢奕就近出任剡县（嵊州）令。谢奕后入朝为吏部郎，又出为晋陵太守。升平元年(357年)，谢奕为都督豫司冀并四州诸军事、安西将军、豫州刺史、假节。谢奕当了一年的豫州刺史，到了358年于任内逝世，朝廷追赠镇西将军。《世说新语.尤悔》记载“曾送兄征西葬还，日莫雨驶，小人皆醉，不可处分。公乃于车中，手取车柱撞驭人，声色甚厉。”谢安曾护送兄长谢奕灵枢从豫州回始宁东山。看来太常卿谢裒所建始宁墅、始宁别业最有可能。谢奕灵枢从豫州可回至始宁东山，至少说明此前始宁应当有谢家居所。
谢裒因卒于任上（墓在南京市城南，今天的西善桥一带），谢灵运家太祖辈谢衡（谢裒之父、谢奕之祖）墓在始宁东山，其曾祖谢奕、祖父谢玄、父谢瑍均归葬始宁。宋《嘉泰会稽志》卷十八云“故港在嵊县游谢乡，有康乐遗迹。自港以东为康乐乡，港东即四明山，东峁山属余姚、新昌二县，大氐皆古剡中也。港傍有高冢曰小相公墓，说者云谢氏祖墓也。或即祭酒公谢衡之墓。”据王志邦《六朝江东史记》：浙江上虞新近发现《盖东谢氏宗谱》记有谢衡被命国子祭酒而寓居之事。
始宁是有史可据的谢家祖坟所在地，又有谢灵运曾祖谢奕、祖父谢玄两代任剡县（今嵊州）令。谢氏家族在此处经营数辈，营建始宁墅。据谢灵运《山居赋》自注：“余祖车骑建大功淮、肥，江左得免横流之祸。后及太傅既薨，建图已辍，于是便求解驾东归，以避君侧之乱。废兴隐显，当是贤达之心，故选神丽之所，以申高栖之意。经始山川，实基于此。”
《宋书·谢灵运传》：“灵运父祖并葬始宁县，并有故宅及墅，遂移籍会稽，修营别业，傍山带江，尽幽居之美。与隐士王弘之、孔淳之等纵放为娱，有终焉之志。”唐皇甫冉《曾东游以诗寄之》：“迢迢始宁墅，芜没谢公宅。”东汉永嘉四年到隋朝开皇九年曾设过始宁县，县治在嵊州三界。
始宁作为谢家封地，目前尚无明确的历史资料，散见于各类诗文中的片言只语。余以为或肇于祭酒公谢衡“来寓于始宁”，或益于太常卿谢裒之得封，或兴于门阀士族之利，或为谢奕都督豫、司、冀、并，四州诸军事之赏。
始宁县：东汉永建之年（汉顺帝四年即公元129年），析剡县北乡及上虞县南乡置始宁县，故治在今浙江嵊州市三界镇。隋文帝开皇九年（公元589年）废始宁县。最早见《后汉书.郡国志》。因故治始宁屡属上虞，史学上多称谢灵运为上虞人，实地域变迁之大误也！从隋开皇九年（公元589年），始宁县终于被废置，原属剡县北乡的部分划入剡县，原属上虞县南乡的部分划入上虞。故治始宁因处于会稽、上虞、剡县交界，更名为三界。唐武德八年（625年），设嵊州统领始宁、剡县。后其间又曾划归会稽、上虞，甚至设市。从明代嘉靖十二年（1533年）起，三界镇一直属于嵊县。
当今史学界仍有许多坚持谢灵运为上虞人之说，实地域变迁之大误。早在宋代，嘉定七年(1214年)书成，次年刊行的地方志《剡录》，（《四库》馆臣称赞它“征引极为该洽，唐以前佚事遗文颇赖以存”，又说“其先贤传，每事必注其所据之书，可为地志纪人物之法。”）把谢氏家族的谢敷、谢奕、谢玄、谢朗、谢万、谢灵运列入《先贤传》必“每事必注其所据之书”。反之，同住在始宁的大名鼎鼎的太傅谢安，则不属《剡录》中先贤之列。由此可知，早在宋代严谨的史学家就明确了当年谢家封地始宁，一分为两地后，始宁墅建在剡地，而东山别墅则属上虞地。