或者说小杜生于唐代，比秦始皇晚生了七八百年，况且阿房宫被项羽进咸阳时，放一把火烧掉了，他在赋中的描写不一定实在。小杜的《阿房宫赋》，是否有史料为依据？或是仅凭他的才华和想象写成的？无法考据。但是紧接着秦代之后的汉人记录，应当不会太离谱了。
《三辅黄图》这本汉代的著作里，记载着说：阿房宫又叫做阿城。原来是秦惠王在这里建造宫室，还没有完工就死了。始皇统一天下以后，就选择了这个地方，扩大范围，建筑阿房宫，占地方圆达三百多里，造了许多离宫别馆，跨过了山谷，把一望无际的高山大岭都遮盖起来了，专门供秦始皇车辆通行的道路，从宫室到骊山，就有八十多里长；并且在南山的顶上，建筑了一道巍峨雄伟的阙门，高高矗立在上，似乎和天上飘过的云彩相接；还开了河道，远远地把樊川里的水，接引到阿房宫里来，灌进壮阔的池沼中去。仅仅是阿房宫的一处前殿，从东到西有五十步宽，约三十丈（汉朝度量衡制度，很难考实），南北之间则有五十丈深。上面可以坐上万的人，下面建有五丈旗，用最贵重的建材兴建，横梁是用木兰架设，门则用磁石砌成。仅仅一处前殿，就这么瑰丽，正殿和其他宫室的情形，就可想而知。另外还有四通八达的双层高架复道，和那些楼阁连接起来，而且通往咸阳。
证之这一段汉人的记载，和小杜的描写相比，除了杜赋的文体更美，易于使人记忆外，同阿房宫实际状况是极相近的。
还有更可靠的史料，那是在《史记》中，司马迁叙述了鸿门宴上项庄舞剑志在沛公的一段故事后，立即就说：项羽知道汉高祖自鸿门逃回坝上，引兵他去，便“引兵西屠咸阳，杀秦降王子婴，烧秦宫室，火三月不灭。”这寥寥的“火三月不灭”五个字，可以说完全证实了那些笔记、诗赋的可靠性。在今年（一九七七年）不久前，美国加州的一场森林大火，毁了那么广阔的山林。当然，林木蔓延起来比较快，但也只延烧了个把月。而阿房宫的大火，却烧了三个月之久。这一比较，就可见阿房宫规模的恢宏了。
然而秦始皇又享受了多久呢？可以说，阿房宫动工之日，正是秦朝政权开始崩溃的时候。杜牧在他的《阿房宫赋》结论说：
他的这一结论，正是孟子对梁惠王所说“虽有台池鸟兽，岂能独乐哉”这句话的发挥。尤其是“后人哀之而不鉴之，亦使后人而复哀后人。”两句话等于指责了隋炀帝的错误，也为后来的宋徽宗、慈禧太后这些人作了预言。