1830年9月23日，门罗夫人因中风逝世，给门罗以极大打击。安葬完夫人之后，门罗几乎一文不名，他的所有资产都耗费殆尽。只得搬到二女儿在纽约的家中，依靠女儿生活。当时的总统约.昆.亚当斯任命他的二女婿为纽约邮政局局长，这份薪俸保证了门罗一家的生活。为了挣钱，门罗总统只得写书换取稿费。门罗的贫困状态终于感动了美国国会，他们批准给予门罗在任总统期间的补偿费3万美元，连同他的卖地进账只够还清门罗的旧债，却无法弥补他清贫的生活。1831年，门罗最后的家――橡树庄园被他卖掉了，到此，门罗成为地道的无家可归者。当年7月4日，门罗在女儿家因心力衰竭平静地离开了人世，终年73岁，成为死于国庆日的第三位前总统。
