成年后，海瑞长期担任江南巡抚，管辖的地方包括南京、苏州、常州等地，这里本是非常富蔗的地方，但海瑞上任伊始却发现，人民在重赋和贪官的压迫下生活极为困苦。如果赶上当年发生涝灾，粮价飞涨，百姓纷纷外出讨饭。到任后，海瑞将治水与救灾一起解决，既为当前又为将来谋利。

　　为了解决农民的贫苦问题，海瑞进一步惩罚恶霸，要求地主们归还从农民手中抢夺来的土地。当地有个退休的官吏叫徐阶，曾有恩于海瑞。徐阶在当地占有的土地最多，但只是象征性地退了一些。海瑞于是写信劝他应该做出表率，多退一些田，但徐阶杖着权势，拒绝这样做。海瑞最终联合一批官员上书皇帝，迫使徐阶退了二分之一的田地。海瑞又依照法律将徐阶两个违法的儿子外以重刑。其他地主们见此情景，赶忙将多占的田依数退还。

　　海瑞还在赋税方面减轻了人民负担。当时江南的赋税很混乱，有田的地主往往不纳或少纳，地少的农民却要负担很重的赋税，其实，加重的部分都是替地主所交，是由地方官平摊到每个百姓头上。海瑞组织人员清查土地，简化赋税制度，减轻百姓负担。

　　海瑞的所作所为严重触犯了权贵和地主的利益，后者联名向皇帝诬告他，湖涂的皇帝于是把海瑞撤职了事。此后海瑞在家乡海南闲居了16年。终其一生，海瑞的仕途生涯几起几落，他三次被罢官，三次被重新任用，始终与中国封建社会腐败的官场风气格格不入。他看到当朝皇帝昏庸不理朝政，就写信批评，差点引来杀身之祸。海瑞一辈子反对贪污腐败，他从不给别人行贿，也拒绝受贿，认为行贿受贿是不知羞耻的行为。

　　海瑞做了多年官，过的依然是穷书生的日子。他去世时，他的妻子、儿子早已去世，他的丧事由别人料理。人们发现，他的遗物只有八两银子和几套旧衣服，甚至连一个平民都不如。他的灵柩运往家乡安葬时，成千上万的普通平民前来送别，街上的店铺也停了业，送行的队伍长达几十公里。如今，在中国民间，海瑞成了正义的象征，各地共有十几种地方戏在传唱着他的故事。