元和十五年（８２０），张籍约五十岁时，才改官秘书省校书郎。次年，经韩愈举荐，授国子博士。复次年，又迁任水部员外郎。十年沉滞，忽然三年三迁，朋友们当然为他高兴。白居易写诗贺道：“今日闻君除水部，喜于身得省郎时”（《喜张十八博士除水部员外郎》），觉得比他自己初次得官时还要高兴。屡遭挫折的诗人至此境遇才稍有改善，住宅也由平民区的街西迁到上朝方便的靖安坊，与韩愈为邻。
长庆四年（８２４），张籍又改官主客郎中。这年冬天，与他关系至密的韩愈去世了。弥留之际，张籍一直守候在旁。韩愈死前曾想写遗书托付后事，并要张籍共同署名，虽因病重未果，但已足见韩愈对张籍信赖之深了。这位良师益友的逝去，无疑对暮年的张籍是一个沉重的打击。过了两年，即唐文宗大和二年（８２８），张籍又授任国子司业。大约到大和四年（８３０）或稍后，这位穷苦一世的诗人便与世长辞了，年约六十岁。
张籍晚年职务上虽连连迁升，但他在《祭退之》诗中仍说“籍贫无赠赀”，《书怀》中说：“老大登朝如梦里，贫穷作活似村中”，说明到死也未能摆脱贫穷的困境。张籍一生穷苦，久遭压抑，究其原因，主要是他那些尖锐揭露社会矛盾的作品遭到当权者的忌恨，他的猖介自守、刚直不阿的性格也不讨权贵们欢喜。而他自己，宁守贫贱也不屑以钻营攀附的手段来攫取富贵。据说他的名作《节妇吟》，就是以比喻手法拒绝藩镇李师古之请的。所以姚合说他“甘贫辞聘币，依选受官资”（《赠张籍太祝》）。他自己在诗中说：“况我愚朴姿，强登名利场”（《赠姚愆》），和白居易所说：“昔我为近臣，君常稀到门；今我官职冷，唯君来往频”（《酬张十八访宿见赠》），都说明了他的这种不愿趋炎附势、争名逐利的可贵品质。
张籍晚年思想上确实较前消沉。作品中送迎赠答的应酬诗，寄情山水的闲适诗，表示羡慕退隐生活的抒怀诗，都渐渐多了起来。特别是在对待佛道的态度上，由过去的力排佛道到晚年的“年长道情多”（《春日抒怀即事》），“别从仙客求方法，时到僧家问苦空”（《书怀》），出现了明显的变化。封建社会一些正直的读书人往往以“达则兼济天下，穷则独善其身”作为自己立身的原则。数十年的官场浮沉使他痛感此生已无实现“兼济天下”之志的可能了，便退而求其次，以“独善其身”来保持晚节：应该说寄情山水、访僧求道，至少是一种不愿同流合污的消极反抗的表现。
但张籍晚年仍不忘对文学事业的追求。他尽心培养后进，努力扶植文学新人。据范摅《云溪友议》记载，朱庆余应考前曾拿自己的作品求张籍推荐。张籍就认真地读了他的诗，加以吟改，最后选了些佳作“置于怀抱而推赞之”。于是“清列以张公重名，无不缮录讽咏”，朱庆余“遂登科第”。其他青年诗人如项斯、姚合等也曾受过张籍的奖掖。
