高力士与李白晚年境况，颇为相似。他们同卒于宝应元年（762），只差三个月。又都先后遭贬，发往同一个地方——夜郎（巫州）。而且有着几乎交集的路线，并都有诗作流传。不过李白贬得较早，至德二年（757）十二月，就从浔阳踏上长流夜郎之路。高力士贬巫州（治所在龙标，辖夜郎、渭溪、思微三县），在上元二年（760）七月。起因是他反对权倖宦官李辅国用武力强迫太上皇李隆基迁往西内，加以软禁。
据《新唐书本传》：力士行前曰：“臣当死已久，天子哀怜至今。愿一见陛下颜色，死不恨。李辅国不许。”遂开始了他那一去不复返的悲壮旅程。他的《咏荠》诗，即作于巫州贬所：“两京作斤卖，五溪无人采。夷夏虽有殊，气味终不改。”借物明志，表现了纵有沧桑巨变，而不改本色的高尚操守。李贽在《史纲评要》中指出“高力士真忠臣也，谁谓阉宦无人。”是摒弃了传统偏见的中允不二的傥论。
