步行的匈奴人遭遇,被射杀数十人。宦官逃回向李广报告。李估计碰上了射雕手,立即率百余骑兵追出数十里。追及后,李广射杀两人,随从将另一人俘获,一问,果然是射雕手。此时匈奴数千骑至,迅速占据附近的山头,摆开阵势。李广的随从十分害怕,建议李广快跑。李广说:“我们现在离开主力有几十里。如果跑,很快会被他们追上和消灭。我们不走,他们一定以为主力离此地不远,我们是引诱他们的,一定不敢向我们进攻。”他命令部属前进,离匈奴二里多,又命令下马休息,以示不走。匈奴不知底细,不敢出击。不一会儿,匈奴一骑白马的军官出阵。李广立即率十余骑冲上去,射杀此军官后回到原地,仍然下马休息。入夜,匈奴军悄悄撤走。拂晓,李广也率部安然返回。李广治军,不讲究内务队列、军容风纪,比较散漫。但他能身先士卒,吃苦在前,士兵都愿意听他的指挥。
汉武帝即位,他奉诏回长安任未央宫卫尉。元光六年(公元前129年),匈奴入扰上谷(今河北怀来东南)。他任骁骑将军,奉命率万余骑出雁门(今山西右玉南),出击匈奴,因众寡过分悬殊,他受伤被俘。匈奴将他放在一网篮内,置于两马之间。李广装作昏迷不醒。行十余里后,他乘押送者不备,突然跳上一马,夺取兵器和马鞭,将押送者推下马,然后扬鞭疾驰,跑回汉营。由于他战败,下狱当斩,赎为平民。几年后,因边患严重,朝廷又起用他为右北平(今内蒙古宁城西南)太守。匈奴都怕他,称他为“飞将军”,几年不敢犯边。此时,汉武帝对匈奴政策已由文景时代的和亲和防御改为进攻。元朔六年(公元前 123年),他被任为后将军,随大将军卫青由定襄(今内蒙古和林格尔东北)出击匈奴,诸将都有斩获,但他无功而返。元狩四年(公元前 119年),武帝命大将军卫青、骠骑将军霍去病率大军征讨匈奴。李广要求参加。武帝因他年老,不同意,经他多次请求,武帝才答应,并任他为卫青的前将军。但武帝又向卫青交待:李广已老,且运气不佳,不宜担任主攻。出塞后,卫青侦知单于的准确位置,自率精兵追击,而命令李广率部随右将军赵食其行动。李广对卫青说:“我是前将军。我一成年就同匈奴战斗,几十年才碰到与单于交战的机会,愿与单于决一死战。”卫青不允。李广怏怏而退。他和赵食其因无向导,迷路,没有赶上同单于的战斗。卫青大胜归来,在大漠以南遇到赵食其和李广,便强人去责问他们为什么掉队,并要求李广立刻去大营受审。李广对部下说:“我一生同匈奴大小七十余战,这一次有幸跟随大将军同单于作战,但又让我走右路,结果迷了路,这难道不是天意吗?我六十多岁了,岂能忍受刀笔吏刑讯之辱?”于是拔刀自刎。对他的坎坷一生和不幸遭遇,后人颇为同情,为缅怀和纪念他,写了许多诗篇。王昌龄所作即为其中一首。