苏武渐渐伤愈，单于派人通知苏武，一起给虞常判罪，想趁此时机招降苏武。用剑杀虞常后，卫律说：“汉朝使臣张胜谋杀单于的亲近大臣，应当处死，单于招募投降的人，赦免他们的死罪。”举剑想刺张胜，张胜请求投降。卫律对苏武说：“副使有罪，应当牵连处罪。刀苏武说：“本来没有参预密谋，又不是亲属，怎么能说连带处罪？”卫律又举剑作要杀苏武的样子，苏武不动摇。卫律说：“苏君，我以前背弃汉朝归附匈奴，幸而蒙受大恩，赐给王号，率领数万兵众，马匹，牲畜满山，如此富贵。苏君今天投降，明天也和我一样。白白地用身体肥了野草，又有谁知道呢？”苏武不理睬。卫律说：“你通过我(的劝说)投降，我和你结为兄弟；现在不听我的劝说，以后即使再想见我，还办得到吗？”苏武斥骂卫律说：“你作为臣下，不顾恩情道义，背叛君主，离别亲人，在异族当投降者，见你干什么！况且单于信任你，让你决断别人的生死，你不平心主持公正，反而想让汉天子与匈奴单子相斗，看着他们遭受灾祸和失败。你明知道我不投降，想让两国互相攻杀，匈奴的灾祸，将从我身上开始了。”

卫律知道苏武终究也不受胁迫，禀报了单于。单于更加想让苏武投降，就幽禁了苏武，把他关在大窖里，断绝供给，不给他饮食。天下雪，苏武躺在地上咬雪，和毡毛一起咽下去，好几天也没死。匈奴认为他是神仙，就把苏武迁移到北海上没有人烟的地方，让他放牧公羊，公羊生了小羊，才能回国，把他的属员常惠等人，都分别安置到其它地方。苏武到北海后，供给的粮食不送来，挖野鼠穴内藏的草实来充饥。拿着汉朝的节杖牧羊，躺下起来都拿着，节杖的毛都掉光了。

从前，苏武和李陵都任侍中，苏武出使匈奴，次年，李陵投降，不敢求见苏武。过了很久，单子派李陵到北海边，为苏武设置酒筵歌舞，借机对苏武说：“单于听说我和你一向交往深厚，特意派我来劝说你。你平心静气地想等待归汉，但终究不能回汉朝，白白地在荒无人烟的地方自己受苦，信义表现在哪里呢？以前你哥哥任奉车都尉，侍从武帝到雍地的械阳官，扶着辇车走在门与照壁之间，碰到柱子上，折断了车辕，被弹劾犯了大不敬罪，用剑自杀了，皇帝赐钱二百万埋葬了他。孺卿随从皇帝去祭奠河东土神，骑马的宦官和黄门驸马争船，把黄门驸马推落到河里淹死了，骑马的宦官逃走，皇帝下诏让孺卿追捕，抓不到，害怕得服毒死了。我来时，你母亲已去世，我送葬到阳陵。你妻子年轻，听说已经改嫁了。只有两个妹妹、两个女儿、一个儿子，现在又过了十多年，生活都不知道了。人生好象早晨的露水，何必老这样自找苦吃？我刚投降时，精神恍惚，似乎疯了，痛恨自己对不起汉朝，再加上老母亲关在保宫里。你不想投降，怎么能超过我？而且皇上年纪大了，法令无常，大臣没有罪而被灭族的有几十家，安危不可予测，你还为谁呢？希望你听我的劝告，不要再说什么了！”苏武回答：“苏武父子没有什么功业德行，全靠皇上造就，职位在将军之列，封爵为通侯，兄弟们都是皇帝的近臣，经常希望牺牲性命(来报答)。现在有了自己以死来报效的机会，即使受斧钺砍杀，下汤镬烹煮，实在是甘心乐意！臣子事奉皇帝，就像儿子事奉父亲，儿子为父亲而死，没有遗憾的，希望你别再说了。”李陵和苏武喝了几天酒，又说：“你一定要服从我的劝说。”苏武说：“按我自己的料想我早就死了！单于一定要我投降，请结束今天的欢聚，死在你面前。”李陵看见他非常真诚，叹息着说：“唉！义士！我和卫律的罪顶天了！”因此流下眼泪，沾湿了衣襟，和苏武离别而去。