苏武的伤势逐渐好转。单于派使者劝降苏武，并同时审判虞常，想借此使苏武投降。卫律亲手用剑斩杀虞常后，说：”汉使张胜谋杀单于亲近的大臣，应当是死罪，但是单于招募愿意投降的人，赦免其罪。“举剑要砍张胜，张胜请降。卫律对苏武说：”副官有罪，主管也应当连坐。“苏武说：”我本来就没参与计划，又不是他的亲属，凭什么连坐？“卫律又举剑对着苏武，苏武不动。卫律说：”苏君，我之前备齐汉朝归顺匈奴，有幸受到了单于的恩宠，赐予了爵位和财富，管理数万民众，牛马牲口堆满山，才有像今天这样富贵。苏君今日投降，明日也会跟我一样。否则是白白拿身体去做野草的肥料，谁会知道啊！“苏武毫无反应。卫律说：”你要是顺着我投降了，我就能和你做兄弟。今天不听吾的我的建议，以后就算想再见我也没们这么容易了。“苏武骂卫律说：”你为人臣子，不顾恩义，背叛君主和父母，投降蛮夷去做俘虏，我见你做什么？况且单于信任你，让你决定他人的死生，你公平执法，反而想挑起两个君主的矛盾，自己坐观成败。南越国曾经杀汉朝使者，最后被汉朝消灭南越国也成了汉朝的九个郡；宛王曾经杀汉使者，最后被汉朝消灭，他的人头也被悬在北门示众；朝鲜杀汉使者，立即就被灭国了。只有匈奴还没遭到这样的下场罢了。你明知我不降，就是要杀我，令两国开战，匈奴的覆灭就从我开始吧。“
卫律知道苏武不可胁迫，报告了单于。单于越发想使他投降，就囚禁苏武，置于大地窖内，不给他吃喝。天下雪，苏武卧著嚼雪，同毡毛一起吞下，几日不死。匈奴以为他是神人，就将苏武迁至北海，让他放公羊，说等公羊生小羊才可归汉。同时把他的部下常惠等人安置到别的地方。”
“那是他傻。”
天瑜却不以为意，“苏武到了北海，没有供应粮食，只能掘野鼠所储藏的果实吃。苏武拄著汉节牧羊，起居都拿着，以致节上毛全部脱落。过了五、六年，单于的弟弟于靬王到北海打猎。苏武会编打猎的网，矫正弓弩，于靬王器重他，供给他衣服、食物。三年多过后，于靬王大病，赐苏武马匹、牲畜、服匿、穹庐。于靬王死后，他的部下也都迁离。冬天，丁灵人盗走了苏武的牛羊，苏武又再度穷困。
苏武在汉朝时，与李陵都担任侍中的官职。武帝天汉二年（前99年），李陵投降匈奴，不敢访求苏武。后单于派李陵去北海，为苏武设酒宴和歌舞。李陵对苏武说：”单于听说我和子卿你交情深厚，所以让我来劝说你，他真心你能成为匈奴的臣子。你到死也不能归汉，白白在没有人的地方让自己受苦，即使坚守信义又有谁能看见呢？先前长君（苏嘉的字）做奉车都尉，随从圣驾至雍的棫阳宫，皇帝扶辇下除，撞到柱子折断车辕，被指控为大不敬，伏剑自刎，皇帝赐钱二百万作为丧葬费。孺卿（苏贤的字）随从圣驾祠河东后土，宦骑与黄门驸马争船，把驸马推到河里淹死了。宦骑逃亡，皇帝下诏让孺卿追捕，没抓到，孺卿惶恐服毒自杀。我来的时候，你的母亲已不幸去世，我送葬至阳陵。你的妻子年少，听说已经改嫁了。只有两个妹妹，两个女儿一个儿子，重你离家至今已经十几年了，是不是还活着也不知道。人生如朝露一般短，为什么要让自己受这么久的苦呢！我刚投降的时候，也痛苦的像发疯一样，恨自己背叛了汉朝，加上老母被收留在保宫里。你不想投降的心情，难道比得过我当初？况且陛下年龄大了，法令无常，大臣们没有犯罪就被灭族的有数十家，连自身安全都无法保证，你还顾得上别人么？请听从我的建议，不要再说别的了。“苏武说：”我们苏家父子没有什么功劳，都是因为陛下才能位列将帅，获爵封侯，兄弟为近臣，我一直都想肝脑涂地来报答他的恩情。现在能够杀身报恩，即使是上刀山下油锅，也觉得快乐。臣子事奉君主，就如同儿子事奉父亲。儿子为父亲而死没有什么遗憾的。希望你不要再说了。“李陵与苏武共饮了几天，又说：”你就听从我的话吧！“苏武说：”我早就已经死了！右校王（李陵在匈奴的爵位）如果一定要让我投降，就请请停下今日的欢宴，我直接死在你面前！“李陵见苏武如此真诚，喟然长叹道：”真是义士啊！我和卫律的罪过上通于天！“说著流下眼泪浸湿了衣襟，决别苏武而去。
后李陵又到北海，对苏武说：”区脱地区捕得云中的活口，说太守以下的吏民都穿着白衣，说皇帝驾崩了。“苏武听了向南大哭，吐血，每天早晚哭吊数月之久。”
“从这里也看以看出他的气节了，你也不要这么贬低人啊！”