杨敞家世居京兆尹属下的华阴县，家中虽然谈不上富贵，但也算是家境殷实，子弟虽然谈不上精于学问，但是，也算是耕读传家，颇有些人出任乡、里、亭的微末吏职。不过，最有机缘的乃是杨敞本人。
杨敞的机缘来源于一次招待外客。那个客人是游历的弱冠士人，借宿而已，不过，学识甚广，年幼的杨敞头一次对学问产生了兴趣，也记住了那个客人的姓名
——那个堪堪弱冠之龄的士人姓司马，名迁，字子长。
十多年后，杨敞再次听到这个名字——那一年，十一月甲子朔旦，冬至，天历始改，天子祠上帝于明堂。
——那一年，大中大夫公孙卿、壶遂、太史令司马迁等言：“历纪坏废，宜改正朔。”上诏兒宽与博士赐等共议，以为宜用夏正。夏，五月，诏卿、遂、迁等共造汉《太初历》，以正月为岁首，色上黄，数用五，定官名，协音律，定宗庙百官之仪，以为典常，垂之后世云。
杨敞知道那人已是太史令之后，便下了决心，与家人辞别，去了太史令家，拜师求学。
汉家制度，史、卜、祝皆是家传之学，只有史、卜、祝之子可以学，如司马迁，其父便是汉太史令，其父卒后三年，司马迁便成为了太史令——虽然不是世职，但是，多少也有这样的意思。
不过，杨敞本也无心于史，也就不碍规矩了。跟着司马迁学了几年，杨敞开了眼界，因为无心于仕途，再加上家中父母催促其归家完婚，他便辞行归家了。
回到家中，杨敞与父母聘定的女子完婚，操持家业，闲时也继续读书，日子倒也和乐。
——他本来也不是多么有雄心壮志的人，学问一道也不过是兴趣。
若不是接连的意外，杨敞一辈子也就如其父祖一样，在华阴家中平淡却也和乐地度过了。
天汉二年，这样的生活忽然被打断。
先是杨敞的妻子难产，生下一子之后，便撒手人寰。
杨敞还没有从丧妻的打击回神，又一个消息传来——太史令司马迁下狱。
原因是为李陵开脱。
天汉二年五月，夏，贰师将军李广利将三万骑出酒泉，击右贤王于天山。李陵当时正以骑都尉留屯张掖，天子召见李陵，打算让李陵负责大军辎重。武台谒见时，李陵叩头请战，天子再三拒绝，并说明原因——无马！李陵仍然坚辞请战，最后甚至说出了“无所事骑，臣愿以少击众，步兵五千人涉单于庭。”的话，天子只能答应下来。于是，李陵率五千步卒出居延。
那一战，李广利得胡首虏万馀级而还。然而，归师途中，匈奴大围贰师将军，汉军乏食数日，死伤者多，非战而亡者即有十之六七。最后，假司马陇西赵充国与士百馀人溃围陷陈，李广利引兵随之，大军才脱困。
然而，出居延的李陵所部就没有那么幸运了，虽然出居延后，未遇敌军——与李广利的三万骑相比，这五千步卒实在是不足为患——但是，在李广利的大军脱困之后，匈奴人一心要歼灭更多的汉军，这五千步卒自然是最好的目标。于是，当李陵率军到达浚稽山时，匈奴三万骑已经严阵以待了。
三万骑围五千步卒，即使李陵的手下再英武，也无多少胜算！
当然，败也不算什么，尤其是这种败绩，即使是被问罪，最严重的也不过是赎死。
然而，在激战数日之后，军卒尚余三千，之后一场激战，士卒死伤甚多，似乎是因此，李陵忽然改变主意，命尚存的士卒分散突围，其与校尉成安侯韩延年有马，率十余人突围，韩延年战死之后，李陵投降。
当时，李陵所败离汉塞不过百余里，李陵投降一事迅速被报告。
汉律，降敌者腰斩，其父母、妻子、同产，无少长皆弃市。（注1）
群臣皆认为该以此定李陵之罪，然而，上以此事问太史令司马迁时，司马迁却盛言：“陵事亲孝，与士信，常奋不顾身以徇国家之急，其素所畜积也，有国士之风。今举事一不幸，全躯保妻子之臣随而媒蘖其短，诚可痛也！且陵提步卒不满五千，深蹂戎马之地，抑数万之师，虏救死扶伤不暇，悉举引弓之民共攻围之，转斗千里，矢尽道穷，士张空弮，冒白刃，北首争死敌，得人之死力，虽古名将不过也。身虽陷败，然其所摧败亦足暴于天下。彼之不死，宜欲得当以报汉也。”
天子却以迁为诬罔，以李陵功高讽刺李广利功少，欲沮贰师，为李陵游说，而下迁腐刑。
司马迁是太史令，结交的人中并没有位高权重的，杨敞也没有什么办法能为其脱罪，也没有太多的钱财可为其打点，不过，他仍然去了长安。
在那种时候，他能够不避嫌疑地前来司马家，便是极重道义的了。
司马迁无子，唯有一女，在得知杨敞丧妻之后，司马迁便将女儿许配给了杨敞。
司马迁当时不过刚刚出狱，杨敞却没有任何推辞，禀明父母之后，重令为介（注2），定下婚事。
这位司马氏就是杨敞现在的妻子。
杨敞的仕途倒有一半是因为这个妻子。
——司马迁后来为中书谒者令，与霍光、张安世等人都有来往。因为这点交情，霍光为大司马大将军之后，便征其为幕府军司马。
杨敞本人心性忠厚，并不适合军司马的职位，因此，始元六年，霍光便将其迁为大司农。
大司农，原名治粟内史，掌谷货，有两丞。