刘虞，字伯安。东海郯（今山东郯城）人。汉光武帝刘秀之子东海恭王刘强之后，刘虞的祖父刘嘉曾任光禄勋，父亲刘舒曾任丹阳太守。
刘虞虽然是汉室皇亲，但当时世道衰乱，又与君主疏远，所以一开始他本人也只是担任曹吏，但刘虞能用心做好自己的工作，所以得以获升成为郡吏，最终被举为孝廉当上了郎中，后因累积政绩迁为幽州刺史。
据《英雄记》记载，刘虞以前在担任博平令期间，以公正平和的方式管理地方，境内的百姓因此都高尚纯朴，境内不仅没有盗贼，甚至都不会产生灾害。当时邻近县蝗虫为害，到博平界，居然飞过不入。
而刘虞在担任幽州刺史期间，清静俭约，以礼义教化百姓。百姓与蛮夷被他的仁德所感动，鲜卑、乌桓、夫余、秽貊等部族都按时朝贡，不敢骚扰边境，他也因此受到了百姓的歌颂。
延熹九年（166），南宫发生火灾，在张让、赵忠等人的游说下灵帝要求收田亩税十钱，以修宫室，后来甚至只要州郡的官吏升官补缺，都要求资助修治宫室的钱，有的一千万，有的二千万，富有的人开始动用自己的私财，有的人则搜刮老百姓的钱以备用，贫穷而清廉的人，无以充调，有的甚至自杀。而灵帝因为刘虞清贫，特别没有让他出钱。
后来刘虞因为公事被免去了幽州刺史一职，转为甘陵相，在此期间刘虞因病回家。
刘虞回到老家之后，并没有因为曾居高位而大摆脸谱，反而经常自降身份，与当地百姓一同欢庆节日，一同救助他人，什么事情都和大家在一起，从来不显示自己的特殊身份，因此乡里都非常推崇他。
当时乡里有所申诉，甚至都不去见官，而去找刘虞评判。刘虞以道理和情感为他们分析判断，大家都是十分认可，大大小小都听从刘虞的，没有人为此感到遗憾和不公正。
当时有一家的牛走失了，因为其骨体毛色和刘虞的牛相似，他就去问刘虞要，刘虞便把自己的牛给了他。后来自家的牛失而复得，牛主人更是亲自来向刘虞道歉。
后来甘陵再次发生动乱，当地的官吏和百姓都因此十分怀念刘虞，刘虞因此被再一次任命为甘陵相，甘陵的情况随即便大为好转。
刘虞后来因功得以拜为尚书令、光禄勋，而且他还是皇亲，礼仪非凡，刘虞最终成为了宗正，负责管理天下的皇亲国戚。
时间到了中平年间（184－189），车骑将军张温率军讨伐凉州贼寇韩遂等人，征调幽州乌桓三千骑兵，但却因军粮供应不上，使得乌桓骑兵都逃回了本国。一开始前中山相张纯自荐为将，但被张温所拒绝，张温反而以公孙瓒为将，于是张纯深恨之。
张纯看到乌桓骑兵纷纷逃走，就对和他同样没有被张温重用的前太山太守张举私下说到：“如今乌桓已经背叛，都想作乱。凉州贼人起事，朝廷不能禁止。又有洛阳人的妻子生下的孩子有两个头，这是汉朝气数已尽，天下有两主的征兆啊。你若和我一起率乌桓的部众来起兵，说不定可以成就大事业。”
张举因不获张温重用而心生不愤，就听从了张纯的建议。于是两人联合乌桓的首领丘力居，双方结盟背叛了朝廷，张举有武装九千人。
于是他们开始攻打蓟地，焚烧城郭，掳掠百姓，杀护乌桓校尉箕稠、右北平太守刘政、辽东太守阳终等人，部众达到十余万，驻扎在肥如。张举称“天子”，张纯称“弥天将军安定王”，向各州郡传送文书，说张举要取代汉朝，让天子退位，命公卿来迎接。张纯又派乌桓峭王等人步骑兵五万，进入青、冀二州，攻破清河、平原，杀害官吏百姓。
朝廷则派遣中郎将孟益率领骑都尉公孙瓒讨伐张纯等人，双方交战良久，互有胜负，但公孙瓒等人最终还是无力阻止叛军和蛮族进犯青、冀、幽、徐四州。
朝廷因为刘虞素来有威信，对北方又有恩德，于是在中平四年（188），灵帝任命刘虞为幽州牧，掌控地方大权，负责镇压叛乱。
刘虞到达蓟城后，不但没有扩充军力，反而精简了部队。他在上任伊始，就派使者去丘力居和乌桓峭王那里，告诉他们朝廷将宽大处理，可以免除他们犯下的罪责，并且晓之以利害，责成他们交出张纯的首级。丘力居等人听说刘虞回来了，十分高兴，各派使者去见刘虞，并将部队撤回了各自的领地，公孙瓒害怕刘虞功高过自己，居然偷偷派人杀死丘力居的使者。胡人得知这一消息后，依然没有改变主意，而是派人改道去见刘虞。
在面见了胡人使者之后，刘虞撤回了各路人马，只留公孙瓒带领步、骑近万人，驻守右北平。同时刘虞以幽州牧的名义下令悬赏通缉张举、张纯二人。二人逃到塞外，其余的也都投降或逃跑了。当时张纯丢下妻儿老小，只身逃到鲜卑，被他的门客王政所杀，将首级献给了刘虞，王政因此被封为列侯，张举则不知所踪。
就这样在刘虞的威名之下，未动一兵一卒，丘力居和乌桓峭王等外族就悉数投降，张举消失，张纯被部下所杀，北方之乱就此被平息。汉灵帝因此派使者升刘虞为太尉，封容丘侯（一说襄贲侯）。
后来董卓控制了朝政，又迁升刘虞为大司马，公孙瓒为奋武将军，封为蓟侯。
关东诸侯联合讨伐董卓之际，由于幽州地处偏僻，所以未能参与，董卓后来把献帝劫持到了长安，然后