面对新政权，后周旧臣中识时务者则俯首称臣，但也有不甘任人摆布者，尤其是昔日与宋太祖一样手握兵权的将领们。周世宗去世后，怀有帝王野心的人又何止赵匡胤一个？只是赵匡胤捷足先登，使其他人失去机会，但并没有打消他们的念头，他们仍在等待时机去实现自己的帝王梦想，李筠和李重进便是其中代表。
李筠镇守潞、泽、沁等州达8年之久，他为人骄横跋扈，连周世宗都不放在眼里。宋太祖继位后，曾遣使者去封李筠为中书令，欲用高官宋元通宝
厚禄来笼络这位后周老臣。李筠竟下令将使者拒之门外。经过幕僚反复劝说，他勉强接待了使者，但却在招待使者的酒宴上挂起周太祖的画像放声大哭，表示对宋太祖的强烈不满。此事被北汉国主刘钧所知，便许诺帮助李筠起兵攻宋。李筠长子李守节不同意父亲的做法，但劝阻无效。
太祖得知李氏父子意见不一，任命李守节为皇城使以探李筠意图。李筠也趁机派儿子入京，以窥伺朝中动向。李守节入宫，太祖开口便叫他为太子，吓得李守节魂飞魄散，连连叩头表示效忠新君。太祖让李守节回去劝李筠打消造反的念头，哪知李筠不听儿子劝告，于建隆元年（960）四月正式起兵。
然而，李筠狂妄无谋，他没有采纳幕僚们的一些正确建议，竟率军直捣汴京。太祖派大将石守信、高怀德、慕容延钊和王全斌等人率军平叛。此时，曾答应出兵相助的北汉刘钧却坐山观虎斗，竟按兵不动。石守信在两军的初次交锋中大败李筠，打击了他的锐气。同时，太祖又率军亲征，李筠连遭败绩，退入泽州城。太祖亲自指挥各军攻城，泽州城破，李筠投火自焚，李守节以潞州降宋，李筠之乱被平定。
当李筠反宋时，南方的李重进欣喜若狂，连忙派幕僚翟守珣星夜前往李筠处联络南北夹攻之事。哪知翟守珣却去了汴京，将李重进的计划详细告知了太祖。当时由于应付李筠之事，为避免分散兵力南北作战，太祖让翟守珣回去设法拖延李重进起兵的时间。翟守珣回去后施展巧舌，诋毁李筠不足与谋大事，劝李重进不要轻举妄动。志大才疏的李重进果然中计，没有及时起兵，错失了良机。
有关赵普献策的记载李筠之乱平定后，太祖便全力对付李重进，改授他为平卢节度使，守青州。李重进拒绝离开扬州，于建隆元年九月起兵。太祖命石守信、王审琦、李处耘和宋延渥（wò）等领兵平叛，并再次亲征。这场叛乱不过50天便被平定，李重进自杀身亡，其党羽多被太祖处死。
二李叛乱的平定，不仅慑服了后周旧臣，更重要的是警示那些武将们必须服从新政权。但是，五代时那种朝为比肩之臣，暮有君臣之分，骄兵悍将们将弑主篡位视同家常便饭的阴影依旧笼罩在太祖心头。二李的相继叛乱使太祖更加确信拥有重兵的武将和藩镇是国运长久最大的威胁。然而，国家处于建立初期，天下四分五裂，进行统一战争和巩固边防都需要武将统兵征战。太祖心中忐忑不安，遂找心腹赵普来商量此事。
太祖问赵普：“天下自唐末以来，数十年间，帝王凡易十姓，兵革不息，苍生涂地，这是为何？我欲息天下之兵，为国家建长久之计，有何方法？”赵普说：“陛下能如此考虑，天地神人之福也。唐末以来，战斗不息，国家不安，其原因无他，只因节镇太重，君弱臣强而已。今别无他法，惟有稍夺其权，制其钱谷，收其精兵，则天下自安矣。”语未毕，太祖便表示已明白他的意思。于是，太祖精心设计了一场夺兵权的酒宴。
建隆二年（961）七月，太祖设宴招待石守信、王审琦等高级将领。酒酣之时，赵匡胤却闷闷不乐。石守信等人忙问原因，太祖遣走左右，说：“若非你等出力相助，我怎能有今日？你们的功德，我铭记于心。只是今日做了天子，却常常难以入眠，还不如做个节度使快乐。”石守信等人纳闷，忙问为何。太祖答道：“其中原由极易知晓，做天子如此风光，天下谁人不想？”石守信等人听到往日鲜有隔阂的义社有关杯酒释兵权的记载兄弟话中有话，顿觉气氛不对，均表示如今天命有归，无人敢怀有异心。不料，太祖却说：“纵使诸位无异心，若你们的部下贪图富贵，将黄袍披在你们身上，那也由不得你们了。”此言一出，石守信等人都冒出一身冷汗，皇帝的话分明是怀疑他们有夺位之心。他们都知道臣子一旦被猜忌，后果很严重，便磕头请太祖指点明路。太祖见时机成熟，便直截了当说：“人生如白驹之过隙，所谓好富贵者，不过欲多积金银，厚自娱乐，使子孙无贫乏罢了。你们何不释去兵权，购买良田，为子孙立永久之业；多置歌儿舞女，饮酒作乐，颐养天年。如此，我们君臣间毫无猜嫌，上下相安，岂不为好？”石守信等人跟随太祖多年，深知他说这番话来是经过深思熟虑，便一齐叩头谢恩。
第二日，石守信等禁军将领纷纷上书，称自己有病在身，请求解除兵权。太祖十分高兴，立即同意请求，赐予大量金银财宝，授予他们有名无实的节度使官衔。之后，太祖又与这些将军结为儿女亲家，他的长女昭庆公主下嫁王审琦之子王承衍，次女延庆公主下嫁石守信之子石保吉，皇弟赵光美（廷美）娶大将张令铎的女儿为夫人。
削夺禁军将领兵权后，太祖曾想让天雄军节度使符彦卿统领禁军。符彦卿是周世宗及皇弟赵光义的岳父，太祖颇加优遇。但赵普以符彦卿名位已盛，不可再委兵柄为由相谏。太祖不听劝阻，认为自己待符彦卿甚厚，符彦卿不会辜负自己。赵普却反问太祖：“陛下何以能负周世宗？”太祖默然无语，此事便作罢。太祖也意识到节度使的兵权不能不削，于是上演了第二次“杯酒释兵权”，只是与前略有不同。
开宝二年（969）十月，太祖设宴招待几位掌握兵权的节度使。正饮酒时，太祖却做体恤状，说道：“卿等都是国家功臣宿将，戎马一生，本已辛苦，如今还不辞劳苦驻守大镇，实非朕优待贤士之本意。”座下凤翔节度使王彦超颇能揣摩主子心意。太祖早年未发迹时曾投奔王彦超，但被拒之门外，太祖即位后曾当面质问他此事。王彦超却说：“臣当年所辖之处乃是小郡，容不下真龙天子。若陛下当年留在臣处，怎能有今日？可见上天有意不让臣收留陛下是为了成全陛下今日的大业。”太祖听了十分高兴，也没有再和他计较。这次王彦超一听太祖之言，心领神会，马上道：“臣本无勋劳，久冒荣宠，今已衰朽，乞骸骨，归丘园，臣之愿也。”另外几位节度使武行德、郭从义、白重赞和杨廷璋虽明白太祖的意图，却不愿解除兵权，纷纷诉说自己当年的攻战经历和沙场艰辛。太祖心中十分不快，冷冷道：“此均为前朝之事，何足道哉。”第二日，这五人都被罢任，授以虚衔，其他一些未赴宴的节度使如向拱、袁彦等也相继交出兵权。
太祖吸取唐末五代藩镇之乱的教训削夺武将兵权，巩固了帝位。但他并没有采用历史上屠杀功臣的做法，这对于皇帝和武将来说是皆大欢喜的结局，也充分显示出太祖在政治上杰出的御人之术。然而，过分削夺武将兵权，是导致宋朝武事不振、形成积弱局面的重要原因。