段伯宇青少年时期即积极投身于轰轰烈烈的五四运动。1938年8月加入中国共产党。1946年4月打入国民党最核心的军事机关“总统府军务局”。在中共中央上海局策反委员会领导下，他参与组织了震动中外的国民党预备干部总队、伞兵三团等部起义，有力支持了渡江作战和宁沪杭地区的解放，为中国人民解放事业作出了特殊贡献。
光荣加入中国共产党
1904年7月，段伯宇出生于河北省蠡县孟尝村。从10岁起，他在天津觉民学校学习，在那里度过了6年读书时光，受到爱国主义的熏陶。在半殖民地半封建社会的旧中国，帝国主义的侵略和封建统治的黑暗腐朽，促使段伯宇思想上积极追求进步。五四运动爆发后，在周恩来领导下，他积极参加天津市学生游行，和2000余名学生一起，走上街头宣传演讲，历数北洋政府卖国投降罪行。在运动中，段伯宇受到马克思主义的启蒙，对反对帝国主义和封建军阀的斗争有了切身的感受和理解。
在河北大学就读期间，段伯宇认识了中共党员戴培元，在其指导下开始阅读马克思主义著作。大学毕业后，他在太原开办了近3年诊所，接触进步人士，阅读了大量马克思主义著作。他在离诊所不远的地方开了一家新书店，宣传社会主义思想，公开出售进步书籍，被山西军阀阎锡山通缉。1936年，他在保定开办进步书报社，宣传抗日救国主张。1937年9月，日寇占领保定，段伯宇率领数人赴太行山投奔八路军未果，在衣食无着、孤立无援的情况下，参加了国民党第32军。
1938年6月，段伯宇借口探亲请假转道西安赴延安，进入中国人民抗日军事政治大学，并提出入党申请。8月初，段伯宇回到长沙32军集训地。该军中共地下党员王兴刚约他谈话，他汇报了去延安学习的经过，并再次提出入党请求。不久，王兴刚郑重通知段伯宇，组织已同意吸收他入党，由他做介绍人。2天后，由中共湖南省委聂洪钧同志领誓，在岳麓山腰小土地庙前，段伯宇入了党。段伯宇向聂洪钧汇报了多年寻找党组织的艰难曲折，经过整整14年才加入了组织。聂洪钧安慰段伯宇，并强调了党的纪律，告诉他在国民党统治区工作要特别注意加强组织观念，时刻牢记自己是一名共产党员，严守党的秘密。段伯宇下定决心，以党员的标准严格要求自己。
在周恩来教导下开展地下斗争
1938年底，因国民党整编32军干训团被解散，段伯宇想回华北参加抗战。1939年初，段伯宇辗转来到重庆，向八路军重庆办事处报到。组织上决定段伯宇留在重庆开展工作，公开职务是国民党战地党政委员会视察员，任务是调节国共纠纷，以利于团结抗战。段伯宇做了大量工作，为党组织收集了不少有价值的情报。
不久，周恩来接见了段伯宇。周恩来勉励他做好国民党上层的统战工作，通过他们影响和推动蒋介石抗日。周恩来语重心长地叮嘱段伯宇，充分利用在国民党任职的有利条件，团结进步势力，争取中间势力，反对反动派。在国民党统治区工作，工作方针就是在最不利的情况下，争取有利的可能，并尽力转变为现实。周恩来的教导，使段伯宇深受教育和感动。
1939年底，国民党顽固派反共活动不断扩大，不断制造军事摩擦。段伯宇参加了战地党政委员会组织的视察团，赴山东、河北等地，调查国共摩擦情况。段伯宇亲眼目睹了国民党顽固派一手挑起的反共摩擦，搜集了不少确凿证据。段伯宇的所做所为引发了国民党顽固分子的强烈不满。战地党政委员会新任秘书长斥责他“吃国民党的饭，为共产党说话”，并下令将他关了禁闭。
打入国民党“总统府军务局”
为便于在国民党军队开展工作，段伯宇于1943年10月考入国民党陆军大学。学习期间，他广泛联系爱国进步同学，为以后开展工作准备条件。1946年3月，蒋介石以校长名义到陆军大学主持毕业典礼，并召见了段伯宇。段伯宇毕业后，在弟弟段仲宇推荐下，被分配到“总统府军务局”第四科从事军事情报工作，很快在军务局站稳脚跟，先后任少将情报科长、高级参谋。
有了这样的工作岗位，段伯宇面临的首要任务是为党工作。1946年5月，他得知周恩来率领的中共代表团进驻南京梅园新村，与国民政府进行谈判，便想方设法与代表团取得联系。但国民党特务机关加紧对中共代表进行监视和控制，代表团驻地周围布满形形色 色的特务，“空气中布满特务的眼睛”，段伯宇始终无法接近。
正当段伯宇急切地寻找党组织时，他在值班时检查文件档案，偶然见到一个尘封很久的木匣，打开一看，全是国民党中央通讯社收集的中共中央文件和毛泽东等中央领导同志的报告、讲话，顿时非常兴奋。这些文件是军务局为研究共产党对策而收集和保管的，段伯宇争取到了机会，经常学习研究，了解了党的基本方针和政策，为开展党的地下工作提供了依据和指南。
团结爱国将领武装反蒋
抗战胜利后，中国共产党为争取和平民主作出巨大努力。但蒋介石集团违背全国人民的意愿，撕毁政协协议，发动全面内战。在此情况下，段伯宇积极团结国民党爱国将领，反对蒋介石的内战政策。段伯宇在陆军大学学习期间团结的一批有爱国思想的进步同学，先后分配到国民党军事政治机关工作。段伯宇经常以座谈、联谊、聚餐等形式向他们表明自己对时局的看法，揭露蒋介石背叛孙中山三大政策、勾结美帝国主义、反共反人民的真相，以事实说明打内战不得人心。段伯宇的这些思想工作，引起了一些同学的深思和共鸣，他们对蒋介石倒行逆施的不满与日俱增。这为后来组织武装反蒋奠定了思想基础。
1948年9月，国民党军10万余人在济南战役中被歼灭，蒋介石以大城市为主的“重点防御”体系开始崩溃。1948年11月，正在军务局上班的段伯宇突然接到时任国民党国防部预备干部局代局长贾亦斌的电话，约他到家中商谈。到会的主要是段伯宇陆军大学的同学。大家争论不已，纷纷表达对蒋介石发动内战、国民党贪污腐化和四大家族垄断金融搜刮民脂民膏的不满，认为国民党失去民心、败局已定，不能和其同归于尽，商议在南京发动暴动。段伯宇听到同学们的意见，既感到突然，又很高兴。他经过审慎的思考，认为既不能泼冷水，也不能盲动。他向大家了解了能调动的部队情况，对大家讲了自己的意见。他表示：“第一，十分同情同学们的义举，但我们能调动的部队无几，南京有重兵驻守，我们的行动无异以卵击石，如暴露了自己，则非常不利。第二，我们要反蒋，是革命行动，但绝不能盲动，应当有组织、有计划、有领导地搞。第三，我们要掌握武装，积蓄力量，待机行动。”段伯宇冷静理智的分析，大家一致表示同意。这次会议后，段伯宇立即行动，约弟弟段仲宇和陆军大学同学宋光烈等分别谈话，通报情况，布置工作。宋光烈联系了国民党106军军长王修身、96军军长于兆龙。段仲宇联系了爱国将领齐国榰、王海峤等人。经过多方工作，到1948年冬，段伯宇联系和约定准备参加起义的国民党部队计有10万余人，分布在西起芜湖，经南京、常州、上海，东至嘉兴、杭州的广阔区域。
发展党的组织
在策划和实施武装反蒋的过程中，段伯宇一直加紧寻找党组织，以获得党的指示和领导。1948年底，段伯宇借病脱离军务局，到上海集中全力做军运工作。段伯宇委派一位同志到河南解放区寻找党组织，又通过他在同济大学读书的表弟、中共党员温尚煜的帮助，联系上了中共中央上海局策反委员会书记张执一。段伯宇详细汇报了自己的经历和工作情况，张执一对段伯宇独立开展地下工作并取得出色成绩，给予了高度评价。
张执一认为，段伯宇动员和争取掌握部队的工作事关重大，需要专人联系。1949年元旦，他介绍李正文和段伯宇联系。李正文非常认真负责，几乎每天到宝山路1号段伯宇住处，反复研究商议起义计划和行动步骤。段伯宇把准备参加起义的国民党部队高级将领贾亦斌、刘农畯、段仲宇、宋健人、王海峤等人分别介绍给李正文，谈了他们的工作情况和部队的兵力、驻地情况。段伯宇、李正文深深感到，加强党组织的领导是起义成功的关键。为了加强与参加起义的国民党部队的联系，段伯宇建议派党的同志到部队。经中共中央上海局策反委员会同意，选派张文藻到预备干部总队，周其昌到伞兵第三团，王声明到工兵第四团，陈景明到江苏保安总队，积极建立地下党支部，开展宣传和组织工作，起义准备工作进入更紧张的运作阶段。
1949年2月，李正文向段伯宇传达了上海党组织关于恢复其组织关系的决定。党组织对段伯宇的肯定与关怀，使他倍加感动和振奋。他向党组织介绍贾亦斌、刘农畯、宋健人、段仲宇入党并获批准。通过段伯宇等人的努力，切实加强了党对起义行动的领导。
参与组织部队起义，支持渡江作战和解放宁沪杭地区
为策应解放军渡江，段伯宇等在中共中央上海局领导下加紧筹备工作。上海局有关同志认为江浙皖大规模起义计划目前条件尚不成熟，即使加上我党所掌握的其他所有准备起义的部队一起起义，也难以成功。而在这时，接连发生的突发事件，迫使贾亦斌领导的国防部预备干部总队和刘农畯领导的伞兵三团不得不提前起义。
中共中央上海局策反委员会对贾亦斌领导的预备干部总队起义特别重视。这支部队是国民党多年来苦心经营的王牌。如果它在国统区的心脏地区起义，政治影响将无可估量。李正文、段伯宇、贾亦斌等人对预备干部总队的起义时机和方法等作了详细研究，取得了共识。贾亦斌在联络员张文藻的协助下，在官兵中进行爱国主义教育，揭露国民党统治集团的反动腐败，宣传中国共产党的政策。1949年4月7日凌晨，贾亦斌毅然决然地率领官兵，制服了反对起议的副大队长黎天铎和其他几个军官，以去莫干山行军演习的名义，把部队拉出去，嘉兴起义爆发了。蒋介石暴跳如雷，痛斥蒋经国“无能”“用人失策”。他急调优势兵力，设下重重包围和堵截线，并悬赏5万银元缉拿贾亦斌。起义部队在贾亦斌等带领下，浴血奋战，终因力量悬殊，寡不敌众，部队被打散。起义虽然失败了，但这一“从蒋家的心窝里反出来”的正义行动，粉碎了蒋介石成立新军的计划，极大瓦解了国民党部队士气。
以刘农畯为团长的国民党伞兵第三团，也是蒋介石十分重视的嫡系部队。蒋介石在军事上不断失利，在准备逃往台湾的前夕，曾亲自召见刘农畯谈话，企图调伞兵第三团去台湾。段伯宇约请李正文、刘农畯、段仲宇等共同商讨，决定将计就计，让刘农畯率领伞兵第三团打着奉蒋介石之命撤退到台湾的幌子，一出海就改变航向，直奔我解放区连云港。中共中央上海局批准了伞兵三团的起义计划。为保证起义计划顺利进行，段仲宇调拨了一艘排量3000吨的“中字102号”美式大型坦克登陆艇，交付刘农畯接管。1949年4月15日，伞兵团在连云港登陆，起义人员受到热烈欢迎。中共中央很重视这支部队的起义，毛泽东主席和朱德总司令发来慰勉电报：“庆祝你们脱离国民党反动集团而加入人民解放军的英勇举动，希望你们努力于政治上和技术上的学习，为建设中国的新伞兵而奋斗。”
以王海峤为团长的国防部工兵第四团是国民党军中配备最精良的重型工兵团。蒋介石和国防部多次命令该团撤往广州。李正文、段伯宇、段仲宇和王海峤等经过研究，决定采取以空间换时间的办法，表示服从命令向广州撤退，但实际上一再拖延调动。他们根据当时国民党军事运输紧张的形势，将工兵团3个营用逐次移防的办法散布在浙赣路千里铁路线上。这些笨重的筑路机械设备和机车车辆在铁路上形成障碍物，千方百计造成铁路堵塞和交通瘫痪，使蒋军南调部队无法通过。国防部一再催促，毫无结果，便通缉王海峤“贻误军机，定于严办”。王海峤完成任务后，偕同联络员王声明飞往香港后转赴解放区。
段伯宇参与组织的国民党部队起义及配合解放工作，为解放战争胜利贡献了力量。新中国成立后，段伯宇在党的领导下，为社会主义建设继续埋头工作，在外交、党建、对台工作和科学研究事业等方面，都作出了重要贡献。