第35军是解放军历史上寿命最短的军之一，从1949年2月组建到1950年1月撤编只存在了一年。35军最初由吴化文的起义部队组成。吴化文部追根溯源为冯玉祥的西北军。首任军长也是末任军长是吴化文。
吴化文，一生四次叛变五易其主，他1904年出生于山东掖县，8岁随父母迁居安徽省蒙城，1920年离家出走，投西北军冯玉祥部当兵，升为排长、传令官。因为人乖巧机灵被冯玉祥器重，1923年，入北京教导团学习，继又被冯送进北洋军阀开办的陆军大学深造，毕业后回冯玉祥部任师参谋长。26岁背叛冯玉祥投靠韩复榘。1930年弃冯玉祥投奔韩复榘，先后任高级教导团团长、手枪旅旅长兼济南警备司令等职。
韩复榘被处决后，他是抗战中第一个被处决的高级将领，为何被杀，三种说法见仁见智，1938年1月，吴化文所在部队被蒋介石改编为独立二十八旅，他任旅长。鲁南台儿庄失守后，其部被改编为新四师，吴任师长兼山东保安第一师师长。抗战初期，率部先后在泰安、万德、虎门、柳河等地与日军作战。1939年，日军“五一大扫荡”，他率部在临朐与敌鏖战竟日，重创日军，受到八路军的赞扬。39岁投靠日伪当汉奸。1943年，他投靠汉奸汪精卫，晋见日军侵华总司令冈村宁次，被委任为日伪第三方面军总司令，协同日军进攻八路军。41岁时日寇投降，汉奸当不成了，他再次投靠蒋介石。出任第五路军司令兼津浦铁路南段司令，执行蒋介石“防止共军占据铁路交通”的命令。1945年至1948年脚踏两只船，只图保存实力。1945年10月其一部被人民解放军击溃。为摆脱困境，保存实力，他于1946年7月与中共联系，表示愿意站到人民方面。1947年3月，蒋介石对山东解放区发动重点进攻，吴化文又继续追随蒋介石，时任国民党整编八十四师师长。
1948年7月，被王耀武保荐为整编96军军长，防守济南西线。1948年8月，中国人民解放军包围济南，在外迫内促之下，他终于在 9月16日率2万名官兵战场起义。后改编为中国人民解放军第35军(下辖第103、第104、第105师)，吴化文任军长，保持原有建制，为华东野战军直属部队。淮海战役初期，35军在后方整训，第三阶段时，粟裕下令35军南下参战，在宿县集结作预备队，未参加战斗。?1949年1月淮海战役结束，华野全军休整。中旬，35军与鲁中南纵队(属华野第2兵团)合并，下辖的三个师(第103、第104、第105师)。原吴化文部缩编为三个团。各个师中吴化文部有一个团，鲁中南纵队两个团。鲁中南纵队在解放战争初期，与吴化文部为死敌，反对合并，认为这是“包办婚姻”、“强迫婚姻”。陈毅出面工作，他在贾汪会议总结时说：“华野编16个军，4个兵团。鲁中、渤海、江淮三个纵队不编，充实三个起义部队。这样合编对起义部队的进步是有帮助的，向他们说清楚我们没有把他们当杂牌看待，也没有当客人看待，而当自家人一样。”。鲁中南纵队的人对此依然不服，后召开全军干部大会，吴化文检讨了自己历史上的罪恶，矛盾才缓和下来，完成35军的整编。2月9日，华野发布整编命令，改称第三野战军。军以下按三三制设师、团、营，师、团的番号则按全军序列排列。
中国人民解放军第35军的主要战绩就是占领南京了。1949年4月20日，民国政府拒绝中国共产党的和平方案。子夜起，第三野战军和第二野战军开始强渡长江，渡江战役开始。35军因准备执行“攻占浦口，炮击南京”而暂归第八兵团指挥，担任对南京守军钳制和监视任务。21日，35军进攻江浦、浦镇、浦口。清晨104师攻克江浦县城。103师全歼江浦的守军。22日深夜占领浦口。由于原定接管芜湖、南京的陈赓第四兵团尚在江西湖口和安徽望江地段，转到南京，需十多天。于是邓小平与刘伯承商定取消第四兵团接管南京的任务。改由第八兵团担任南京城防任务。24日凌晨，35军104师312团3营率先占领总统府。4月29日，粟裕命令三野第八兵团的24军前往南京接防，35军调往杭州。1950年1月16日，军委命令，第30军和第35军番号撤销。35军军部调归海军，所辖三个师分别调归浙江军区并兼几个军分区。1952年5月15日，浙江军区的第104师与其它9个师一起集体转业，改编为工程部队及屯垦部队。