陈伯之，济阴睢陵(今江苏睢宁)人，幼有膂力，少小无赖，家中贫穷，以盗劫为生。后跟随同乡车骑将军王广之征讨齐安陆王萧子敬有功，升迁为冠军将军、骠骑司马，封鱼复县伯，食邑500户。
齐永元三年(公元501年)，萧衍率义军攻打郢州(治所在今湖北武昌)，东昏侯萧宝卷任命陈伯之为豫州刺史，占据寻阳(今江西九江)来抵御义军。萧衍攻下郢州，找到陈伯之的幢主(南北朝时禁军主将的称呼)苏隆之。派他劝说陈伯之投降，告诉他如能归附，就封为安东将军、江州刺史。陈伯之虽接受了这一条件，但心怀犹豫，首鼠两端。萧衍趁其犹豫，率大军抵达寻阳城下，逼他投降。陈伯之不得已而归附。
萧衍封陈伯之为镇南将军，领着他一道去攻打建康(今江苏南京)。大军围困建康城，每当有投降的人从城中出来，陈伯之就召唤来小声地探问城中的情况。萧衍怕他再有反复，就召他来秘密地说：“听说城中将吏对你投顺一事非常恼火，想派刺客来杀你，你应当慎重考虑，务加小心。”陈伯之不相信。正逢东昏侯的将领郑伯伦投降，萧衍再派他从陈伯之那里经过，对他说：“城中人对你很恼火，想写信引诱你去投降。你一投降，就要剁下你的手脚;你如果不投降，也要派刺客刺杀你。你要作好防备。”陈伯之害怕，不敢再有倒戈的念头。由于作战有功，建康平定后，进号征南将军，仍回江州(治所在今江西九江西南)镇守。
陈伯之不识多字，公文书信只能看懂大概意思。大事的裁夺往往取决于身边的心腹。他身边有邓缮、戴永忠、褚緭、朱龙符等重要心腹。朱龙符是陈伯之同乡，任长流参军，仗着陈伯之不明下情，恣意胡行。萧衍得知后，亲笔写信由陈伯之儿子陈虎牙送来，陈述朱龙符罪状。陈伯之认为朱龙符是骁勇健儿，对他不作处罚。邓缮曾救过陈伯之，任江州别驾，萧衍派人代替邓缮江州别驾职位，陈伯之认为邓缮有功绩不动他的官职，将所派来的人担任治中。褚緭是个品行恶劣的小人，向来有窜掇陈伯之叛梁投魏的打算。陈伯之身边的心腹对萧衍都怀有敌对情绪。邓缮劝说陈伯之叛梁，认为现在国库空虚、东方饥荒，是千载难逢的时机。褚緭、戴永忠等也极力附和。
于是陈伯之召集将吏说：“我接到齐建安王指令，他率江北10万大军已进驻六合(今江苏六合)，命令我们运粮连下，我受齐明帝厚恩，要以死相报!”并把褚绢假造的萧宝夤的书信拿给大家看。众将果然相信，歃血为盟，同心反梁。
武帝命王茂攻讨陈伯之，陈率众攻豫章(今江西南昌)，留下同乡唐盖人守江州。王茂也率军追到豫章。豫章太守郑伯伦坚守，陈伯之攻城不克，王茂前军已赶到，陈表里受敌，大败逃走，与陈虎牙、褚緭等都逃入北魏。魏封他为平南将军、光禄大夫，曲江县侯。
天监四年(公元505年)，武帝派临川王萧宏率军北伐，两军对峙，萧宏命谘议参军、记室丘迟写信招降陈伯之，这就是有名的《与陈伯之书》。书中晓之以利害，告之以危局有“将军鱼游于沸鼎之中，燕巢于飞幕之上”的名句;动之以乡情，有“暮春三月，江南草长，杂花生树，群莺乱飞”之佳句;而后喻之以大义。感于此书，陈伯之迫于形势，终于带8000兵在寿阳(今安徽寿县)归降。儿子陈虎牙被魏人所杀。武帝封陈伯之为骁骑将军、太中大夫，永新县侯，食邑千户。