在历史上一众东吴重臣中，潘濬无疑是经历最奇特的一人。只因他并非孙策时代元从，亦非孙权举拔的淮泗士人，更非江东大族出身，而是原属刘备军关羽部的一届降臣，年届四十才投效东吴。
后来的蜀汉大司马、孔明接班人蒋琬，则是他的表兄。如此敏感身份，却能在东吴朝廷深得朝野信任，官居要职，不得不说是三国中的一个异数。
潘濬少年时得“建安七子”之一的名士王粲赏识，后被刘表辟为江夏从事，斩杀贪赃枉法的沙羡长，一郡震竦。后为湘乡县令，治理地方有名。刘备领荆州后，以潘濬为荆州治中，典理州务。治中本身是刺史最重要属官之一，位卑而权重。其实际地位，并不在南郡太守糜芳这个执掌大郡的真二千石大员之下。
关羽北征襄樊时，吕蒙率东吴军白衣渡江，留守大将南郡糜芳、公安傅士仁皆率部反水，江陵城落入东吴之手，城中将吏僚属大都投降了。潘濬本是无兵无勇的一介文官，对此无力阻止，只能闭门不出。
孙权入江陵后面见潘濬，潘濬伏床不起，涕泪交横，哀哭之情不能自禁。孙权以楚武王时名将丁父、楚文王时名相彭仲爽等俘虏出身的楚国名臣为例，将潘濬与他们相比，并让左右亲随用手巾替潘濬擦去泪水，潘濬才下地拜谢，同样被孙权委任为荆州治中，荆州各地的军事部署皆亲自向其咨询。
潘濬投吴后如鱼得水，孙权对他不但厚赏重用，而且言听计从，信任程度更超过大多数的江东旧臣。
芮玄与其芮父祉，兄芮良父子三代追随孙坚孙策，可说是东吴开国元勋，所谓“以德义文武显名三世”。而芮玄死后，孙权让潘濬领其部曲，对私兵制的东吴政权而言，此举是极大加强了潘濬的地位和影响力。
潘濬长期和陆逊镇守荆州，文武配合，共掌州事;曾督诸军五万讨武陵蛮，信赏必行，斩获万计，平息了荆州地区的这一长期夷患;
仅用千余武射吏便拿下交州的骠骑将军步骘，是东吴贡献最大、名势最高的重臣之一，他的增兵要求，孙权不能诀断，被潘濬一言否决;
中郎将徐宗曾与孔融交好，自诩天下名士，放纵部曲不法，被潘濬果断诛杀;
潘濬表兄蒋琬执政蜀汉后，武陵太守卫旌道听途说，以为潘濬与蒋琬私下勾结，向孙权密告，反倒是自己丢了官职;
孙权称帝后，潘濬入朝为九卿，对孙权喜欢打猎的爱好，即使望重如张昭亦不能阻止，潘濬作为后来降臣却敢言能言，切词谏阻，请孙权为自己“故息置之”，孙权竟当真为他“不复射雉(野鸡)”;
吕壹乱吴，操弄权柄，逼凌百官，(或说受孙权指示，打压江东士族官员)，丞相顾雍、左将军兼驸马朱据皆被其整治，太子孙登屡次谏言无果，满朝大臣皆不敢言。只有潘濬公然扬言要手刃之，而吕壹惧之而气夺，因为害怕顾雍去后，潘濬代为丞相，才放松对顾雍的迫害。
吕壹事败后，孙权下诏罪己，一面责怪诸葛瑾、步骘、朱然、吕岱等重臣不肯直言相谏，唯独表彰陆逊和潘濬的忧心为国。
吴相步骘将潘濬与另外两位丞相顾雍、陆逊同列，赞其“忧深责重，志在谒诚，夙夜兢兢”，“可谓心膂股肱，社稷之臣矣。”
陆机《辩亡论》则将潘濬与顾雍、吕范、吕岱同列为“以器任干职”的东吴名臣。
以潘濬一介降臣身份，能得到东吴上下包括孙权在内如此礼遇与优容，甚至长期名列丞相候选人之列，女儿更嫁与孙权宠爱的次子孙虑，与孙权结为儿女亲家。
一方面当然因为他是荆州地区士族的代表人物，又被刘备重用，在孔明入蜀后，打理整个刘属荆州的幕僚班子，所以东吴需要他的配合与合作，一如曹操任用崔琰，唐太宗信用魏征;
另一方面当然也是他的个人才具、品格操守为孙权所看重，所以哪怕在荆州统治巩固之后，依旧将其如同元从功臣和江东士族一般的信重。
对比他的表兄蒋琬，刘备仅用其为百里之才，甚至一度因其不理政事欲杀之，称王后方封其尚书郎。后得孔明栽培重用，最后竟能成为其接班人。若当时随行入蜀的是潘濬，其后在蜀汉政权成就，恐亦未必下于蒋、费。
陈寿在《三国志本传》对其评价，是“公清割断、节概梗梗，有大丈夫格业”，将之与东吴后期名相陆凯两人同传。(《吴书十六·潘凯传第十六》)
甚至极是推崇蜀汉、贬斥魏吴，参照《裴注》《通鉴》将三国志改编为《续后汉书》
，“正陈寿帝魏之谬、升《昭烈》为《本纪》，黜吴、魏为《列传》”的郝经，亦赞扬潘濬是“方严疾恶，义形于色，梗梗有大节，有吴之栋石也。”
当然，吴占荆州后，武陵从事樊伷勾连诸夷，欲叛归刘备，潘濬率吴军将其平定之举，亦有苏辙认为忠于新主却损于故主，不及乐毅仕宦于赵，却不肯为其谋划伐燕之策。
只因潘濬没有为刘备死节，反而投效东吴，成为高官名臣，成书于明代的《三国演义》秉承“帝蜀寇魏轻吴”理念，才将其丑化为“平生多忌而好利，不可任用”的小人。
而三国类游戏的数据设置，受演义影响一直远大于正史，因此其游戏数据平平，被很多人轻视了其能力和作用，而绝不是刘备没有给关羽留下足以安定后方的人才。
至于潘濬在荆州失陷后投吴，亦无足以苛责其人品。汉末还没有明清理学大兴后的君臣观念，诸侯乱世，君择臣臣亦择君。魏蜀吴三国大量重要文臣武将，都并非仅仕一主，许多更“拔于亡虏”。
就如刘备账下收容的众多刘璋旧部，除却法正这种带路党不提，剩下那些即使积极抵抗过刘备的，这些深受刘璋举拔之恩的人，最后替刘璋殉死了?哪怕是豪言“断头将军”的严颜，亦难例外。蜀汉开国群臣里这些人更占了相当部分。
《三国志·蜀书》中提及潘濬，“先主入蜀，以为荆州治中，典留州事，亦与关羽不穆”，其实也间接说明了原因。
潘濬是个性烈如火、嫉恶如仇的性子，这点即使在东吴也丝毫无改，完全没有通常降臣那样如履薄冰、忧谗畏讥的自觉;
而关羽在史书中的评价，是“刚而自矜”，“善待卒伍而骄于士大夫”，傲上而不忍下，出口则必伤人，如讥孙权为“犬”，黄忠为“老卒”，和新降之马超比高下，要诸葛亮特地写信安抚。
所以两个人的性格作风恰好是针锋相对，水火难容。
汉末士人一向秉承孟子“君之视臣如手足，则臣视君如腹心;君之视臣如犬马，则臣视君如国人;君之视臣如土芥，则臣视君如寇仇” 之训，
关羽和潘濬关系不睦，文武不和，上下有隙，潘濬没有义务对关羽愚忠死节，也是情有可原。而刘备于潘濬本有举拔之恩，潘濬在驻守武将先降，僚属都率先投降的情况下，直到孙权亲招，一番涕泣始归，亦算不得相负。
毕竟荆州已失，潘濬一人的去向已难左右大局。他仕官于东吴，才会继续是荆州本地士族的代表，否则不过一届布衣，对刘备集团亦无关紧要。
不妨比照黄权，身居镇北将军高位，直接带着约1/3东征军主力和预备收复荆州后安置的僚属三百余人，投了“汉贼”曹魏，让曹丕大喜过望封了四十二个侯(司马昭灭蜀也才封了五十多侯)，令蜀汉的损失何止百倍千倍于潘濬?
——蜀汉不可调和生死大敌，之后诸葛亮屡次北伐对象，从来是曹魏，非东吴。
可即使如此，刘备依然会说“权不负朕”，宽免其家人，这便是汉末时代正常的君臣观。君臣互择司空见惯寻常事，只要不是糜芳、法正这种直接叛主、积极带路之徒，本亦无可指责。
因此糜竺为糜芳叛变之事面缚请罪，虽得刘备宽容，不久惭恨病死;而潘濬归吴，其表兄蒋琬仕途却没受任何影响，以后更成为孔明接班人、蜀汉执政者，与潘濬同登盟国之高位，为一时佳话。这才是真正的秦汉士人风貌，岂是明清君主臣奴思维影响下的《三国演义》之论可比的?
和潘濬这个荆州留守士大夫代表、荆州僚属首脑处不好关系，正是关羽的跋扈性格所致;
当孙权亲至，恳切相召，潘濬也随其余将吏一起归附时，不止是他自己，而正代表整个荆州本地士族集团都抛弃了关羽、和远在成都的刘备。
通常所谓“得民心者得天下”，从来不是真的说升斗草民，而就是先秦贵族、汉之世家、魏晋门阀、宋明士大夫这些社会中间阶层，
屠城盈野如满清亦可坐稳几百年天下，最根本原因就是因为他们比南明和农民军更得官僚士大夫这些“民”之心。
当关羽被荆州士族抛弃时，其毁败命运也就注定了，那些他平日善待的普通士卒对此根本无能为力，同样只会为自家妻儿计将自己的主帅丢弃。
是以哪怕曹魏有意坐山观虎斗，不加追击;关羽军却未经交锋，直接溃散，终至败亡。所谓“以短取败，理数之常”。这也几乎是古今兴亡之至理了。
文学形象
在小说《三国演义》中，潘濬的生平大体相当。最初在蜀为治中，随前将军关羽守荆州，关羽攻樊城，留潘濬总督荆州。随军司马王甫认为潘濬平生多忌而好利，不可任用，关羽不听。后吴将吕蒙夜袭荆州，潘濬降。吴主孙权慰劳毕，仍以其为治中，掌荆州事。