上个世纪90年代，人们初次通过巩俐主演的电影《画魂》，接触了潘玉良其人其事。于是乎，把电影当作了传记，把影片内容当做了史实。据此人们一直认定，刘海粟是潘玉良在国内美术界的“伯乐”。要么像影片上所演绎的，是刘海粟亲自把落榜的潘玉良添入榜中，她才因此得以考入上海美专。要么又如坊间传言的，更有陈独秀向刘海粟推荐的细节等。
无可否认，新近发现的1928年7月27日，《上海画报》第376期刊载潘玉良照片，一侧的介绍文字也确实出自刘海粟之手。似乎“伯乐”一说，确实成立——毕竟当年二人在上海美专曾是师生关系，后来潘归国任教，也是刘将其聘入上海美专的。但殊不知，在上海美专做学生时的潘玉良，是因被刘海粟开除方才赴国外就学;在上海美专任教之后不久，又被刘海粟解聘。那么，这又是怎么一回事?
原来，1919年初入上海美专就学的潘玉良，无论是绘画技艺还是个人魅力，都并不引人注目，校长刘海粟对这个学生几乎毫无印象。只是一次去杭州旅行写生，晚上学生演出，潘玉良唱了一段京戏，让在座师生大为惊叹，方才对她略有印象。但潘玉良所唱京戏声腔极为专业，非受过职业训练者不能为，这又引起了美专师生的注意。由于受当时社会风气影响，大家认为无法与“戏子”同校学习，为此很多学生闹着要退学。在这种情况下，刘海粟为了挽留学生，稳住学校的大局，亲自签署布告，开除了潘玉良。也就是说，从一开始，刘海粟不但没有提携过潘玉良，还是他亲自把潘玉良从他的上海美专扫地出门的。
事实上，潘玉良是否曾为“戏子”，或从事过与“戏子”相关的职业呢?当时甚至一度传闻她早年曾沦落风尘，出入青楼。但这一切当时并没有定论，如今也没有确切的证据可以加以证实。当然，对时年仅24岁的她而言，被上海美专开除，仍是人生中一个不小的打击。3年后，1922年她只身赴法国学习美术，可以视作是对这次开除的一种心理抗争。在法国、意大利的美术学习及其不凡的成绩，本可使她在1928年归国任教之后，与前尘往事一笑泯恩仇，可不久又被辞退，这又着实令人费解了。
据台湾成功大学退休教授苏雪林(1897—1999)在95岁高龄接受采访时透露，潘玉良在上海美专就读与任职期间，的确曾被开除与辞退。其中，潘任职期间被辞退，起因只是因为潘的一句对“人狗相交”的评论。原来，在一次上海美专的同事闲聊中，有人讲到一个女诗人风流放荡，养了一只狗，与她同眠，以犬泄欲，来满足自己的需要。潘听之即刻评论说，公狗比男人好!公狗为它的女主人服务，听从女主人的指使、摆布，事后绝对没有后遗症，它绝对不会对别人宣讲女主人的私生活。她的这一句“公狗比男人好”就此惹了大麻烦，男同事们认定她因为自己的不齿经历，仇视所有的男人，结果大家一起发难，逼迫刘海粟辞退了潘玉良。1931年，应徐悲鸿之邀，潘赴南京任中央大学美术系教授，直至1936年。因为苏是与潘一同赴法国留学的同学，且二人私交甚好，所以她所提供的这一史实应当可信。
可以说，这一次开除、一次辞退，促成了潘玉良两度旅法，也最终促使其后来成为旅法画家的原因之一吧。