她曾经是苏州名门千金，前清著名的状元宰相潘世恩的后代，原名潘白琴，也叫潘慧素。幼年时期，大家闺秀的母亲沈桂香，聘请名师教她音乐和绘画，所以，她弹得一手好琵琶，绘画功底也扎实。十三岁时母亲病逝，她被继母王氏，卖到上海的妓院。如此冰火两重天的际遇，她却拾掇起无端的愁绪，铺展出别样洞天。苹果日报社长董桥，在那篇《永远的潘慧素》中描写三十年代的她：“亭亭然玉立在一瓶寒梅旁边，长长的黑旗袍和长长的耳坠子，衬出温柔的民国风韵，流苏帐暖，春光宛转，几乎听得到她细声说着带点吴音的北京话。”
如此旖旎的资质，放在古代是薛涛一流，摆在民国更是当红花魁。她在十里洋场的上海别号“潘妃”，但她不像别的交际花，接的多是官场客人，她的客人居然是上海白相的二等流氓为主，这些人天天到她家酣畅淋漓地“摆谱儿”，吃“花酒”，她照样应接不暇地自顾自出“堂差”。民国“黑社会”们大多文着文身，潘妃便在手臂上也刺了一朵香艳的花。所以，每逢想到潘素，首先想到的就是一个手臂刺花的妍丽奇女子，游刃草丛的场景，想着那俗世的欢腾和肆意的热闹，还有她置身其中却不沾染半分俗气的玲珑，虽然身世堪伤，却和“红颜薄命”扯不上半分关系，甚至还带着违和的喜感，不禁抿嘴偷乐。
如果不是遇上张伯驹，潘素活色生香的名妓生涯未必结束那么早。这位著名的“民国四公子”之一(其他三位是溥仪的族兄溥侗、袁世凯的次子袁克文、少帅张学良)，其父张镇芳是袁世凯的表弟、北洋军阀元老、中国盐业银行创办人。张伯驹的奇异，似乎章回体才能尽兴：伯驹出身豪门，玉树临风，面若旦角，眉如柳叶，天然一段风情，全蓄注在一双丹凤眼中。竟也是，贾宝玉的骨子，纳兰容若的脾性，不顾双亲反对，退出军界，厌倦功名。从此，读书、唱戏、写字、古玩、耽美在名士圈，名副其实一个京城大公子。这么一对奇男异女，金风玉露一相逢，便胜却人间无数。张伯驹对潘素一见钟情，当场挥笔写了副对联：潘步掌中轻，十步香尘生罗袜;妃弹塞上曲，千秋胡语入琵琶。片语解风韵，寥寥两行字，把潘素的神态容貌与特长，描摹得淋漓尽致，博得佳人倾心。两人的热恋，激怒了已与潘素有婚约的国民党中将臧卓，臧卓把潘素软禁在西藏路与汉口路交口的一品香酒店。
哪里料到，情痴张伯驹居然托朋友买通臧卓的卫兵，在一个月黑风高的晚上，孤身涉险，劫走潘素。那是1935年，潘素二十岁，张伯驹三十七岁。从此，两人一生沉浮，形影相随。婚后，张伯驹发现了潘素的绘画天分，不仅大加赞赏，更是着力栽培。在他的引荐下，她二十一岁，便正式拜名师朱德甫学习花鸟画，接着又请汪孟舒、陶心如、祁景西、张孟嘉等各教所长，同时还让她跟夏仁虎学古文，这位夏仁虎，便是著名作家林海音的公公。谈笑有鸿儒，往来无白丁，潘素精进迅速。张伯驹带她游历名山大川，从自然的雄浑奇绝中寻找艺术灵感，此外，张家丰富的名家真迹，更是她学习的范本。
中国现存最早的水墨画、隋代展子虔的《游春图》，李白唯一的真迹《上阳台帖》，陆机的《平复帖》，杜牧的《张好好诗》，范仲淹的《道服赞》，蔡襄的自书诗册，黄庭坚的草书卷等等，这些听起来神话般的名字，随便哪一幅，都是价值连城的国宝。潘素自述：“几十年来，时无冬夏，处无南北，总是手不离笔，案不空纸，不知疲倦，终日沉浸在写生创作之中。”张大千夸她的画，“神韵高古，直逼唐人，谓为杨升可也，非五代以后所能望其项背”。著名文物鉴定家史树青，曾为潘素的《溪山秋色图》题跋：“慧素生平所作山水，极似南朝张僧繇而恪守谢赫六法论，真没骨家法也，此幅白云红树，在当代画家中罕见作者。”
新中国成立后，她的画曾被作为礼物，送给来访的日本天皇、英国首相撒切尔夫人、老布什等。她已然是现代首屈一指的青绿山水画家。画如其人，潘素的画，像极了她自己的内心独白。
