羊城这个称谓，这里有一个家喻户晓美丽的神话，即流传甚广的“五羊衔谷，萃于楚庭”的传说。
大约在周朝时，广州连年灾荒，田野荒芜，农业失收，人民不得温饱。一天，南海的天空忽然传来一阵悠扬的音乐，并出现五朵彩色祥云，上有五位仙人，身穿五色彩衣，分别骑着不同毛色口衔稻穗的仙羊，降临广州。仙人把优良的稻穗赠给了广州人，并祝愿这一地区永无饥荒，祝罢仙人腾空飞逝，五只仙羊化为石羊留在广州山坡。从此，承仙之愿，稻穗飘香，年年丰收，广州便成为岭南最富庶的地方。这就是广州有“五羊城”、“穗城”、“羊城”名称的由来。关于五仙降临的年代，有各种各类的说法。有人说发生于周夷王八年(即公元前887年)，有人说五仙降临是南海人高固为楚威王相时候，是为战国时期。还有一说是，晋朝吴修为广州刺史，有五仙骑五羊背着五谷来到广州州治的厅堂上，吴修于是在厅堂上绘五仙人像以为祥瑞和纪念。据说今广州惠福西路的五仙观就是五仙降临之地，广州人在此为纪念五仙人专门修建了五仙观，在大殿内还有五仙和五羊的塑像。在今五仙观东侧，还有一块巨大的红砂岩似脚印状的凹石，被称为“仙人拇迹”(拇迹指脚印)。
在广州越秀山木壳岗上，有建于1959年的五羊石雕像。这是著名雕塑家尹积昌等根据五羊的传说创作的。雕像连基座高11米，共用130余块花岗石雕刻而成。体积约53立方米，仅主羊头部一块石料，就重达4 千余斤。五羊大小不一，主羊头部高高竖起，口中衔穗，回哞微笑，探视人间，余四只羊，环绕其身，或耍戏，或吃草，还有羊羔在吸吮母羊的乳汁。五羊姿态各异，造型优美，栩栩如生，情趣横溢，令人流连忘返，浮想联翩。据说当年雕像竣工时，曾有一些议论，有人提出既是五仙人骑的羊，怎会还有在吸奶的乳羊呢?其实仙人五羊都是美丽的神话，既是仙羊，无论大小，自有仙风仙骨。雕塑家发挥其超群的想象力，匠心独具。由历史传说而创作出来的五羊石雕经过40多年的历史检验，被誉为广州的城徽，为历史文化名城增色不少。1999年7月，五羊石雕被广州市政府列为文物保护单位。