故事讲南宋厓山之乱后，八岁的小皇帝卫王昺跳海没死，但因此失忆。被人救起，卖到了杭州西子湖畔的一所妓院——百花楼内做了一名说书人，然后与丐帮帮主潘三儿一起闯荡江湖的故事。