方士的成分很复杂，既有学识渊博的知识分子，也有不学无术的江湖骗子。既有从事传统科学技术研究的学者，也有普通的农夫商贾，还有出入宫廷的政客，最多的还是隐士、释道之徒。他们有的不亚于三公九卿，被皇帝作为座上宾。有的类似于乞丐，被百姓列于下九流。历史上的方士是具有特别技能的人。宋代的《西湖老人繁胜录》记载：“御街应市两岸术士，有三百余人设肆。年夜抱灯，及有多般，或为屏风，或做画，或作故事人物，或作傀儡鬼神，驱邪鼎沸。”这些人各有本领，在江湖上颇具神秘色彩。