飞来峰，棱层剔透，嵌空玲珑，是米颠袖中一块奇石。使有石癖者见之，必具袍笏下拜，不敢以称谓简亵，只以石丈呼之也。深恨杨髡，遍体俱凿佛像，罗汉世尊，栉比皆是，如西子以花艳之肤，莹白之体，刺作台池鸟兽，乃以黔墨涂之也。奇格天成，妄遭锥凿，思之骨痛。翻恨其不匿影西方，轻出灵鹫，受人戮辱；亦犹士君子生不逢时，不束身隐遁，以才华杰出，反受摧残，郭璞、祢衡并受此惨矣。慧理一叹，谓其何事飞来，盖痛之也，亦惜之也。且杨髡沿溪所刻罗汉，皆貌己像，骑狮骑象，侍女皆裸体献花，不一而足。田公汝成锥碎其一；余少年读书岣嵝，亦碎其一。闻杨髡当日住德藏寺，专发古冢，喜与僵尸淫媾。知寺后有来提举夫人与陆左丞化女，皆以色夭，用水银灌殓。杨命发其冢。有僧真谛者，性呆戆，为寺中樵汲，闻之大怒，?枭呼诟谇。主僧惧祸，锁禁之。及五鼓，杨髡起，趣众发掘，真谛逾垣而出，抽韦驮木杵，奋击杨髡，裂其脑盖。从人救护，无不被伤。但见真谛于众中跳跃，每逾寻丈，若隼撇虎腾，飞捷非人力可到。一时灯炬皆灭，?锄畚插都被毁坏。杨髡大惧，谓是韦驮显圣，不敢往发，率众遽去，亦不敢问。此僧也，洵为山灵吐气。
袁宏道《飞来峰小记》：
湖上诸峰，当以飞来为第一。峰石逾数十丈，而苍翠玉立。渴虎奔猊，不足为其怒也；神呼鬼立，不足为其怪也；秋水暮烟，不足为其色也；颠书吴画，不足为其变幻诘曲也。石上多异木，不假土壤，根生石外。前后大小洞四五，窈窕通明，溜乳作花，若刻若镂。壁间佛像，皆杨秃所为，如美人面上瘢痕，奇丑可厌。余前后登飞来者五：初次与黄道元、方子公同登，单衫短后，直穷莲花峰顶。每遇一石，无不发狂大叫。次与王闻溪同登；次为陶石篑、周海宁；次为王静虚、陶石篑兄弟；次为鲁休宁。每游一次，辄思作一诗，卒不可得。
又《戏题飞来峰》诗：
试问飞来峰，未飞在何处。人世多少尘，何事飞不去。
高古而鲜妍，杨、班不能赋。
白玉簇其颠，青莲借其色。惟有虚空心，一片描不得。
平生梅道人，丹青如不识。
张岱《飞来峰》诗：
石原无此理，变幻自成形。天巧疑经凿，神功不受型。
搜空或洚水，开辟必雷霆。应悔轻飞至，无端遭巨灵。
石意犹思动，夔尼势若撑。鬼工穿曲折，儿戏斫珑玲。
深入营三窟，蛮开倩五丁。飞来或飞去，防尔为身轻。