这座高台建筑被称为真正的文游台。阁楼外的匾额“山抹微云”，集字于盍簪堂内董其昌所书的秦观词《满庭芳.山抹微云》中这几个字，放大制作成横匾，可谓是笔精墨妙，小字灵动流逸，大字仍显丰厚雍容。“山”字显现出一种山的威严。“云”字又透出一种云的飘逸。
二楼是当时四位贤人聚会的地方，即名副其实的文游台。公元1084年，四位贤人就是在此聚会，留下了千古佳话。文游台是筑在东山顶上的高台建筑，登高四望，秦少游所描绘的“吾乡如覆盂，地据扬楚脊，环以万顷湖，粘天四无壁”的水乡自然景象尽收眼底，令人心旷神怡。正中间陈设的落地屏风，是以扬州一项世界闻名的，且被评为国家级非物质文化遗产——漆画工艺，再现了北宋时期的一副名画作《西园雅集图》。旁边许多书法家题写的楹联匾额使高台古朴而典雅，仿佛使人看到四贤雅集，饮酒论文的身影。
《西园雅集图》是王诜（王晋卿）请善画人物的李公麟（李伯时）（1049——1106，字伯时，号龙眠居士），把自己和友人苏轼（苏东坡）、苏辙（苏子由）、黄鲁直（黄庭坚）、秦观（秦太虚）、米芾（米元章）、蔡肇（蔡天启）、李之仪（李端叔）、郑靖老、张文潜（张耒）、王钦臣（王仲至）、刘泾（刘巨济）、晁补之（晁无咎）以及僧圆通、道士陈碧虚画在一起，取名《西园雅集图》。主友16人，加上侍姬、书童，共22人。松桧梧竹，小桥流水，极园林之胜。宾主风雅，或写诗、或作画、或题石、或拨阮、或看书、或说经，极宴游之乐。李公麟以他首创的白描手法，用写实的方式，描绘当时16位社会名流，在驸马都尉王诜府邸做客聚会的情景。画中，这些文人雅士风云际会，挥毫用墨，吟诗赋词，抚琴唱和，打坐问禅，衣着得体，动静自然，书童侍女，举止斯文，落落大方。
