该阁始建于明洪武年间（公元1368——1398年）。《桃源县志.营建志.城池》载：阁“在县东，久废，雍正二年（公元1724年），县令于文灿复建。乾隆十九年（公元1754年）圮，知县屈宜申重建，后又圮。嘉庆五年（公元1800年），知县王述周复建，十七年（公元1812年），知县李英竣修。同治五年（公元1866年），知县余坚重修”。阁分三层，为六方形砖木结构建筑。外围用青砖砌墙，粉刷成赭红色，三层檐一般齐，滴水均下落至地。每层的各个檐角皆悬有小铜钟一个，墙内三层木阁楼，可沿扶梯而上。第一层南北相对开门，无窗；第二层在墙壁上凿有四个圆形窗口，内供奉一些小佛像；第三层内有“纯阳卧宫”塑像，吕洞宾左肩挎剑，右手撑头侧卧，若有所思，神态如生。 

    漳江阁三面环街，三面临江，倒影映进碧波荡漾的沅水，巍巍的，颤颤的，倾注了一江柔情。登阁远眺，沅水两岸的山色水影尽收眼底，加上轻轻拂来的清风，明丽的艳阳，叫人十分快慰。
    澄波千顷绝尘埃，唱晚渔舟收钓回。
    素魄莫愁天上尽，清辉还自水中来。
                 
    这是明人罗天纯吟漳江阁的诗句。诗写得很美，漳江阁的景色更美，游览漳江阁最好在晚上，当一轮玉磐似的明月冉冉升起，漳江阁随即宠罩在银白的波涛中。如果这时乘舟靠近漳江阁，就可以清晰地看到江水中那轮明月深深地嵌进阁窗的倒影里，从月升到月落，无论天上的明月在什么位置，水中的那轮明月始终一动也不动，就像是一位美丽多姿的少女紧紧地投入情人的怀抱，眷恋着不肯离去，尽情地享受着大自然恩赐的静谧。江水抖抖的，那从水中明月出来的光辉，也是抖抖的，真是“清辉还自水中来”啊！就这样一直延续到晨光曦微，水中这位妙龄的明月少女才依依不舍地告别情人。等到第二天皓月初升，她们又迫不及待地紧紧搂抱在一起了。
                      
    奇怪吗？也的确奇怪；壮观吗？也的确壮观。那明月当空的夜晚，不知有多少情人泊舟阁下......造阁的时候，出动了木匠、岩匠、雕匠多人，这些匠人全归一个掌墨师傅统管。掌墨师傅技艺高超，要出一丈长的木料，他随笔一划，绝不会只有九尺九寸九；要做五分大的杠头，他瞄瞄眼，墨笔一落，也绝不会只有四分九厘九。匠人们对他真是崇拜得五体投地，口口声声称他为神师傅，掌墨师傅从此趾高气扬，什么人也不放在眼里。有人对他稍有议论，掌墨师傅不是吹胡子，就是瞪眼睛。
                      
    有一天，这位掌墨神师傅正蹲在地上监督着匠人们做工夫。突然从城里来了一位身材矮小的汉子，口口声声要拜掌墨的为师傅。这位掌墨神师傅眯着眼看了看他，见他这般模样，不觉暗自好笑：当个徒弟都不合格，还想做木匠？于是大声呵斥他，要赶他走。这位汉子怎么也不走，死乞白赖地硬要找点事情做。掌墨师傅万般无奈，只好吩咐他去砍针闩。这针闩是柱头和横枋结合处横插进去的一根销子，是用来固定杠头的，因此砍大砍小多一根少一根都没有多大关系。
                      
    这位徒弟接受了砍针闩的任务以后，从地上捡起一根木头摆在木马上，整天不停地用墨斗在木头上弹着墨线。一直到动工立屋的那一天，他也没有砍出一根针闩。掌墨师傅看了非常生气，决心要狠狠整治这位傻里傻气的徒弟。
                      
    立屋那天，掌墨师傅亲自出马。他立起了柱头，又敲进了横枋的木杠，在梯子上连叫三声“针闩”，但下面无人应声。他低头一看，这位徒弟早已无影无踪了，唯剩下摆在木马上的那根弹得尽是墨线的木头。掌墨师傅气愤已极，从梯子上“嗖嗖”地下来，对准那弹满墨线的木头狠狠地踢了一脚。想不到木头滚到地上，哗啦一声，便成了无数个一般大小的木针闩。掌墨师傅这才如梦初醒，慌了手脚，才知道这位汉子并非凡人，定是鲁班转世。于是，他急忙燃起香蜡，带领所有的匠人叩拜鲁班。
                      
     再说这漳江阁已立完最后一层，刨锯成形的木材也都用完了，但地上还剩下一根木针闩。掌墨师傅这时真不敢怠慢了，急忙下令叫匠人在立起来的阁楼上去寻找，看有没有忘了插针闩的杠头。找来找去，终于找着了，原来在临江的柱头上，那杠与横枋的结合处忘了刻针闩眼。掌墨师傅没有刻这个针闩眼的墨，匠人当然不能打眼；没有针闩眼，针闩也就无从插入。这自然是掌墨师傅自己的过失，他再不好去呵斥别人。掌墨师傅只得找来一只竹筐，用绳子拴住，叫匠人把筐悬到半空，自己坐在竹筐里，挨着柱头打针闩眼。他从太阳出打到太阳落，掌墨师傅也不敢下来，刚想喊匠人点一盏灯，这时只见一点灯光从天空飘飘地落下来，飘到漳江阁，马上变成了一盏圆灯笼挂在窗子上。
                      
     这个针闩眼，掌墨师傅一直打了七天七夜，七天七夜他不敢合一下眼。一直到这个针闩眼打成了，插进了这根针闩，掌墨师傅才叫匠人们放下竹筐。等到他落了地，抬头一看，发现那盏圆灯笼还挂在阁窗上，再也不敢上去取。所以，那盏圆灯笼就一直留在那里，这就是人们在江水的倒影中看到的那一轮明月。
                      
      当然，这只是一种传说，其实，嵌在窗子里的这轮明月也是有一定科学根据的。因为阁为六方形，三面临水，无论明月行至苍穹的哪一个位置，总有一个清明的影子留在阁窗里，只不过方位不同罢了。加上这临水的三面，面面相同，所以给人造成一种错觉，就象是从一面看到的一样。这中间倾注了建筑者们多少苦心啊！
                 
      从此，这里就成了桃源八景之一。