39年前澎湖县西屿乡设立文化康乐中心图书室，1980年改为“西屿乡立图书馆”，几经县府拨款补助重建，1996年一栋富有当地建筑特色的图书馆在澎湖西屿乡的小路上竣工落成重新启用，她前不着村、后不着店，很孤独的竖立在那里，成为方圆几百米内最高的建物。不同于澎湖县其他乡立图书馆或县立图书馆，她除了国定假日(清明、端午、中秋和春节等)，每天开门营运，提供乡民求知的好去处。
在图书馆落成碑记上记载节录如下:“本乡地处海隅，居民平日匮乏提升精神文化建设场所供其阅读求知、增广见闻、发挥社教功能……，知识爆发之今日，现有馆舍狭隘面积，已不敷使，功能更感未臻理想。宇宙间古往今来，世事洞明皆学问，人情练逵总文章，处处都是知识的时代，兴建一理想馆舍，满足民欲，已是当务之急…..，计总工程费13978200元整……，嗣于85年举行落成典礼。第十二届西屿乡长吕正党 谨识”。
图书馆一楼有服务台、民众上网区、儿童阅读区、成人阅读区、书库；二楼则有展览室、演艺厅。据馆方表示，虽地处偏远，但暑假期间仍是学子来此阅读的热门时段。
图书馆除了以咕咾石为外观建筑特色外，红色的大门更是全国唯一。有趣的是大门两侧各有对联一付“正修瑰丽馆藏盈衍文献”、“党秉孜孜矻矻恢宏其珍”，巧妙的把当初在任的乡长大名写入其中。
图书馆外庭有牛雕一只，牛是生产力的表征，也是中厚刻苦的特性，以刻苦耐劳的“澎湖牛”精神，缅怀先人，更可惕励后生。
西屿图书馆地处偏远，从马公市区必须途经跨海大桥，开车约莫四十分钟，到澎湖旅游者，如有到西屿二嵌村，可顺道前往欣赏她的建筑之美。