祖父许峻，字季山，善占卜之术，多有应验，时人把他比作前世京房。自称小时候患病，三年不愈，于是到泰山**，路上遇到道士张巨君，传授给他方术。所著《易林》，流传于世。许曼年轻时传祖父许峻占卜之术，治“京氏《易》”。汉桓帝时，陇西郡太守冯绲，打开印绶的竹匣，有两条红蛇分南北而走。冯绲令许曼占筮，卦成，许曼说：“三年之后，君当为边将，官名里有东字，当向东北走三千里。再五年，为大将军，南征。”延熹元年（158年），冯绲出为辽东郡太守，讨伐鲜卑，延熹五年（162年），再拜车骑将军，南征击败武陵蛮，全部应验。其余多如此类。