巫公祠内供奉的是商代父子丞相巫咸、巫贤。巫咸，夏县人氏，仕商辅佐太戊帝，官拜左丞相，昭封征夷侯。其子巫贤，仕商辅佐祖乙帝，官拜右丞相，诏封润侯。巫咸是中国傩文化的开创者，发明了占筮术和鼓。咸、贤父子故后，葬于瑶台山下，巫公生而之治，功在王室；殁而为神，泽及后世。故历代在山顶，山簏建祠庙以祀商相父子。

抗日战争时期，巫公寺为日军所占领，寺塔被建成一所炮楼，在之后的战争中，巫公寺被日军所毁，寺塔也被炮火摧毁。