室町時代の初めに築城されたと伝えられています。頂には遺構が残り、周辺にも多くの史跡があります。現在の城は平成2年に建てられました。
城跡は東郷湖の南、羽衣石川上流にある羽衣石山（標高372m）にあり、山陰道と東郷湖に臨む東伯耆の要衝でもありました。永禄から天正の年間にかけてこの地を治めていた南条氏の本拠地で、伯耆の支配権を巡り尼子氏や毛利氏が激しい攻防を繰り返しました。
山頂には1990年に建てられた三層の模擬天守と「羽衣石城主南条公累代碑」があります。それ以前にも、昭和6年に大阪在住の南条氏の子孫によって建てられた模擬天守があり、南条氏は平時は北にある小鹿谷に居館を定めていたと考えられています。