下市集落の南方に位置する。

安土桃山時代には城域の拡張が行われたとされるが、旧城の築城は鎌倉時代頃に遡ると推定される。

往古は伯耆国天守山城の南側（三ノ丸）周辺に城砦或いは城館が所在していたが、安土桃山時代頃には天守山に向け主要施設の増設が行われ、最終的に主郭が天守山に移されたと推測される。

北側の二ノ郭との境界には空堀があり、西側には山下通りと虎口の所在を伝える。

境界の空堀は畑地造成のため埋め立てられ消滅し、虎口も水路の造作による改変が伺える。

永禄年間頃

尼子方の城主であった森脇氏は「森」へと改姓し帰農したとされ、帰農後は森屋敷を住まいとしている。

一説には祖を森脇大蔵左衛門義明としている。

元亀年間～天正年間初頃

尼子再興戦前後は吉川家の家臣、森脇祐秀の居城を伝える。

1582年（天正10年）

吉川元春の隠居に伴い森脇祐秀も芸州へ戻ることとなったため廃城と伝えている。