下市集落の南方に位置する。

元来は鎌倉時代頃に築かれた伯耆国下市城を本城とする城砦であったが、安土桃山時代頃には北側に新城が増築されたと推定している。

鎌倉時代に築かれた旧城砦（下市城）と安土桃山時代に天守山へと築かれた新城砦、新旧の城砦を繋げるニノ郭を併せた城域を当城としている。

元亀年間～天正年間初頃

尼子再興戦前後は吉川家の家臣、森脇祐秀の居城を伝える。

1582年（天正10年）

吉川元春の隠居に伴い森脇祐秀も芸州へ戻ることとなったため廃城と伝えている。

縄張図ではニノ郭に南北の郭跡を区切る空堀と西側から旧城砦へと続く枡形虎口が記載されているが、畑地の所有者によって埋められ改変を受けたことを確認しており、現状で遺構の確認をすることは難しい。（名残と言われるとそれらしくは見える程度に面影は残る）

ニノ郭の広さは「長九十間 横六十間」と記載される。

鎌倉時代築城の南側城郭や天守山へ続くニノ郭は畑地所有者の開墾によって大きな改変を受け、農道も馬車が通れるようにと大幅に整備されている。

天守山の主郭は元来、長方形の郭跡であったと因伯古城跡図誌に記されるが、北東を流れる下市川が氾濫するなどして侵食や崩落が起こり、北東側は抉られ現在の三角形の地形になったと推測される。

そのため主郭の西側、南側には土塁が残り、主郭への備え（防御の高さ）を感じさせるが北側、東側には防御施設が一切見られない不自然な形状となっている。

中山町史では僅かに濠を残すのみとしているが水堀とするかは不明。