天正8年（1580年）、吉川元長が着陣した記録があります。
茶臼山城の遺構は、山頂の不定形の削平地が主郭と思われます、その中央に古墳の墳丘ではないかと思われる高まりがあります。
主郭の北は、幅１０ｍ、深さ５ｍ以上掘り込まれていおり空堀と思われます、空堀は東と西では郭となっています。
空堀の北は削平地があり、さらに北に一段の削平地が見られます。
主郭の南にも空堀、郭が見られます。主郭及び南の郭には虎口とみられるところがありますが明確ではありません。
茶臼山の麓には、野球場、テニスコートなどの施設があり城域も過去公園化したような痕跡がありますが、その後放置され激しい藪状態で遺構の確認も困難な状況でした。
