小田川の右岸、倉敷市真備町服部と矢掛町横谷との境界にあり、標高２３９メートルの中世以来の山城です。築城年代は、元久2（1205）年頃に庄家長が源平合戦の軍功により地頭として赴任し、その後まもなく、山上に土塁を築いたのが始まりと考えられています。
天正10（1582）年の備中高松城水攻の際には、この猿掛城は毛利輝元の本陣として歴史に残りました。