東西600m・南北250mにわたり、6~8世紀末に作られた県内最大規模の300基以上の横穴墓が残っています。
保存状態が良好な範囲は国指定の史跡に認定されています。

約6.6万年前に箱根で起きた大噴火では西は富士市、東は鎌倉付近まで到達するような巨大な火砕流が発生しました。
柏谷横穴群はこの火砕流の堆積物が厚くつもっている丘陵に作られています。