人穴浅間神社の境内にある人穴富士講遺跡は、溶岩洞穴人穴と富士講員が建立した約200基もの碑塔群です。

中心となっている溶岩洞穴人穴は、新富士火山旧期溶岩(11000～8000年前)属する犬涼み山溶岩流の末端にできた総延長83.3M、高さ最高6Mの洞穴です。

鎌倉時代に書かれた「吾妻鏡（あづまかがみ）」に「将軍家（源頼家）駿河国富士の狩倉に渡御す。かの麓にまた大谷あり。これを人穴と号す」とあり、富士山麓に多く見られる溶岩洞穴の中でも、早くから知られた溶岩洞穴です。その当時には既に「浅間大菩薩の御在所」として神聖視され、富士信仰に関係する場所であったとされています。「吾妻鏡」に書かれた人穴探検の様子は、後に浅間大菩薩の霊験譚「人穴草子」としてまとめられ、近世の富士講の隆盛と共に広く知られるところとなりました。

天正10年(1582)には、富士講の開祖である藤原角行が人穴にこもって修行し、仙元大日神（せんげんだいにちしん）の啓示を得て、悟りを開き富士講の聖地となります。角行の教えは、江戸時代中期以降、江戸を中心に広まり、数多くの富士講が組織され、人穴は角行修行の地、入寂の地、そして仙元大日神がおわす場所として「人穴浄土」と信仰を集めます。参詣や修行のために人穴を訪れる信者も多く、人穴には各講の教祖・講祖・先達の供養碑、富士登拝や大願成就の記念碑などの碑などが建立されました。碑塔の建立は17世紀から始まりますが、ほとんどが18世紀中頃からで、19世紀中頃に最盛期を迎えています。

現在、洞穴の中に入ることはできなくなっていますが、洞穴の中は、天井は偏平で床面は平坦、入り口からすぐの所に溶岩柱。最奥部には水が溜まっています。

また、江戸時代初期から大正年間にかけて奉納された石造物6基祀られています。溶岩洞穴が「人穴」と称されるのは、人穴に籠もって修行していた行者がいたことに由来する、または太穴が訛ったものとの説がなされています。

近世、溶岩洞穴「人穴」の上には大日堂の建物があったとされますが詳細はわかっていません。明治初めの神仏分離令による廃仏毀釈の後、明治18年(1885)には総欅造で6間4間の社殿が建立されたとの記録がありますが、人穴浅間神社の創建は、それ以前に遡ると考えられています。

明治以降は浅間神社として壮大なる社殿を建立し、御三体を御祭神として祀りました。昭和17年(1942)には人穴が陸軍の演習場となり、周辺住民と共に強制移転をさせられましたが、昭和29年(1954)に人穴地区の氏神社として復興されました。また、旧社殿は、富士宮市上井出字芝山に移築され、人穴に住んでいた人々によって祀られています。