唐贞元二十年（804)，日本僧人空海大师来唐学法，在长安青龙寺从惠果大师受金刚界、胎藏界两部秘法，并受传法大阿阇黎位。
3年后回国，以平安（今京都）东寺为中心弘传密教，并建高野山金刚峰寺为传教“根本道场”，创立真言宗,以传金刚界密法为主，亦称“东密”。其教义与中国密宗略同，但重视空海的《十住心论》、《秘密宝钥》、《辩显密二教论》、《即身成佛义》等所含基本要义。
镰仓时期，赖瑜创新义真言宗，认为大日如来的法身不说法，其化身说法，以和歌山根来寺为中心，现有真言宗丰山、智山两派；反对此说的为“古义真言宗”，以东寺和高野山为中心，现有高野山真言宗、真言宗山阶派，真言宗醍醐派、真言宗东寺派等。
此外，又有日僧最澄、圆仁、圆珍等先后来唐学天台宗和密宗教义，回国后在比睿山等地进行弘传，被称为“台密”，以传胎藏界密法为主。此派基本上可分为根本大师（最澄）派、慈觉大师（圆仁）派和智证大师（圆珍）派三个流派。由此瑜伽密教盛行于日本。
