普陀山为舟山群岛之一岛，全称「普陀洛迦山」，音译自梵语Potalaka。唐玄奘在《大唐西域记》中记载南印度有“补怛洛迦山”为观世音菩萨道场，在今印度泰米尔纳德邦提鲁内尔维利县。

早在南朝时，有些佛教徒就已认为明州外海梅岑山的自然环境与佛经所载的观音圣地相似，故常有人登岛参访。梅岑山就是后来的普陀山，汉传佛教以其为观世音菩萨道场，其起源于唐代的“不肯去观音”传说。

唐懿宗咸通四年 （863），日本僧人慧锷第三次入唐，巡礼至五台山中台精舍，目睹观音像容貌端雅，恳求寺院请携其归国。得到允许后，慧锷即肩负其像至明州开元寺，搭乘张友信的便船准备返回日本。

“将登舟，像重不可举，率偕行贾客竭力负之，乃克胜。及过梅岑山，涛怒风飞，舟人惧甚。锷夜梦一僧谓之曰:汝但安吾此山，必令便风相送。锷泣以梦告众，咸惊异，乃置像于洞侧，祈祷而去。”

山上居民张氏请像供奉于宅，称“不肯去观音”，是为普陀山供奉观音之始。后梁贞明二年（916），在张氏宅址建“不肯去观音院”，乃普陀山最早寺院。

南宋绍兴元年（1131），蜀僧真歇来普陀山，将这里原本的律宗改为禅宗，岛上居民为了使普陀山成为“观音净土”，举家迁离此岛。

元成宗大德二年（1298），普陀山普济寺住持一山以“江浙释教总统”及“妙慈弘济大师”身份出使日本。镰仓幕府执政北条贞时延请一山相继住持镰仓建长寺、圆觉寺、净智寺。

日本正和二年（1313），一山受后宇多天皇诏请，住持京都南禅寺。延祐四年（1317），一山圆寂后追赠“国师”，其法脉“一山派”成为日本禅宗二十四流之一。

明洪武二十年（1387），因东南沿海倭患不断，以普陀“穷洋多险，易为贼巢”，徙僧毁寺，迁观音像。嘉靖二十六年（1547），倭寇屯踞普陀，毁坏了许多佛殿碑刻。嘉靖三十二年（1553）起，明军登岛灭倭，陆续将“不肯去观音”等佛像运往镇海招宝山，僧众则迁往大陆各寺。

万历年间，由于明神宗崇佛，岛上开始重建寺院，宝陀观音寺获敕名“护国永寿普陀禅寺”，山以寺名而得名普陀山。但官府仍以“普陀屹峙洋外，近岛夷”，通谕除原有僧人外，不许其他人等上岛常住或增建院舍。

清康熙四年（1665），荷兰海盗侵占普陀山。十年后，岛上失火，普陀寺被焚毁荒废。后来荷兰人撤走后海禁松弛，僧众重新上岛。二十八年（1689），康熙南巡时赍金千两重建普陀寺。

清末民国时期，由于火轮通航，游人香客渐多，山上庵院大多扩建。民国二十八年（1939），日军强占普陀山，封锁海港。