Năm 189, Khâu Đà La chống gậy vân du đến Giao Chỉ, lúc nước ta bị đô hộ dưới thời Hán Linh Đế, Sĩ Nhiếp làm Thái Thú Giao Chỉ. Đời Hán có 3 trung tâm Phật giáo là Trung tâm Luy Lâu ở Giao Chỉ, Trung tâm Bành Thành và Trung tâm Lạc Dương. Trung tâm Luy Lâu được xem là bàn đạp đưa đạo Phật vào đất Hán vì các tăng sĩ Ấn Độ có thể học chữ Hán hay tuyển người thông dịch tại đây. Trung tâm Bành Thành do các tăng sĩ từ Luy Lâu đến mà thành lập. Sách Cao Tăng Truyện ghi lại lời sớ của Vương Độ đời Tấn: Từ khi Phật giáo được du nhập, người Hán không được phép xuất gia. Nhà Ngụy (220 – 264) theo pháp chế của nhà Hán cũng chưa cho dân bản xứ xuất gia. (VNPGSL 1, tr.23). Thời Sĩ Nhiếp, Giao Chỉ là một xứ sở phồn thịnh: một năm lúa trồng hai mùa, 8 lứa kén tằm,
Theo Lĩnh Nam Trích Quái: Khâu Đà La là người Nam Ấn, hành pháp tu đứng một chân, theo lời mời đến ở nhà cư sĩ Tu Định. Con gái của Tu Định là Man Nương lúc đó 12 tuổi theo hầu hạ sư. Một thời gian sau, sư từ giã vào núi tu. Tu Định dẫn Man Nương đi theo, tiếp tục đem rau trái cúng dường sư, có khi sai Man Nương đi. Tới tuổi cập kê, Man Nương không chồng mà chửa. Thai đến 14 tháng, sinh ra bé gái, Man Nương bồng con đến chỗ sư ở, bảo là con Khâu Đà La. Khâu Đà La nhận con, đặt vào một cây đại thọ mở ra, cây liền khép lại. Sau này nước lụt ,cây đổ trôi về thành Luy Lâu thì dừng lại. Vì những thần kỳ xảy ra, Sĩ Nhiếp cho tạc 4 tượng Phật Pháp Vân, Pháp Vũ, Pháp Lôi và Pháp Điện từ cây đó, lập 4 chùa Thiền Định, Thành Đạo, Phi Tướng và Trí Quả để thờ. Man Nương được gọi là Phật Mẫu. Tượng Phật Pháp Vân, Pháp Vũ, Pháp Lôi, Pháp Điện và Man Nương sau này được thờ tại chùa Dâu (chùa Pháp Vân), làng Khương Tự Bắc Ninh cho tới ngày nay. Các vua đời Hậu Lê (thế kỷ 15) mỗi khi hạn hán, thường cho rước Phật Pháp Vân về kinh đô để cầu mưa, thường linh ứng. Chùa Pháp Vân cũng là nơi xuất phát dòng thiền Tỳ Ni Đa Lưu Chi khi ông tới đây truyền pháp và truyền tâm ấn cho Pháp Hiển.
Sự tích Phật Pháp Vân còn được ghi lại trong tác phẩm Nôm Cổ Châu Pháp Vân Phật Bản Hạnh Ngữ Lục và Lĩnh Nam Trích Quái.
Chùa Dâu được xây cất lại vào năm 1161 đời Lý Anh Tông. Năm 1313, vua Trần Anh Tông cho trùng tu chùa, giao phó Mạc Đĩnh Chi thực hiện, dựng tháp Hòa Phong cao 9 tầng. Chùa còn được trùng tu vào năm 1675.
Năm 1738 đời Lê Ý Tông, thiền sư Tính Mộ tái thiết lại tháp trên nền đổ nát cũ và tái thiệt chùa.
Năm 1793 và 1917 chùa lại được trùng tu.
Năm 1946, Việt Minh bắt HT Thích Đại Hải, trú trì chùa Pháp Vân, kết tội là đảng viên Quốc Dân Đảng và đem xử tử. Lễ hội chùa Dâu có 11 xã trong tổng Khương Tự Bắc Ninh tham dự từ ngày 8 tới 10 tháng 4 ÂL.
Hiện tượng thờ Phật Pháp Vân, Pháp Vũ, Pháp Lôi, Pháp Điện là bản địa hóa Phật giáo, một khuynh hướng tất nhiên khi đạo Phật ở thời kỳ quyền năng, hội nhập vào một xã hội đã có một nền văn hóa rõ rệt như nước ta. Cũng là hiện tượng bản địa hóa Phật Giáo khi vị anh hùng phá tan giặc Ân vào đời Hùng Vương thứ 6 trở thành Phù Đổng Thiên Vương (hay Sóc Thiên Vương vì bay lên trời ở núi Sóc Sơn, theo truyền thuyết) thay thế Tỳ Sa Môn Thiên Vương là một trong Tứ Đại Thiên Vương trấn giữ phía Bắc cõi Diêm Phù Đề, và Quán Thế Âm Bồ Tát trở thành Quan Âm Nam Hải. Theo Lê Mạnh Thát (LSPGVN 1), hiện tượng bản địa hóa Phật Giáo xảy ra sau thời Trưng Vương, như một phản ứng của Phật Giáo VN trước sự đàn áp của Mã Viện.