Phạm Ngũ Lão là người làng Phù Ủng, huyện Đường Hào, Hải Hưng (nay là làng Phù Ủng xã Phù Ủng huyện Ân Thi tỉnh Hưng Yên. Theo sách Tông phả kỷ yếu tân biên của Phạm Côn Sơn dẫn gia phả họ Phạm, ông là cháu 8 đời của tướng Phạm Hạp thời nhà Đinh. Ngay từ thuở nhỏ, cậu bé Ngũ Lão đã tỏ ra khác thường, tính tình khẳng khái. Khi ở làng có người đỗ tiến sĩ (Bùi Công Tiến) tổ chức ăn mừng, cả làng kéo đến, riêng Ngũ Lão thì không. Người mẹ hỏi con tại sao không đến, Ngũ Lão thưa với mẹ: chí làm trai phải lập công danh rạng rỡ non sông mà con chưa lập được bằng người, đi mừng người ta nhục lắm. Cũng thời gian ấy, Hưng Đạo Vương có việc quân qua vùng đất Phù Ủng. Phạm Ngũ Lão đang ngồi đan sọt ngoài đường mải nghĩ về cuốn sách Binh thư nên không biết quan quân trảy đến. Một người lính dẹp đường quát mãi, chàng trai đan sọt vẫn cứ ngồi yên. Người lính bèn dùng giáo xuyên vào đùi kẻ cản đường, vậy mà người đan sọt cứ như không. Tướng công thấy vậy bèn ra nói chuyện với chàng trai.Qua đối đáp trôi chảy của chàng trai nông dân, Tướng công thầm hiểu đây sẽ là một vị lương tướng của triều đình. Ông sai lính lấy thuốc trị vết thương rồi cho mời về triều.
Sau khi về kinh đô, Hưng Đạo Vương tiến cử Phạm Ngũ Lão lên Triều đình với chức cai quản quân Cấm vệ. Vệ sĩ biết ông là nông dân thì không phục bèn xin tâu được cùng ông thử sức. Phạm Ngũ Lão bằng lòng, nhưng trước khi vào đấu sức, ông xin về quê 3 tháng. Về quê, ngày nào Phạm Ngũ Lão cũng ra cái gò lớn ngoài đồng, đứng cách một tầm mà nhảy lên, nhảy mãi cho đến khi cái gò bị sạt mất một nửa. Hết hạn, ông trở về cấm thành, cùng các vệ sĩ so tài. Thấy ông tiến thoái như bay, tay đấm, chân đá thoăn thoắt, xem ra sức có thể địch nổi cả vài chục người. Từ đó, quân vệ sĩ bái phục ông.
Trong hai cuộc chiến chống quân xâm lược nhà Nguyên (1285- 1288) Phạm Ngũ Lão lập được nhiều chiến công. Năm 1285, trong cuộc kháng chiến chống quân Nguyên lần thứ hai ông cùng với Trần Quang Khải tiến đánh Chương Dương, Hàm Tử đập tan đội binh thuyền khổng lồ của giặc và diệt quân Nguyên chiếm đóng Thăng Long. Sau đó, Phạm Ngũ Lão được lệnh mang 3 vạn quân phục kích đánh địch ở Vạn Kiếp, chặn đường địch rút chạy lên biên giới phía bắc và diệt được hai phó tướng địch là Lý Quán và Lý Hằng Trong cuộc kháng chiến chống quân Nguyên lần thứ ba(12/1287), Phạm Ngũ Lão cùng các tướng bày trận phục kích đường rút lui của giặc trên sông Bạch Đằng trong trận này quân nhà Trần bắt sống các tướng nhà Nguyên là Phàn Tiếp, Áo Lỗ Xích, Ô Mã Nhi. Phạm Ngũ Lão tiếp tục truy kích cánh quân của ThoatsHoan trên đường thoát bộ.
Năm 1290, vua Trần Nhân Tông giao cho ông cai quản quân Thánh Dực, phong chức Hữu Kim ngô Đại tướng quân. Năm Giáp Ngọ (1294) nhờ lập công khi đi đánh ở Ai Lao, ông được ban Kim Phù (tức binh phù làm bằng vàng). Năm Đinh Dậu (1297) cũng nhờ lập công khi đi đánh trận ở Ai Lao, ông được ban Vân Phù (tức binh phù có khắc chạm hình mây). Năm Tân Sửu (1301), ông được phong làm Thân Vệ Đại tướng Quân và được ban Quy Phù (tức binh phù có chạm hình con rùa). Đến đời vua Trần Anh Tông, ông được thăng tới chức Điện súy Thượng tướng quân, tước Quan nội hầu. Một người con gái của Phạm Ngũ Lão hiệu là Tĩnh Huệ là thứ phi của vua Anh Tông.
Phạm Ngũ Lão đã ba lần cất quân đi trừng phạt sự xâm chiếm, quấy nhiễu của quân Ai Lao vào các năm 1294, 1297 và 1301; hai lần Nam chinh đánh thắng quân Chiêm Thành vào năm 1312, buộc vua Chiêm là Chế Chí phải xin hàng và 1318 vua Chế Năng phải bỏ chạy sang Java.
Không chỉ có tài về quân sự, mà ông còn để lại nhiều bài thơ về chí trai, lòng yêu nước. Tiếc là hiện nay tác phẩm của ông chỉ còn lại hai bài là Thuật hoài (Tỏ lòng) và Vãn Thượng tướng quốc công Hưng Đạo Đại Vương (Viếng Thượng tướng quốc công Hưng Đạo Đại Vương).
Ông được Trần Hưng Đạo gả con gái (giả làm con gái nuôi của Trần Hưng Đạo vì nhà Trần có quy định chỉ gả con gái trong dòng tộc) là quận chúa Anh Nguyên.
Ngày 10 tháng 11 năm 1320, Phạm Ngũ Lão mất, hưởng thọ 66 tuổi. Vua Trần Minh Tông nghỉ chầu 5 ngày, đây là một đặc ân của nhà vua đối với ông.
Nhân dân xã Phù Ủng dựng đền thờ ngay trên nền nhà cũ của ông. Ông cũng được phối thờ tại đền Kiếp Bạc, Chí Linh, Hải Dương tại đền thờ Trần Hưng Đạo.