대한불교조계종 제7교구 본사인 수덕사(修德寺)의 말사이다. 
신라 말 도선국사가 창건하였으며, 고려 중기에 보조국사(普照國師)가 현재의 대방(大房) 앞에 5층석탑을 세운 뒤 영탑사라 하였다고 한다.

그 뒤 무학대사(無學大師)가 현재의 법당 자리에 있던 천연암석에 불상을 조각하고 절을 중건하였으며, 대방 앞 정원에 있던 5층 석탑을 법당 뒤의 바위 위로 이전하였다. 1760년(영조 36)에 편찬된 『여지도서(輿地圖書)』에 영탑사가 기록되어 있으며, 1798년에는 지윤(智允)이 유리광전을 중수하였다. 

그 뒤 1911년에 신도들이 중수하였으며, 1928년에 이민동(李敏東)이 노전(爐殿)을 중건하였다. 1988년에는 법당을 신축하였고, 1992년에는 화재로 노전이 소실되었으나 최근 복원되었다.

현재 남아 있는 당우로는 법당을 비롯, 유리광전·산신각·요사채 등이 있다. 
이 중 정면 3칸의 유리광전 안에는 1984년 충청남도 유형문화재로 지정된 약사여래상이 양각되어 있으며, 1984년 충청남도 문화재자료로 지정된 영탑사범종은 1760년(영조37)에 가야사 법당의 금종을 녹여 조성한 것이다.