857년(신라 문성왕 19) 도선(道詵)이 창건하였다.
절 양옆으로 시냇물이 흘러서 쌍계사(雙溪寺)라 불렀다고 하며, 1648년(조선 인조 26) 의웅(義雄)이 중건하였다.

1677년(숙종 23) 대웅전을 세웠으며, 1695년에는 시왕전을 중건했다.
1880년 《동사열전》의 저자인 각안(覺岸:1820∼1896)이 머물며 동산(東山)·지순(知淳)과 함께 대법당과 시왕전·첨성각을 중수다.
이후 1980년 도훈(道薰)이 해탈문을 세우고 불사를 진행하여 오늘에 이른다.

현존하는 건물로는 대웅전과 명부전·해탈문·종각·요사채 등이 있다.
이 중 진도쌍계사대웅전은 정면 3칸, 측면 3칸 맞배지붕 건물로 1985년 2월 25일 전라남도 유형문화재 제121호로 지정되었다.
내부에 석가모니불 등 삼존불을 비롯하여 여러 점의 탱화와 소종·중종·법고가 있다.
그 가운데 중종은 종신에 적힌 명문에 따르면, 1686년에 조성되었으며 1720년에 다시 주조되었다.

명부전은 시왕전이 바뀐 이름으로 내부에 지장보살상을 비롯하여 모두 33점의 목조각상이 있다.
유물로는 진도쌍계사목조삼존불좌상과 시왕전목조지장보살상, 삼층석탑, 부도 2기가 전한다.
그 가운데 목조삼존불좌상은 1697년 제작되어 1999년 8월 5일 전라남도 유형문화재 제221호로 지정되었고, 시왕전목조지장보살상은 제222호로 지정되었다.
삼층석탑은 1920년에 세워진 것이고 부도는 정견(正見)의 것이 1700년, 월하(月下)의 것은 조선 후기에 세워진 것이다.