경복궁이 완성된 뒤 세종 8년인 1426년 현재의 청와대 자리에 경복궁의 후원이 조성됐습니다. 이때 후원에는 서현정 등 각종 정각, 누각과 함께 연무장(鍊武場)과 과거시험장이 만들어졌습니다.
1592년 임진왜란이 발발하면서 경복궁과 이곳은 완전히 폐허가 되었습니다. 경복궁과 그 후원인 청와대 일대는 그런 상태로 270년간 방치되었다가 고종 2년인 1865년 대원군의 노력에 의해 중건되었습니다. 이때 광화, 건춘, 신무, 영추문등 4개의 문이 들어섰습니다. 고종은 현재 청와대 지역인 신무문 밖 후원을 북원(北苑)이라 이름짓고 중일각(中日閣), 오운각(五雲閣), 융문당(隆文堂), 융무당(隆武堂), 춘안당(春安堂) 등을 세웠습니다. 또한 이와 함께 건축되어 후세까지도 이름을 남기게 된 경무대(景武臺)를 두었는데, 경무대는 창덕궁 후원의 춘당대 뒤를 이어 인재를 등용하는 "과거장"으로서의 기능을 잇게 되었습니다.

1896년 명성황후 시해사건이 일어난 뒤 고종이 러시아 공사관으로 피신하면서 경복궁은 급격히 쇠잔해 갔습니다. 일제는 1910년 10월 남산 왜성대(倭城臺)의 총독부 청사부지가 협소하다는 이유로 청사를 신축할 곳을 물색하였습니다. 새 총독부 자리로 조선 건국이래 우리나라의 중심이었던 경복궁내를 대지로 정하고 1916년부터 공사를 시작해 경복궁의 융성문 등을 허물어 버렸습니다. 공사한지 10년만인 1926년 10월 마침내 조선총독부청사가 준공되어 경복궁을 압도하게 되었습니다. 1927년 9월 15일에는 왕궁의 정문인 광화문을 북쪽 으로 옮기기까지 하였습니다.

일제는 우리나라의 정기를 완전히 끊어 버리겠다는 생각에서 이렇게 경복궁을 유린하는 한편 1926년에는 총독 관저마저 경복궁 일대에서 물색하게 되었습니다. 일제는 경복궁보다 지대가 높은 경무대 자리 즉 오늘날의 청와대 자리에 총독 관저를 세우기로 결정하였습니다. 이는 북쪽의 높은 땅에 총독 관저를 지으면 남쪽에 있는 총독부 건물과 함께 조선왕조의 상징인 경복궁을 완벽하게 눌러버릴 수 있을 것이라는 계산에서 나온 행동이었습니다. 또 풍수상 용맥(龍脈)에 해당하는 자리를 끊어 보겠다는 속셈과 과거 조선의 관리를 뽑던 과거장을 차지해 버림으로써 우리나라의 정기를 완전히 끊어 버리겠다는 야욕도 있었다고 합니다.