민정수석에서 물러난 문재인은 히말라야로 떠났다. 자신의 책 '운명'에 "모처럼 꿈같은 자유였다"고 썼다. 안나푸르나 트레킹을 하던 중 담배를 끊었다. "워낙 공기가 깨끗해서 그곳에 담배 연기를 내뿜는다는 게 죄를 짓는다는 생각이 들어서…"라고 했다.

' 꿈같은 자유'는 오래가지 못했다. 네팔 카트만두에서 노 전 대통령 탄핵안이 가결됐다는 소식을 듣고 급거 귀국했다. 탄핵 재판 대리인을 총지휘했다. 노 전 대통령이 업무에 복귀하자 2004년 5월 문 후보는 시민사회수석을 맡았고 이듬해 1월 민정수석에 복귀했다. 2006년 5월 문 후보는 민정수석직을 또 그만뒀다. 이번에도 선거를 앞둔 시점이었다. 부산시장 선거에 나가라는 당 측의 압박을 견디지 못했다.

문재인은 부산시장 선거를 돕기 위해 열린우리당 부산시당에서 기자간담회를 하면서 "부산 사람들이 왜 노무현 정부를 부산 정권으로 생각하지 않는지 이해가 안 간다"고 말했다. 뒤에 호남 사람들이 두고두고 섭섭한 감정을 가지게 됐던 이른바 '부산 정권' 발언이었다. 문 후보는 이 일에 대해 "내가 평생 동안 제일 많이 욕먹은 일이어서 마음속에 상처로 남아있다. 정치가 더 싫고 무서워졌다"고 했다.

문 후보는 2007년 3월 마지막 비서실장으로 또 복귀했다. 문 후보는 "진심으로 맡고 싶지 않았다. 하지만 대통령의 정치적 상황이 워낙 어려웠다"고 했다. 이 기간 동안 한미 FTA 비준, 남북정상회담 등을 성사시켰다.

노 무현 정부가 끝난 후 문 후보는 경남 양산 산자락에 있는 집을 구했다. 이때 심정을 "세상과 거리를 두면서 조용하게 살고 싶었다. 스스로를 유배 보내는 심정"이라고 했다. 부산 변호사 사무실에 출퇴근하면서 이곳에서 닭도 치고 채소도 가꾸며 지냈다. 노 전 대통령이 오리농법 친환경 농사 등에 열중하던 무렵이었다. 그러나 이 생활도 오래가지 못했다. 노 전 대통령의 비자금 문제에 대한 검찰 수사가 시작된 것이다. 그리고 노 전 대통령이 사거한 2009년 5월 23일, 문 후보는 전 국민 앞에 섰다. 이날을 "내 생애 가장 긴 하루였다"고 했다. 그는 침착하고 담담한 모습으로 노 전 대통령의 죽음을 국민에게 전했다. 이 모습은 많은 사람의 뇌리에 남았다. '노무현의 후계자'로 각인되는 계기가 된 것이다.

문재인의 정치 행보는 2011년 초 시작된다. 본인은 정치 참여를 완강하게 거부했다. 그러나 이호철 양정철 박선원 등이 책 '문재인의 운명' 기획에 들어갔다. 책은 5월에 나왔다. 25만부 이상이 팔렸다. 또 4·27 김해을 보궐선거를 통해 유시민 참여당 대표의 위상이 급락했다. 5월 23일 노무현 2주기를 계기로 한명숙, 한완상, 안희정, 이광재 등이 그의 출마를 강권하기 시작했다. 노 정권 시절의 장·차관, 청와대 수석들, 민주당의 중진 의원들도 거의 출마를 밀어붙이기 시작했다.

얼마 후인 8월경 문 후보의 양산 집에서 몇 차례 모임이 열렸다. 문성근, 이호철, 정태호, 김경수 등 친노 핵심 7~8명이 모였다. 이들은 야권 대통합운동에 들어가기로 했다. 이들은 문재인 후보에게는 "출마하지 않는다는 말만 하지 말아 달라"고 요청해 수락을 얻는다. 문 후보는 "야권 통합운동까지만…"이라고 했다.

문재인의 위상은 이미 올라가 있었다. 박원순 서울시장은 작년 9월 6일 안철수 원장과 단일화하기 며칠 전 문재인에게 전화를 걸어 "도와 달라"고 했다. 문 후보가 총선 출마를 결심한 것은 작년 말이라고 한다. 문 후보는 "총선 출마 때 대선 출마도 결심했다"고 최근 말했다. 작년 11월 7일 부산에서 열린 '청춘콘서트 2.0' 당일 문재인은 방송인 김제동의 주선으로 법륜 스님과 독대했다. 법륜은 문재인에게 "민주당에서 나오라"고 했고, 문재인은 "안 원장이 민주당에 들어오라"고 했다. 이미 대선 출마까지 결심한 상황이었다.