1948년 서울에서 태어나 고려대 정외과에 입학했다. 3학년 때 영문과로 편입했으나 학업을 다 마치지 않고 군복무 후 한국일보에 수습기자로 입사한다. 1973년 입사한 이래 약 30여 년간 기자생활을 해온 그는 재직 당시 『문학기행』 『내가 읽은 책과 세상』 등의 책을 출간하며 남다른 필력을 인정받았다. 이후 1994년 『문학동네』 창간호에 『빗살무늬토기의 추억』을 연재하며 소설가로서 문단에 등장했다. 
2001년 장편소설 『칼의 노래』로 동인문학상을, 2004년 단편소설 「화장」으로 ‘화장火葬’과 ‘화장化粧’이라는 상반된 소재를 통해 “소멸하는 것과 소생하는 것 사이에서 삶의 무게와 가벼움을 동시에 느끼며 살아가는 인간 존재에 대한 심오한 성찰”을 그려냈다는 평가를 받으며 심사위원 만장일치로 이상문학상을 받았다. 2005년 단편소설 「언니의 폐경」으로 황순원문학상을, 2007년 장편소설 『남한산성』으로 대산문학상을 수상하며 한국문학사에서 대체 불가능한 작가로 자리매김하였다.

김훈은 남성적이고 선 굵은 역사소설뿐 아니라 『풍경과 상처』 『자전거 여행』 등의 산문집을 통해 유려한 우리말을 구사하는 에세이스트로서의 면모도 드러냈다. 특히 자전거 레이서로도 잘 알려진 그가 자전거를 타고 곳곳의 여행지를 찾아다니며 느낀 생각을 담아낸 여행산문집 『자전거 여행』은 “모국어가 도달할 수 있는 산문미학의 절정”을 보여주었다는 평을 받았다.
저서로 소설집 『강산무진』, 장편소설 『빗살무늬토기의 추억』 『칼의 노래』 『현의 노래』 『개』 『남한산성』 『공무도하』 『내 젊은 날의 숲』 『흑산』, 산문집 『풍경과 상처』 『자전거 여행』 『내가 읽은 책과 세상』 등이 있다.