1948년 5월 5일 서울특별시 태생이다. 경향신문 편집국장을 지낸 바 있는 언론인이자 소설가인 김광주의 아들로, 서울돈암초등학교와 휘문중학교, 휘문고등학교를 졸업하고 고려대학교 정치외교학과에 입학해 2년 만에 영문과로 전과했다. 그러나 군 복무 뒤 가정 사정이 어려워지자 중퇴했다.
군에서 제대하기 직전인 1973년에 아버지 김광주가 사망했는데, 어찌나 집안이 어려웠던지 묘지조차 제대로 구하지 못해서 김훈은 묘지 비용을 할부로 갚아야 했다.
1973년 한국일보에 입사하여 사회부 기자로서 활동하다가 국민일보, 한겨레신문, 시사저널 등의 언론사를 거치면서 기자로 활동해 왔다. 사표를 쓴 것만 소설가가 되기 전까지 무려 열 일곱 번이었다고.
1986년 3년 동안 『한국일보』에 매주 연재한 여행 에세이를 묶어 낸 『문학기행』(박래부 공저)이 첫 책으로, 1994년 『빗살무늬토기의 추억』을 시작으로 소설로 옮겨갔다.
2001년 출간하여 현재까지 스테디셀러인 칼의 노래(동인 문학상 수상작)로 대중적으로 많은 사랑을 받으면서부터 유명세를 타기 시작, 이후 출간하는 작품들마다 대중의 관심을 받으며 베스트셀러 작가로서 꾸준히 새로운 작품들을 집필했다.
2002년부터 한겨레에 '거리의 칼럼'이라는 제목으로 칼럼을 기고하고 있다.
교정원고를 겨우 읽었다. 내 팔목을 움직여서 쓴 글이었다. 서둘러 이사를 해야겠다고 생각했다.
벗들아,
이제 헤어져야 할 시간이다. 늙은 江의 下流에서 나는 너무 오랫동안 주저앉아 있었다. 그러므로 벗들아, 이제 헤어지자.
나는 江을 거슬러서 上流로 가려 한다. 모든 낱말과 시간이 다시 새롭게 태어나는 그 始原의 물가로.