1941년 일본 오사카에서 태어나 전남 순천에서 성장했다. 4·19가 일어난 해인 1960년 서울대 불문과에 입학했고 1962년 한국일보 신춘문예에 단편소설 「생명연습」이 당선되어 작품활동을 시작했다. 같은 해 김치수, 김현, 염무웅, 최하림, 서정인 등과 함께 동인지 『산문시대』를 발간하고 「건乾」 「환상수첩」 「누이를 이해하기 위하여」 「확인해본 열다섯 개의 고정관념」 등의 단편소설들을 발표했다. 
1965년 단편소설 「서울 1964년 겨울」로 동인문학상을 수상하면서 새로운 감수성의 탄생을 알렸으며, 1977년 단편소설 「서울의 달빛 0章」으로 “참신한 구어체 문장”을 통해 “현대의 도시문명 속에서 변질되어가는 인간관계를 그리고 있다”는 평가를 받으며 그해 처음으로 제정된 이상문학상을 수상했다. 
대학 재학중 한국일보사에서 발행하는 서울경제신문에 만화 〈파고다 영감〉을 연재해 문학뿐만 아니라 그림에서도 탁월한 감각을 선보였고, 「무진기행」을 영화 〈안개〉로 각색하는 한편, 김동인의 「감자」를 각색·연출하고 이어령의 「장군의 수염」을 각색하여 대종상 각본상을 수상하는 등 문화 다방면에 걸쳐 시대를 앞서나가는 재능을 발휘하였다. 1981년 종교생활에 몰두하면서 문학으로부터 멀어졌으나 감각적인 한글 문체를 통해 1960년대의 일상성을 복원해내면서 전후 문학의 한계를 극복한 작가로 현재까지 꾸준히 논의되고 있다. 1995년 그의 문학을 총결산하는 ‘김승옥 소설전집’(전5권)이 출간되었다.