김용직은 경북 안동 예안(禮安) 군자리(君子里), 지금은 수몰 지구가 되어 버린 낙동강 상류의 한 마을에서 보수 유생의 후예로 태어났다. 여섯 살이 되던 해 이른 봄 큰 사랑에 나가 조부님을 모시고 천자문(千字文)을 배우는 의식을 치르고 그와 때를 같이하여 내당에 전하는 ≪가갸본≫으로 한글을 익혔다.
8·15 직후 시골 실업계 중학교에 입학, 개교 기념행사로 열린 작품전에 응모한 시 아닌 시가 당선작으로 뽑히게 되자 좋은 글을 써서 문명을 드날려 보겠다는 생각을 품기 시작, 일제 말과 8·15 후의 혼란기를 거치면서 가세가 말이 아니게 기운 가운데도 대문장가의 꿈을 버리지 못했다. 1950년대 중반기경 적지 않게 지각한 상태에서 서울대학교 문리과대학 국어국문학과 입학, 학부 생활이 두어 해가 거듭되자 스스로 창작에 큰 소질이 없는 자신을 알게 되었고 그 반대급부로 한국 현대문학 연구의 길을 택했다.
서울대학교 문리과대학 국어국문학과 졸업, 같은 대학 대학원 석사와 박사 과정을 거치는 가운데 합동 연구실과 학반에서 여러 훌륭한 은사와 선배, 동창들을 만나서 배울 기회를 가졌다. 특히 일석 이희승(一石 李熙昇) 선생에게는 방정(方正)한 행동거지를, 그리고 심악 이숭녕(心岳 李崇寧) 선생을 통해서는 학문하는 기백을 배웠다. 학부 재학 때부터 문리대 문학회(文理大 文學會)에 참여, 선배, 친구들과 아침저녁으로 독서 체험을 이야기하고 서로가 지향할 전공의 방향에 대해서도 의견을 나눌 수 있었다.
20대 후반기까지 학내의 신문과 잡지를 통하여 토막글 정도의 글을 발표하다가 1960년대 초에 시론으로 등단, 이후 문단에도 지기가 생기고 학술 단체에도 이름을 올려 문예지와 연구 논집에 지면을 얻을 수 있었다. 그동안 수도여고를 비롯하여 성남고등학교, 보성고등학교 등에서 교편을 잡는 한편, 서울대학교, 단국대학교, 건국대학교에 시간을 얻어 출강, 1960년대 후반기에 모교에 교양과정부가 생기자 은사 선배들의 고마운 배려로 전임이 되어 비로소 오랜 유랑 생활에 종지부가 찍혔다. 1998년 모교를 정년퇴직하기까지 독립된 연구실에서 읽고 싶은 책을 읽고 여러 영재들과 어깨를 나란히 하는 행운을 누리면서 두어 번 해외 연수의 기회도 가졌다. 현재 서울대학교 명예교수, 학술원 회원으로 있다.