중국 상하이에서 태어난 그는 황해도 안악에서 안신학교를 다니다가 1934년 다시 중국으로 건너갔다. 이후 1945년 중국 공군군관학교에 들어가 공군비행교육을 이수했다.

1947년 귀국한 뒤 국방경비대에 들어가 육군항공대에서 활동했다. 광복 후에는 남북연석회의에 참석하러 북으로 향하는 김구 선생을 수행했다.

6·25전쟁 중 공군본부 작전국장, 제10전투비행단장 등으로 복무했다. 1960~1962년에는 제6대 공군참모총장을 역임했다. 1961년 최고회의 최고위원을 지냈고 1962년 예편한 뒤 대만 대사, 교통부 장관 등을 지냈다.

대만 대사 재직 당시 박정희 대통령과 장제스 총통 사이에서 가교 역할을 했다는 평가를 받는다.

이후 김 전 공군참모총장은 독립기념관 초대 이사장을 거쳐 백범김구선생사업협회 명예회장으로 일해 왔다.

유족으로는 김진, 김양, 김휘, 김미 등 3남 1녀와 사위 김호연 빙그레 회장(제18대 국회의원, 전 공군학사장교회 회장)이 있다. 장례는 공군장으로 신촌 세브란스 병원 장례식장 빈소가 마련됐다. 발인은 21일 오전 6시 30분, 안장식은 오전 11시 국립 대전 현충원에서 거행된다.