정통 관료 출신으로 내무부 주사에서 장관까지 오른 입지전적 인물이다. 1987년 박종철 고문치사 사건의 여파로 내무부 장관직을 단명으로 끝내는 곡절을 겪었지만 작은 키에도 열정과 책임감이 강하고 소탈하면서도 치밀한 성격으로 오래 관운이 따랐다.
김 전 부의장은 지난 11대 총선에서 민주정의당 전국구 의원으로 정계에 진출한 후 내리 6선을 했다. 민주자유당 대선 경선 당시 김영삼 후보 추대위원회 총괄간사를 맡아 야전침대를 사무실에 가져다놓고 밤을 새우며 선거전략을 진두지휘한 일화는 유명하다.
16대 총선에서는 한나라당에서 자유민주연합으로 당적을 바꾼 후 지역구(충북 괴산) 공천에서 탈락했으나 다시 전국구 의원으로 당선되기도 했다. 자민련 상임고문과 부총재, 대한민국헌정회 부회장과 원로위원을 지냈다.
빈소는 서울대병원 장례식장 2호실이며 발인은 오는 6일 오전5시다.
유족으로는 장녀 정현, 장남 연욱, 차남 연식, 3남 연진씨 등이 있다.