“이것으로 페르마의 마지막 정리가 증명됐습니다.”

19년 전인 1993년 6월 23일. 발 디딜 틈 없이 사람들로 꽉 찬 영국 케임브리지대 아이작 뉴턴 연구소에서 박수 갈채가 터져 나왔다.

수학자 앤드류 와일스(59)가 ‘모듈과 형식, 타원곡선 그리고 갈루아 나툼’이라는 장장 3일간의 강의를 마치던 날이자 무려 350년간 전세계 수학자들을 고뇌로 몰아 넣은 난제 ‘페르마의 마지막 정리’가 증명된 역사적 순간이기도 했다.

와일스가 페르마의 마지막 정리를 만난 것은 열 살 때 동네 도서관에서였다. 그는 ‘xⁿ+yⁿ≠zⁿ(단 n은 2보다 큰 자연수)’라는 간단해 보이는 식이 오일러ㆍ가우스 등 당대의 유명 수학자들도 증명하지 못했다는 이야기에 흥미를 느끼고 자신의 평생 과제로 삼기로 결심했다.

프린스턴대에 교수로 재직하면서 7년간 다락방에 틀어 박혀 비밀리에 페르마의 마지막 정리 증명에만 몰두한 결과 이날 마침내 어린 시절의 꿈을 이뤘다. 하지만 안타깝게도 그의 증명은 중대한 오류가 있는 것으로 판명됐고 와일스는 다시 다락방으로 돌아가 1년 간 오류를 바로 잡은 후에야 다시 인정 받을 수 있었다.

페르마의 마지막 정리는 프랑스 툴루즈의 법관 피에르 드 페르마(1601~1665)의 짧은 메모에서 탄생했다. 그는 ‘3차 이상의 제곱수를 같은 차수의 제곱수의 합으로 나타내는 것은 불가능하다’는 정리와 함께 “나는 이에 대한 경이로운 증명을 발견했다. 그러나 여백이 충분하지 않아 적어 놓을 수 없다”고 남겨 많은 수학자들을 애태웠다.

기분전환 삼아 미적분이나 정수론 등 각종 수학 문제로 시간을 보내던 페르마는 자신이 발견한 각종 성과들을 책의 여백에 낙서처럼 남겼고 사장될 뻔한 이 기록들은 페르마가 세상을 떠난 후 그의 아들이 아버지의 메모들을 모아 책으로 내면서 세상에 알려졌다.

페르마가 발견한 대부분의 정리는 1800년대 모두 풀렸지만 ‘xⁿ+yⁿ≠zⁿ(단 n은 2보다 큰 자연수)’만큼은 증명한 사람이 없어 ‘페르마의 마지막 정리’라는 별명을 얻었다.

최영주 포항공대 수학과 교수는 “페르마의 마지막 정리를 증명한 과정에서 다양한 현대 수학 지식이 융합됐다”면서 “단지 호기심을 해결하기 위한 증명으로 끝난 것이 아니라 더 획기적인 접근법을 연구해 나갈 수 있는 새로운 장을 연 것”이라고 설명했다.