수학 문제 하나가 여기에 있다. ‘xⁿ+yⁿ=zⁿ에서 n이 3 이상의 정수인 경우, 이 관계를 만족시키는 자연수 x, y, z는 존재하지 않는다. 이를 증명하라.’ 골치 아픈 수학이라고 미리 겁먹고 골치 아파할 이유가 없다. 인류 역사상 가장 어렵고 지독한 수학 문제라고 하니까. 누가 이렇게 고약한 문제를 냈을까. 피에르 페르마(Pierre de Fermat:1601~1665)다. 즐겨 보던 수학책의 여백에 이 문제를 낸 그는 풀이(증명)를 남기지 않았다. 그 이유가 흥미롭다. ‘나는 경이로운 방법으로 이 정리에 대한 증명을 발견했으나 책의 여백이 너무 좁아 적을 수가 없다.’
일반인들은 관심도 갖지 않았으나 수학자들에게는 그게 아니었다. ‘경이로운 방법으로 증명했음에도 귀찮아서, 단지 책의 여백이 모자라 증명하지 않았다’는 페르마에게 수많은 수학자들이 자존심을 걸고 증명하겠다고 덤볐다. 결과는 어찌 됐을까. 모조리 실패했다. 300년 넘게 내로라하는 수학 천재들이 도전했으나 모두 실패하고 말았다. 사실 ‘페르마의 마지막 정리’가 세상에 등장한 사연도 극적이다. 성실하고 유능한 법관이었던 페르마는 전문 연구자도 아니었다. 취미로 수학을 연구하는 아마추어 수학자였다.
페르마가 수학에 몰두한 데는 이유가 있다. 프랑스의 부유한 가문에서 태어나 평탄한 삶을 걸었던 그는 격변의 시대를 살며 특정 정파에 휘둘리기를 꺼렸다. 당대의 권력자인 리슐리외 추기경의 눈에 들어 승진을 거듭했다는 구설수에 오르기 싫어 일에만 매달렸다. 공정하게 일하다 보니 명성을 얻었지만 업무 스트레스가 쌓였다. 페르마는 스트레스를 또 다른 스트레스로 풀었다. 틈이 날 때마다 수학책을 보면서 희열을 맛본 것. 수학을 즐기기만 했을 뿐 과시는 극도로 꺼렸다.
파스칼과 같은 당대의 수학자들의 찬사를 받으면서도 ‘대외 발표’는 전혀 하지 않았다. 페르마는 대신 3세기께 그리스의 디오판토스*가 지은 책 ‘산학(Arithmetica)’을 읽고 또 읽으며 책의 여백에 깨알 같은 주석을 달았다. 훗날 ‘페르마의 마지막 정리’라는 이름을 얻게 된 문제도 이 책의 여백에 적었다. 페르마가 이 문제를 찾아낸 시기는 36살 때. 사망할 때까지 유명 수학자들과 교류를 나누면서도 ‘숨은 실력자’로 만족하며 지냈다. 약 30년을 재야 고수로만 지낸 셈이다.
수학에 대한 그의 업적은 장남 클레망 사뮤엘 페르마에 의해 빛을 봤다. 5년간 아버지의 책에 달린 주석을 풀이하고 편지 등을 모은 그는 1670년 ‘페르마의 주석이 달린 디오판토스의 아리스 에티카(산학)’란 제목의 책을 출판했다. 아들의 손을 빌린 유작(遺作)은 수학자들의 호승지심(好勝之心)을 불러일으켰다. 페르마의 마지막 정리가 얼마나 수학자들을 괴롭혔는지 인도 출신의 영국 물리학자 사이먼 싱의 저서 ‘Fermat‘s Last Theorem(페르마의 마지막 정리)’에 자세히 나온다. ‘페르마의 마지막 정리는 전 세계의 위대한 수학자들을 사로잡으면서 수많은 일화를 남겼다. 어떤 이는 증명한 사람에게 주라고 거액의 상금을 내걸었는가 하면 또 어떤 이는 절망에 빠져 스스로 목숨을 끊기도 했으며, 이 정리 하나 때문에 결투를 벌인 극성맞은 사람들도 있었다.’
사연들이 쌓이며 문학작품에도 등장했다. 미국의 단편 소설 작가인 아서 포기스의 1954년 작품 ‘악마와 사이먼 플래그’에는 이런 대목이 나온다. ‘악마가 사이먼 플래그에게 질문을 하라고 재촉했다. 만약 악마가 24시간 이내에 답할 수 있으면 사이먼의 영혼을 악마가 갖고, 실패한다면 악마가 사이먼에게 10만 달러를 내주기로 약속이 되어 있었다. (파우스트처럼 될까 봐) 고민하던 사이먼은 페르마의 마지막 정리를 문제로 냈다. 악마는 질문을 듣는 즉시 지구는 물론 온 우주를 날아다니며 정보를 수집했다. 다음날 파김치가 되어 돌아온 악마는 내기에서 졌다고 시인했다. 악마는 존경심에 가득 찬 눈으로 사이먼을 바라보며 말했다. 나처럼 빠른 시간 내에 그토록 수학 공부를 많이 할 수 있는 존재는 어디에도 없을 거야. 그런데 많이 알면 알수록 점점 더 대답하기 어려워지더군. 도대체 어떻게 그런 어려운 질문을 생각해 낼 수 있었지? 빌어먹을…. 토성에 가서 편미분 방정식을 암산으로 줄줄 풀어내는 버섯처럼 생긴 녀석을 만났는데, 그도 그 문제만큼은 완전히 두 손 들었다네,’
외계인까지 포기할 만큼 어려운 문제 풀이에 인간은 끈질기게 도전했다. 18세기의 천재 수학자 레온하르트 오일러는 1749년 문제의 일부나마 처음으로 풀어냈다. 무수히 많은 수학자들이 여기에 골머리를 앓으며 수학 학문 자체도 발전했다고 한다. 철학자, 수학자, 박애주의자인 영국의 버틀란트 러셀 경은 이 문제를 풀다 수학이라는 학문 자체가 모순을 안고 있는지도 모른다고 생각해, 논리수학이라는 새로운 지평을 열었다. 컴퓨터의 선구자였으나 불운하게 자살한 앨런 튜링, 불확정성의 원리를 발견한 독일의 양자물리학자 하이젠베르크 등도 페르마가 던진 문제와 씨름하며 다른 분야에서 업적을 이뤘다. 더러는 이 문제를 푸는 데서 삶의 활력을 찾았지만 일본 수학자 유타카 타니야마는 증명 직전에 화병이 도져 스스로 목숨을 끊었다..
정답 찾기는 실로 난공불락이었다. 스코틀랜드 태생의 미국 수학자 겸 공상과학(SF) 소설가 에릭 템플 벨(Eric Temple Bell:1883~1960·필명은 John Taine)은 1961년 출간된 유작(遺作) ‘최후의 문제(The Last Problem)에서 ’페르마의 마지막 정리가 풀리기 전에 인류가 멸망할 것‘이라고 내다봤다. 벨의 유작 출간 2년 후인 1963년, 독서와 수학을 좋아하던 10살짜리 꼬마 앤드루 와일즈(Andrew Wiles)는 영국 케임브리지 근처 마을의 작은 도서관에서 이 책을 우연히 빌려보고 빠져들었다. 수학의 신동이라고 불리던 와일즈는 바로 ’피타고라스 정리‘의 변형이라는 사실을 알아채고 반드시 풀겠다고 마음먹었다.
수학자의 꿈을 키운 와일즈는 옥스퍼드와 케임브리지 대학에서 학사와 석·박사학위를 얻고 미국과 프랑스에서 강좌를 맡아 유명 수학자로 성장해 나갔다. 어디서든 ‘페르마의 마지막 정리’ 풀이와 씨름했던 그는 1993년 6월 23일 영국 케임브리지 대학 아이작 뉴턴 연구소 초청 특강에서 ‘페르마의 마지막 정리’를 증명해냈다. 특강이 끝나는 순간 자리에 모였던 세계 유수의 수학자 200여 명은 일제히 일어서며 손뼉을 치고 환호성을 질렀다. 소년이 꿈을 품은 지 30년, 페르마의 아들이 책을 출간하며 문제를 세상에 알린 지 317년 만에 해답이 나온 것이다. 와일즈의 증명은 허점이 발견됐으나 다시금 14개월 동안 논리를 가다듬어 마침내 완벽한 증명을 만들어냈다.
41세 나이에 인류의 숙제를 푼 와일즈 교수에는 찬사가 쏟아졌다. 각종 상과 상금을 휩쓸고 기사 작위도 받았다. 와일즈가 길이 기록될 영광의 주인공이 될 수 있었던 이유는 두 가지. 문제를 처음 접하고는 ‘내가 풀겠다’고 다짐한 소년의 꿈. 그리고 증명에 도전했던 다른 수학자들의 실패 사례. 와일즈는 선배 수학자들의 실패를 하나 하나 점검하며 성공의 디딤돌로 삼았다. 특히 일본인 수학자들이 발견한 ‘타니야마-시무라의 추론’에 크게 의지했다고 한다. 정작 타니야마는 자살로 생을 마쳤지만….
기회란 10대 소년 와일즈처럼 꿈꾸는 자에게 열려 있다. 비단 수학뿐일까. 갑남을녀의 세상살이도, 국가와 사회의 흥망성쇠도 결국은 구성원 개개인 의지의 총합에 달렸다. 인간의 의지와 집념은 비록 소설 속이지만 외계 고등 생물마저 능가할 수도 있다. 페르마의 마지막 정리 역시 마지막 문제가 아니다. 수학 분야에서는 거액의 상금이 걸린 문제가 여전히 수두룩하게 남아 있다. 영광은 꿈을 이루려고 끈질기게 노력하는 자의 몫이다. /논설위원 겸 선임기자 hongw@sedaily.com
*디오판토스(Diophantosz:200~ 284 또는 214~298)는?답이 정수로 나오는 문제 풀이를 즐겼던 그리스의 수학자로 죽기 전에?묘비(墓碑)에도 문제를 새겼다고 전해진다. 묘비에는 ‘신의 축복으로 태어난 그는 인생의 1/6을 소년으로 보냈다. 그리고 다시 인생의 1/12이 지난 뒤에는 얼굴에 수염이 자라기 시작했다. 다시 1/7이 지난 뒤 그는 아름다운 여인을 맞이하여 화촉을 밝혔으며, 결혼한 지 5년 만에 귀한 아들을 얻었다. 아! 그러나 그의 가엾은 아들은 아버지의 반 밖에 살지 못했다. 아들을 먼저 보내고 깊은 슬픔에 빠진 그는 그 뒤 4년간 정수론에 몰입하여 스스로를 달래다가 일생을 마쳤다.’ 그는 알렉산드리아에 머물며 산식 책자 13권을 저술했으나 7권이 소실되고 6권만 전해졌다. 페르마는 이 책들을 보고 공부하며 주석을 달았다(디오판토스 묘비명의 문제는 쉽게 답을 구할 수 있다. 인터넷이나 스마트폰으로도 손쉽게 검색할 수 있다).
