놀라운 성과로 주목받고 있는 인공지능(AI)과 그 기반 기술인 인공신경망 연구의 역사에도 수차례 부침이 있었다. 한계에 부닥칠 때마다 돌파구가 되는 중요한 논문이 발표됐지만 지금과 같은 형태를 갖춘 것은 5년에 불과하다.
눈부신 발전에도 불구하고 현재 개발되고 있거나 적용되는 대부분의 AI는 특정 문제에 한정된 해결책을 제시하는 ‘특화된 AI(narrow 혹은 weak AI)’이다. 가령 자연어 인식을 위해 개발된 AI는 그 자체로 영상 인식에 적용될 수 없다. 상대적으로 많은 연구가 이뤄졌지만 남은 과제가 적지 않다. 더구나 사람이 인지하고 학습하는 것처럼 범용으로 문제를 풀 수 있는 ‘범용 AI(general 혹은 strong AI)’는 두말할 필요도 없다.
사람의 두뇌에는 약 1,000억개의 세포가 있으며, 각 세포는 1,000여개의 다른 세포와 연결된다. 세포는 다른 세포로부터 입력을 받아들이는 수상돌기, 받은 신호에 따라 활성화 여부를 정하는 뉴런, 세포의 신호를 다른 세포로 전달하는 축삭돌기로 구성된다. 세포 간 연결 부분에는 학습에 중요한 역할을 하는 시냅스라는 영역이 있다. 지난 1949년 도널드 헵은 학습으로 2개의 뉴런이 활성화되면 세포를 연결하는 시냅스의 강도가 증가한다는 그 유명한 ‘헵의 법칙’을 발표했는데, 결국 학습은 시냅스의 연결 강도를 조정하는 것이라 할 수 있다.
인공신경망은 실제 세포를 모방해 인공세포를 만들고 이들 간의 연결 강도를 학습을 통해 결정한다. 1940년대에 중요한 수학적 개념이 마련됐으며 1957년 최초로 퍼셉트론(perceptron)이라는 용어와 알고리즘이 발표됐다. 미리 정의된 동작만을 수행하는 논리 회로와 달리, 학습이 가능하다는 개념은 많은 사람들을 흥분시켰다. 하지만 뉴런의 개수가 증가함에 따라 결정해야 할 연결 강도의 수가 증가했으며, 이것을 수학적으로 풀어낼 방법이 없어 인공신경망은 점차 사람들의 관심에서 사라진다.
그러다가 1986년에 출력값과 기댓값 간 차이를 역방향으로 전파시키며 개별 연결 강도를 조절하는 ‘역전파 방식’이 발표되면서 인공신경망은 일대 전환점을 맞게 된다. 대수적인 방법으로는 풀 수 없었던 문제를, 수치 해석적으로 오차가 작아지는 쪽으로 조금씩 값을 조절하는 과정을 반복했고 결국 학습이 가능하게 됐다. 하지만 신경망은 깊어질수록 문제 해결 능력이 높아지는데, 깊은 망은 단순한 역전파 방식만으로는 학습이 불가능해 신경망 연구는 다시 시들해진다.
약 20년이 흐른 후, 깊은 신경망도 층마다 따로 학습을 시킬 수 있는 오토인코더라는 방식이 발표되면서, 더디고 힘들지만 학습이 가능하게 됐고 드디어 딥러닝의 길이 마련된다. 또한 인공신경망은 반복연산을 통해 학습하기 때문에 높은 연산량이 필요한데, 병렬연산에 적합한 GPU를 이용할 수 있는 방법이 개발되면서 기반이 마련된다.
2012년에 발표된 알렉스넷(AlexNet)을 통해 비로소 현재의 딥러닝 구조가 만들어졌으며, 위와 같은 복잡한 학습법이 없이도 변수가 수천만 개인 깊은 망을 학습할 수 있게 됐다. 소스를 공개해 다른 연구자들에게 도움을 줬으며 소스 공개를 전통으로 자리 잡게 했다. 이후 더 깊은 망을 가능하게 만드는 많은 기술이 발표됐고 이들이 공개하는 소스는 딥러닝 연구를 더욱 가속화시켰으며 성능도 엄청나게 발전하게 된다.
이처럼 인공신경망은 침체기마다 돌파구 격인 핵심 논문에 따라 점프하듯이 발전했다. 지금까지 연구 성과가 놀랍지만 몇 년 뒤 새로운 이론이 발표되면 무용지물이 될 수도 있다. 아직도 범용 AI뿐만 아니라 특화된 AI 분야 역시 연구할 과제가 너무나 많고, 지금까지 개발된 방법이 최적인지 아니면 한 가지 해결책에 불과한지 잘 모른다. 비록 인공지능과 딥러닝에 대한 우리의 원천기술 연구가 뒤졌지만, 진행형인 기술에 대해 모두가 힘을 합쳐 연구하면 충분히 반전에 성공할 수 있다.
