IT easy, IT is! | 열한번째, 딥러닝의 대부 제프리 힌튼

제프리 힌튼이라고 들어보셨나요? 이번 시간에는 요즘 핫한 인공지능! 딥러닝의 아버지인 제프리 힌튼에 대해서 알아보겠습니다.

   인공신경망을 구해 낸 딥러닝의 대부 '제프리 힌튼'

 심볼릭 인공지능을 대표하는 세이모어 페퍼트는 스승인 마빈 민스키와 함께 1969년 "퍼셉트론"이라는 책에서 로젠블랏의 단순 퍼셉트론이 XOR 문제를 해결할 수 없음을 다양한 수학적 방식으로 증명하였습니다. 이 책의 영향으로 연결주의 인공지능을 대표하는 신경망 연구는 거의 모든 지원금이 끊겨, 소위 말하는 인공지능의 1차 겨울을 맞이하게 됩니다. 실제로 세이모어 페퍼트는 1988년 쓴 에세이에서 자기 자신을 왕비가 백설공주를 죽이라고 보낸 사냥꾼에 비유하면서, 1969년 퍼셉트론 책 출판을 통한 신경망 비판을 농담처럼 회상한 바가 있습니다. 

▲ 제프리 힌튼 교수 (출처: https://alchetron.com/Geoffrey-Hinton)

그 이후 깊은 수렁에 빠져 있던 신경망을 구해 내고, 신경망이 위기에 빠질 때 마다 해결사로 등장하여 지금의 딥러닝을 있게 한 사람은 바로 제프리 힌튼입니다. 영국 기호논리학의 창시자인 조지 불의 후손이기도 한 제프리 힌튼은 고등학교 때 자기 보다 공부를 잘 하던 친구로부터 쥐의 브레인 연구에 관한 이야기를 처음 듣고 뇌에 관심을 갖게 되었습니다. 이후에 그는 캠브리지에 있는 킹스칼리지에 입학하여 처음에는 생리학과 물리학을 했고, 이후 철학 그리고 다시 심리학으로 석사학위를 받았습니다. 그런데 심리학으로 브레인의 동작원리를 파악할 수 없다고 판단하여 에딘버러 대학의 히긴스 교수를 찾아가 인공신경망으로 박사학위를 취득하게 됩니다.

 그런데 힌튼은 영국에서 적당한 자리를 잡을 수 없었습니다. 이에 그는 미국으로 건너가 캘리포니아 대학, 카네기 멜론 대학에서 신경망 연구를 계속하게 됩니다. 최근 앤드루 응과의 인터뷰에서 힌튼은 당시 영국에서는 신경망 연구가 환영받지 못했는데 미국의 캘리포니아에서는 자유로운 분위기에서 럼멜하트 교수 같은 대가가 격려해 주어서 매우 좋았다고 회상한 바가 있습니다.

 제프리 힌튼과 신경망 연구

▲ 존 홉필드 (출처: http://hobbylibrary.tistory.com/9)

   데이비드 럼멜하트 (출처: https://www.psychologicalscience.org/observer/david-rumelhart)

 미국에서 연구하게 되면서 제프리 힌튼은 운명적인 대가들을 만나게 되는데, 한 명은 신경망에 처음으로 에너지 개념을 도입하여 상호결합형 신경망 연구의 새로운 지평을 열고 있었던 존 홉필드 교수였고, 다른 한 명은 인지과학의 대가인 데이비드 럼멜하트 교수였습니다. 제프리 힌튼은 1984년 홉필드 교수의 제자인 테리 세이노프스키와 홉필드 네트워크를 개선한 '볼츠만 머신'을 제안하였고, 1986년에는 '백프로게이션 알고리즘'을 되살린 럼멜하트 교수의 기념비적인 논문에도 참여할 수 있는 기회를 얻었습니다. 이 때부터 제프리 힌튼은 신경망 연구의 중심인물로 떠오르게 됩니다. 

▲ 인공 신경망

 인공 신경망은 노드들의 그룹으로 연결되어 있으며 이들은 뇌의 방대한 뉴런의 네트워크과 유사합니다. 위 그림에서 각 원모양의 노드는 인공 뉴런을 나타내고, 화살표는 하나의 뉴런의 출력에서 다른 하나의 뉴런으로의 입력을 나타냅니다.

▲ 얀 레쿤, 요수아 벤지오와의 연구 그룹 결성 (각 사진 출처: http://www.feiguyunai.com/index.php/2017/10/29/pythonai-nnbasee01/)

 그러나 당시 미국의 레이건 행정부는 냉전과 군비확장에 열을 올리고 있었고, 제프리 힌튼은 인공신경망 연구가 군사적 목적으로 사용되는 걸 원치 않았기 때문에 캐나다 고등과학원의 초청을 받아들여 캐나다 토론토 대학으로 자리를 옮기게 됩니다. 토론토 대학에 있으면서 뉴욕 대학의 얀 레쿤, 몬트리올 대학의 요슈아 벤지오와 함께 딥러닝 연구 그룹을 결성하여 딥러닝 연구의 대부로 활동하여 많은 제자를 길러내고, 2006년 RBM 연구 등 수많은 딥러닝 성과에 직,간접적으로 기여하였습니다.

                                     

공동작성/편집 | 글로벌마케팅팀 박예영