인공지능
01 알파고와 구글 딥마인드
- 딥마인드는 2011년 데미스 하사비스(Demis Hassabis), 셰인 레그(Shane Legg), 무스타파 슐레이만(Mustafa Shuleyman)이 공동 설립한 회사로, 구글에 인수되기 전까지 구체적인 사업 모델은 없었고 단지 12명의 딥러닝 전문가로 구성되어 있었다.
- 2014년 1월 27일 구글은 영국 런던에 위치한 딥마인드를 4억 달러(4,000억원)에 인수하겠다고 발표했다.
- 이미 딥마인드는 당시 VC(Founders Fund, Horizons Ventures), 개인투자자(Elon Musk 등)로부터 대규모 자본이 유입된 상태였다.
- 구글은 이미 2013년 토론토 대학의 제프리 힌튼(Geofffrey Hinton)교수가 창업한 DNNResearch를 인수하며 딥러닝 분야에 투자하고 있었다.
- 딥마인드는 강화학습 분야에서 최고의 전문성을 보유한 회사다.
- 딥마인드는 구글에 인수된 후 Deep Q-Network 개발
- DQN은 벽돌 깨기, 핑퐁, 엔듀로에서 사람보다 월등한 점수를 얻었다. (규칙이 간단하고 지속적인 집중력이 필요한 게임)
- 점수를 얻는 방법, 조이스틱 조작요령만 입력하였고, 스스로 모니터에 나오는 상황을 인식하여 스스로 터득하였다.
- 딥마인드 창업자이자 CEO 데미스 하사비스
- 1976년생
- 체스 신동
- 16세부터 BullFrog라는 영국 컴퓨터회사에서 게임 개발을 시작하였다
- 17세 ThemePark라는 인공지는 깆반 시뮬레이션 게임을 개발하였다
- 케임브릿지 대학교에 컴퓨터공학 전공으로 입학하였고 1997년 학부/석사 통합으로 졸업하였다
- 게임 관련 일, 창업을 하다가 2005년 인공지능 분야를 공부하기 위해 런던대학에 박사과정으로 입학하고 인지 신경 과학(Cognitive Neuroscience)를 공부한다.
- 2007년 논문: '기억사실 환자는 새로운 경험을 상상하지 못한다'
- 2011년 학교를 떠나며 연구원으로 일했던 UCL에서 만난 셰인 레그, 사업가인 무스타파 슐레이만과 함께 딥마인드를 설립한다.
02 인공지능의 역사
- 인공지능은 여러 학문이 연계된 융합 학문이다 (컴퓨터과학, 수학, 통계학, 철학, 심리학, 의학, 언어학 등)
- "<인공지능: 현대적 접근법> written by 스튜어트 러셀, 피터 노빅"에 따르면 인공지능은 4가지 영역으로 정이된다.
1. 인간처럼 생각하는 시스템
2. 인간처럼 행동하는 시스템
3. 이성적으로 생각하는 시스템
4. 이성적으로 행동하는 시스템
- 여기서 '이성적으로'라는 것은 인간은 이성적이지 않다는 의미가 내포되어 있으며, 따라서 인간의 관점 이상의 외연적 방법으로 사물을 분석하는 것으로 철학적이다.
- 최근, 인공지능, 심리학, 신경과학 분야가 합쳐져 인지과학(cognitive science)이라는 새로운 학문 분야가 생겨났다.
- 뉴웰과 사이먼은 수단-목표분석(MEA: Means-End Analysis)기반의 경험정 방법(heuristic)로 경우의 수를 줄이며 컴퓨터 인지심리학 기반의 인공지능이라는 학문분야를 발전시켰다
- 현재 가장 활발하게 연구되는 분야는 '인간처럼 행동하는 시스템'이다. Eg) 자연어처리, 자동적인 추론, 음성인식, 머신러닝, 컴퓨터 비전, 로보틱스
- 인공지능의 정의를 '행동'하는 방법으로 접근한 대표적인 예가 튜링 테스트(Turing test)다. 이론적, 추상적인 인공지능의 기준을 정하는 대신 사람이 하는 행동을 컴퓨터가 얼마나 유사하게 모방하느냐로 정의한 것이다.
- 앨런 튜링(Alan M. Turing)
- 1912년 영국 태생
- 인공지능과 컴퓨터과학을 탄생시킨 장본인이다
- 튜링 머신이라고 불리는 최초 컴퓨터 구조가 향후 에니악(ENIAC: Electronic Numerical Integrator And Computer)에 사용된 기본 모델이 된다
- 처치-튜링 논제: 수학 함수를 이용해 어떤 값을 구하는 방법이 있다면, 그 방법을 튜링머신으로도 구현할 수 있다
- '이발사 패러독스' 중단문제를 판별하는 튜링머신, 즉 알고리즘은 존재하지 않는다.
- 폰 노이만의 에드박(EDVAC) 설계에 많은 영향을 끼쳤다 -> 에니악(ENIAC) -> 현대 컴퓨터 구조의 표준
- 튜링 테스트
- 오늘날 튜링 테스트는 독립된 공간에 컴퓨터, 사람, 심사원이 들어가서 컴퓨터와 사람 둘 다와 문자를 주고받고, 심사원이 어떤 상대가 컴퓨터인지 구별하는 것이다. 구별을 못하면 튜링 테스트를 통과하는 것이다.
- 튜링은 모방게임(imitation game)을 제안했다. 3명의 참가자가 참여해서 두 단계로 진행된다.
- 프로그래밍 가능한 초기 컴퓨터 개발의 가장 큰 동인은 1939년에 시작된 제 2차 세계 대전의 발발이다.
- 1941년 독일 콘라드 추세가 튜링완전성을 만족하는 Z3 컴퓨터를 개발했다.
- 1944년 영국이 독일군 암호 해독을 위해 콜로서스를 개발했다.
- 1945년 미국은 에니악ENIAC을 개발했다.
- 1세대 컴퓨터: 에니악 및 1946~1959년 사이 개발된 컴퓨터로 중앙처리장치CPU, 메모리, 진공관 사용. ENIAC, EDVAC, UNIVAC, IBM650, IBM701
- 2세대 컴퓨터: 1959~1965년에 개발된 컴퓨터로 진공관 대신 트랜지스터를 사용했다. 따라서 크기가 줄어들고 전력 소모량도 줄었다. 포트란과 코볼이 개발되었다. IBM1620, IBM7094, CDC1604, CDC3600, UNIVAC 1108
- 3세대 컴퓨터: 1965~1971에 개발된 컴퓨터로 트랜지스터 대신 직접회로(IC)를 사용한다. 병렬컴퓨팅의 초기형태인 멀티프로그래밍 기술이 도입되었다. 파스칼, 베이직 언어가 개발되었다. IBM360, 허니웰6000 시리즈
- 4세대 컴퓨터: 1971~1980에 개발된 컴퓨터. 고밀도 직접회로(VLSI)가 개발되었다. 마이크로프로세서가 개발되었다. C/C++언어가 개발되었다. Cray X-MP, Y-MP, DEC10, STAR1000, PDP11
- 5세대 컴퓨터: 1980~지금까지 개발된 컴퓨터. 실리콘 칩의 초고밀도 집적화. 병렬컴퓨팅의 발전.
- 퍼셉트론: 최초의 인공신경망
- 1943년 미국, 신경외과 의사 워렌 맥컬록, 논리학자 월터 피츠의 연구로부터 인공신경망이 시작된다.
- 1958년, 코넬대 심리학자 프랭크 로센블래트가 퍼셉트론을 탄생시켰다. '가중치'로 '학습'이라는 개념을 추가하였다.
- 인공지능이라는 말은 1956년 존 매카시가 다트머스 대학에서 열린 컨퍼런스에서 처음 사용했다.
- 머신러닝이라는 말은 1959년 아서 사무엘이 IBM에서 개발한 체커 게임 관련 논문에서 사용했다.
- 1969년 마빈 민스키, 세이무어 페퍼트는 퍼셉트론 이론의 한계점을 증명했다. AND나 OR같은 선형 분리가 가능한 문제에서는 적용할 수 있지만, XOR문제에서는 적용할 수 없다는 것이 주요 내용이었다.
- 이를 시작으로 1980년대 초까지 1) 마빈 민스키가 발표한 인공신경망의 한계성, 2) 맨스필드 수정안 등으로 목표지향적인 단기 프로젝트에 투자가 집중되고, 3) 영국 의회에 보고한 제임스 라이트힐 교수의 인공지능 비관론 등으로 인공지능 연구는 지체되었다.
- 1980년대 인공지능이 활용된 사례:
- 전문가 시스템: 사람이 보유한 전문적인 지식과 경험을 정리해 적재적소에 가장 알맞은 정보를 제공함으로써 비전문가들도 전문가 수준으로 업무를 처리할 수 있게 해주는 시스템을 말한다.
- 비즈니스 인텔리전스: 다양한 분야의 데이터를 수집, 정리, 분석해서 사업전략을 수립하는 데 필요한 정보를 제공하는 시스템이다.
- 머신러닝은 지금까지 인공지능의 핵심적인 주제로 지속돼 왔다.
- 제이미 카보넬이 1983년에 발표한 논문에서 머신러닝은 세 가지 접근법으로 연구가 진행돼 왔다고 설명한다.
1) 신경 모형 패러다임(Neural Model Paradigm): 퍼셉트론, 연결주의론, 다층 신경망 학습 알고리즘으로 역전파 이론, 심층신뢰망(Deep Belief Network), 컨볼루션신경망(Convolution Neural Network), 딥러닝으로 발전하였다.
2) 심볼 개념의 학습 패러다임(Symboloic Concept-Acquisition Paradigm): '인간처럼 생각하는 영역', 숫자나 통계 대신 논리학, 그래프 구조를 사용하는 것. 전문가 시스템에 많은 영향을 미친다.
3) 현대지식의 집약적 패러다임(Modern Knowledge-Intensive Paradigm): 1970 중반부터 시작됐다. 이미 학습된 지식을 재활용하는 컨셉이다. 의사결정 트리 알고리즘. 이는 다른 머신러닝 알고리즘과는 다르게 화이트 박스 알고리즘이어서 사용자가 진행 프로세스를 직관적으로 확인할 수 있다. 노이즈 데이터의 처리에 큰 강점을 ㅈ보인다.
- 러시아 통계학자 블라드미르 배프니크가 서포트 벡터 머신(1963)을 일반화한 소프트마진 서포트벡터머신을 1995년 발표한다. 이는 1990~2000초까지 머신러닝의 핵심적인 알고리즘으로 사용됐다.
- 최근 인공지능의 핫 트렌드는 딥러닝과 로보틱스다.
- - 70년대 중반, 다층 신경망의 학습 모델 방법으로 역전파 알고리즘이 최초로 적용됐고, 80년대 중반 발표됐다.
- - 90년대 경사감소법(gradient descent)로 발생하는 정보의 소멸 문제를 장단기 기억법(LSTM)으로 해결됐다. 이는 출력층의 정보를 계속 메모리에 기억해서 역전파에 이용하는 방식이다.
- - 로보틱스 분야 1) 산업용 로봇, 2) 전문 서비스 로봇, 3) 개인용 서비스 로봇
- IoT
- IoT라는 말은 1999년 영국의 케빈 애쉬튼이 처음으로 사용했다. 센서들이 원하는 모든 사물에 부착되고 이것들이 인터넷에 연결되면 언제, 어디서든 사물들을 제어할 수 있는 유비쿼터스 시스템을 구축할 수 있다고 했다.
- 또한 IPv4가 소진되며 IPv6로 전환되면서 IoT가 등장했다고 본다.
- IoT의 구성: 1) 단말센서층(센서, 중앙처리장치CPU, 메모리, 네트워크 장치), 2) 통신망 층, 3) 응용 계층
* 알고리즘으로 배우는 인공지능, 머신러닝, 딥러닝 입문을 정리한 자료입니다.