에세이 과제) 인공지능 재앙 막는 아실로마 23가지 원칙

에세이 제목:

아실로마와 엔지니어

학과: 컴퓨터공학과

학번: 20184060

이름: 안성현

목 차 -

Ⅰ. 서론

Ⅱ. 본론 1. AI 원칙의 필요성

2. 개발자들이 책임질 AI 원칙

3. 인공지능 개발과 AI 원칙

Ⅲ. 결론

* 참고문헌

[ Ⅰ. 서론 ]

인공지능은 ‘인지와 추론, 행위를 가능하게 하는 계산의 연구’이다.

딥러닝과 강화학습을 통해 바둑을 배운 ‘알파고’가 이세돌 9단을 이겼다는 사실은 이상적인 성과이며, 알파고가 알고 있는 것(바둑)에 주어진 일(대국)을 제대로 해냈다는 점에서 합리적이다.

바둑돌을 놓아서 이기는 경우의 수를 찾는 것은 우주의 원자 수 이상이기에 알고리즘만으로 해결 할 수 없었으나, 사고 과정과 추론이 이를 가능하게 하였다.

이 때문에 딥러닝을 불러일으킨 이학과 공학의 입장에서 인공지능에 대한 정의는 ‘합리적 사고’와 ‘사고 과정과 추론’에 대한 정의라고 생각한다.

실제로 인공지능은 초점에 따라서 여러 가지 정의가 있다. 그러나 필자는 위에서 말한 정의로 본 에세이의 글이 공학의 초점에 맞춰져 있다는 것을 밝힌다.

그렇다고 과학적인 이야기가 아니다. AI 엔지니어이자 개발자들이 대거 서명한 아실로마 AI 원칙에 대해 설명한다.

[ Ⅱ. 본론 ]

1. AI 원칙의 필요성

인공지능이 인간보다 우수한 능력을 갖추고 인간을 공격하는 행위는 SF영화에서나 볼 법하다. 하지만 인공지능은 인간이 만들기에 어떤 기획을 하느냐에 따라 충분히 위협적일 수 있다. 인간의 사고도 완전히 정복하지 못한 시점에서 인공지능 개발은 허무맹랑한 이야기일 수도 있다. 그러나 미래에는 갖출 인지 능력을 대비하기 위해서라도 인공지능에 대한 대처는 필수적이다, ‘해킹’을 예시로 들어서 대비해야 할 이유를 설명하겠다. 필자는 컴퓨터가 초기 나올 시점에 사람들이 해킹에 대한 위협을 잘 몰랐을 것이라고 짐작한다. 결국 회사 서버가 다운되고 시민들의 개인 정보가 유출되고 나서야 정보 보호라는 개념이 확산되었다. 하지만 이미 블랙 해커가 나온 시점에 화이트 해커는 모든 블랙 해커를 막을 수도 없고 새로운 해킹 기술을 대비하는 것이 최선이다. 또 해킹이 과연 기술로만 악의적일까? 영화 ‘다크웹’에서는 다음과 같은 내용이 나온다. 해커가 남의 컴퓨터를 강제로 원격 조종해서 총기 장전 소리를 다운로드하였다. 이후 경찰에게 해킹한 컴퓨터의 소유자가 총기로 사람을 죽였다고 거짓 신고를 한다. 이 때문에 경찰은 해당 청년의 집으로 쳐들어가려고 했고, 영문도 모르는 청년은 떨면서 미쳐 문을 열어주지 못했다.

그 와중에 해커는 볼륨을 최대로 높여서 총기 장전 소리를 경찰에게 들려주었고, 경찰은 문을 부수고 들어와 총기를 난사해 청년을 죽이고 만다. 이렇게 영화처럼 기술에 시나리오가 들어가면 블랙 해커를 막을 방도가 없다. 필자는 인공지능도 해킹처럼 악의적인 수법이 끊임없이 나올 수 있을 것이라 생각한다.

인공지능의 발달로 머지않아 인류에게 치명적인 위험이 닥칠 가능성을 미리 대처해야 한다는 의미이다.

그래도 다행히 많은 전문가들이 대처를 준비하고 있고, 그 출발점으로 아실로마 AI 컨퍼런스가 있다.

2017년 1월 미국 캘리포니아 아실로마에서 각국 개발자들이 인공지능 개발에 대한 공동의 약속을 처음으로 내놓은 자리이다.

이 컨퍼런스에서 나온 것이 아실로마 AI 원칙이다.

이 원칙은 ‘연구 목표를 인류에게 유용하고 이로운 혜택을 주는 인공지능을 개발하는 것’이라고 정의한다. 또 인공지능이 불러올 위험에 대한 대비가 필요하며, 치명적인 인공지능 무기의 군비 경쟁은 피해야 한다고 규정했다. 인공지능이 인류를 위협할 수 있다는 우려를 원천적으로 없애기 위해 전 세계가 함께 노력하자는 것이다.

스티븐 호킹 박사 등 저명인사 2천여 명이 지지한 이 원칙은 또 인공지능 기술의 지속적인 발전을 위해 그 혜택을 전 인류가 공유해야 한다고 강조한다. 아래는 아실로마 AI 원칙 23가지 중 엔지니어들이 책임질 내용이다.

2. 개발자들이 책임질 AI 원칙

시스템의 안전과 시스템 설계·구축자의 책임을 강조하고 있는 두 번째 범주를 소개한다.

둘째 범주는 ‘윤리와 가치’로 13가지 항목으로 이뤄져 있고 인공지능 연구에서 가장 중요한 범주이다.

인공지능은 인간의 가치에 적합해야 하고 인간의 통제를 받아야 한다는 항목은 아

시모프의 로봇 3원칙을 그대로 이어받고 있다. 프라이버시 보호와 자동무기에 대한 경고를 특정해서 별도의 항목으로 밝힌 점도 특별하다.

1. 안전 :

인공지능 시스템은 작동 수명 기간을 통틀어 안전하고 안정적이어야 하며, 어떤 경

우에 적용·구현이 가능한지 검증할 수 있어야 한다.

2. 장애 투명성 :

인공지능 시스템이 피해를 유발할 경우, 그 이유를 확인할 수 있어야 한다.

3. 사법 투명성 :

사법적 결정에서 자동시스템이 개입할 경우, 권한이 있는 감사 당국에 만족할 만한

설명을 제공해야 한다.

4. 책임성 :

첨단 인공지능 시스템 설계자 및 구축자는 인공지능의 이용, 오용 및 행동의 도덕

적 영향력에서 이해 관계자이며, 그에 따르는 책임과 기회를 갖고 있다.

5. 가치 정렬 :

고도의 자동 인공지능 시스템은 작동하는 동안 그 목표와 행동이 인간의 가치와 잘

어우러지도록 설계돼야 한다.

6. 인간의 가치 :

인공지능 시스템은 인간의 존엄, 권리, 자유 및 문화적 다양성의 이상에 적합하도록

설계되고 운용돼야 한다.

7. 프라이버시 :

인공지능 시스템에 데이터를 분석·활용할 수 있는 권한을 부여할 경우, 사람에겐 그

데이터에 접근, 관리, 통제 할 수 있는 권리를 줘야 한다.

8. 자유와 프라이버시 :

개인 데이터에 대한 인공지능 적용이 사람들의 실제 또는 스스로 인지하는 자유를

부당하게 축소해서는 안된다.

9. 공동의 이익 :

인공지능 기술은 가능한 한 많은 사람들에게 이로움을 줘야 한다.

10. 공동의 번영 :

인공지능이 만들어내는 경제적 번영은 널리 공유돼, 모든 인류에게 혜택이 돌아가

도록 해야 한다.

11. 인간통제 :

인간은 인공지능 시스템에 의사결정을 위임할지 여부와 그 방법을 선택해, 인간이

선택한 목표를 달성하도록 해야 한다.

12. 비전복 :

고도화된 인공지능 시스템을 통제함으로써 갖게 되는 힘은 사회의 건강도를 좌우하

는 사회적, 시민적 절차를 뒤집는 것이 아니라 존중하고 개선해야 한다.

13. 인공지능 군비 경쟁 :

치명적인 자동 무기에 대한 군비 경쟁은 피해야 한다.

3. 인공지능 개발과 AI 원칙

이번엔 인공지능을 통해 개발된 제품이나 융합된 형태를 알아보고 AI 원칙과 연계하겠다.

1. 인공지능과 자동차: 2005년 DARPA에서 Stanley라는 이름의 무인 조종 로봇 차량이 모하비 사막의 거친 지형을 22mph로 달려서 132마일 코스를 1등으로 완주했다.

위는 AI 원칙 두 번째 범주 중 1번과 2번, 13번에 가장 많은 주의가 필요하다고 생각한다. 작동 시간을 통틀어 안정적이어야 하고 만일 불가피하게 장애가 발생했다면 2차 피해를 막기 위해 장애의 원인을 바로 확인할 수 있게 개발되어야 한다. 그리고 윤리적인 문제로는 13번이 가장 중요하다. 영화 ‘엔젤 해즈 폴른’을 보면 사상 최악의 드론 테러 내용을 담고 있다. 드론 여러 대가 사람을 카메라로 탐색하며 목표인 인간을 사살한다.

이 자동차도 무인 조종 로봇이라는 점이 같기 때문에 AI원칙을 지켜내서 윤리적인 개발자가 될 필요가 있다.

2. 인공지능과 항공사: 항공사 United Airlines는 항공권 예약을 위해 전화를 건 고객과의 대화 과정 전체를 자동 음성 인식 및 대화 관리 시스템으로 진행한다.

위는 AI 원칙 두 번째 범주 중 7번과 8번, 9번에 가장 많은 주의가 필요하다고 생각한다. 시스템이 사람이 말한 내용을 데이터로 담고 있으면 반대로 그 사람은 본인이 말한 내용을 확인할 권리를 가져야 한다. 또 시스템과 대화를 하면서 사람이 기대하는 내용은 다양한데 정작 시스템이 할 수 있는 영역이 한정적이라면 이는 자유를 침해하는 것이라고 할 수 있다. 마지막으로 개인의 이익이 아닌 고객들에게 편리한 시스템을 제공한다는 생각으로 개발될 필요성이 있다.

3. 인공지능과 의료: 인공지능 시스템 IBM왓슨은 빅데이터를 기반으로 암 환자 진료, 유전체 분석, 임상 시험 환자 매칭 등의 서비스를 제공하고 있다. 이러한 세 가지 서비스 모두 복잡한 의료 데이터를 분석해서 의학적 통찰력을 증가시켰다.

위는 AI 원칙 두 번째 범주 중 1,2번과 7번, 9번이 가장 많은 주의가 필요하다고 생각한다. 의료 데이터 같은 경우, 양성인지 음성인지 파악하는 것이 중요하고 그 중에서 양성인 사람을 음성으로 오 분류하는 일은 결코 있어서는 안 된다. 그렇기 때문에 프로그램이 안정적인지, 오류가 있다면 어떤 부분에서 장애가 생겼는지 개발자는 신속하게 알 수 있어야 한다.

실제로 필자가 머신러닝에서 기계가 학습 모델을 만들 때는 여러 가지 사항을 고려해야 한다. 단순히 학습해서 모델을 만드는 라이브러리와 함수로 해결되는 것이 아니다.

만일 전체 데이터를 모두 학습하는데 사용한다면 ‘과적합’이라는 문제가 발생하기 때문이다. 학습한 데이터에 대해서는 높은 적중률을 보이지만 새로운 데이터에 대해서는 수준 낮은 결과를 도출한다는 것이다.

전체 데이터 중 50%는 훈련 데이터로 사용해서 학습을 하는데 사용하고, 25%는 ‘과적합’ 문제가 있는지 검증하는 용도로 사용하고, 나머지 25% 데이터는 학습해서 만들어진 모델에 결합해서 이 모델이 잘 만들어졌는지 시험한다.

이를 Hold-out-Validation이라고 한다. 더 나아가 검증을 k(k-1)번하는 k-fold-cross-validation이 있다.

이처럼 학부 과정에서 배우는 머신러닝도 학습 모델에 주의를 하는데 의료 빅 데이터를 활용할 인공지능은 더욱 검증돼야 할 것이다.

7번 같은 경우, 환자는 언제든 자신의 의료 기록을 살펴보며 상담과 처방을 받아야 하고, 의사도 언제든 환자의 의료 기록을 살펴보며 환자에게 적절한 조치를 취할 수 있어야 한다.

마지막으로 9번은 IBM왓슨이 적중률이 높다고 해서 부유한 사람에게만 가치 있는 로봇이 아닌 많은 사람들에게 이로움을 줘야 한다는 것이다.

만일 진료뿐만 아니라 수술도 가능한 인공지능 로봇이 개발된다면 위 세 개의 규약뿐만 아니라 11번도 주의해야 한다.

고도화된 인공지능이 발달하면 의사는 굳이 병원의 수술실에서 수술을 하는게 아니라 집에서 모니터를 통해 로봇에게 수술을 명령할 수도 있다. 이 때 의사는 인공지능 시스템에 수술에 대한 의사결정을 위임함과 동시에 책임질 수 있도록 시스템화 되어야 할 것이다. 이는 공학도의 문제 뿐 아니라 사용자의 윤리관과도 연결되어 있다고 본다.

[ Ⅲ. 결론 ]

지난 10년간 인공지능이 더욱 빠르게 발전했다. 특히 구글이 발표한 딥러닝 모델 알파고는 인공지능을 모르는 세계 각국의 시민들을 놀라게 했다. 그렇다고 SF 영화처럼 기계가 인간을 위협할 수준은 분명 아니다. 하지만 인공지능이 불러올 위험에 대한 대비는 필수적이라고 다시 한 번 강조한다.

사실 AI 원칙만 보면 아직 미흡한 점이 많다. 두 번째 범주의 13번만 봐도 군비 경쟁을 피해야 한다고만 적혀 있지 막아야 한다고 적혀 있지는 않다. 따라서 아실로마 컨퍼런스가 시작이자 끝이 아닌 계속해서 더 큰 회의가 이루어지기를 고대한다.

앞으로의 세상은 더욱 물질 문화가 비물질 문화를 압도할 것이다.

그러므로 AI의 중심인 엔지니어들이 먼저 책임을 다해 올바른 윤리관을 지닌 개발자가 되어야 한다.

인공지능이 인류를 위협할 수 있다는 우려를 없애기 위해 전 세계가 계속해서 함께 노력해야 할 것이다.

* 참고문헌

인공지능1_Novig 3판 1장

인공지능 재앙 막는 아실로마 23가지 원칙.pdf

순천향대학교 빅데이터공학과 ‘데이터마이닝’ 수업 자료