2022. 08.24 💬 자연어 처리: Natural Language Processing 👩‍💻

 

 

 

 

 

자연어 처리: Natural Language Processing (8/24)

 

 

1. 이해와 지능이 무엇인가? 인공 지능에 대한 근본적인 질문

- 검색 엔진, 번역기, AI 스피커, 소피아(대화를 이끌어 나가는 AI 스피커, 국내 방문)

- 4차 산업 혁명, 사물 인터넷 (주변의 기기들을 통해 무수한 데이터가 생성 -> 사람이 감당할 수 없는 양 -> 지식이나 패턴을 인간이 분석할 수 없음, 인간만큼 지능적인 분석을 할 수 있는 AI)

; 빅데이터를 분석하는 인공지능

 

2. 포스코와 같은 철강 회사에서도 NLP가 필요한가? 

- 자연어 처리: 기계가 인간만큼의 지능을 갖고 있다는 의미

: 가정이든 공장이든 지치지 않고, 인간이 하는 일을 시킬 수 있다.

 

- 문자로 표현될 수 없는 많은 signal data(non-textual data) 생성

-> 이러한 많은 데이터가 어떻게 처리하는가에 따라 회사의 경쟁력을 좌우함 (공장의 생산성)

 

- Textual data: 수많은 장치들을 함께 사용 -> 끊임없이 기계들의 고장을 수리해야 한다.

: 과거에 동일한 상황에서 어떤 방법을 사용했지? (기존에는 명인, 장인의 머리속에 있었다.) 

-> 중앙 집권화 된 database에서 관리하던 중요한 데이터, 숨겨진 노하우들을 어떻게 관리하는가?

-> 수많은 지원서를 언제 filtering할 수 있는가? (인공지능의 도움을 받을 수 있다.)

- 지적 재산권과 관련된 특허 관련 내용도 text data 

 

- Text mining: 구조화되지 않은 raw data에서 정보를 추출하는 것

(과학 기술 논문, 뉴스 기사, 이메일, 무수한 SNS 글 등등)

: 문장이나 문서가 나타내는 의미를 파악하는 것이 중요하므로, 가장 고급 기술

 

- information retrieval: 문서 요약, 검색 등 전통적인 여러 문서, 정보 처리 방법에 해당

+ chat bot, text classification, 자동 번역 등등

 

3. 기계가 언어를 이해한다면, 어떤 application에서 사용될 수 있을까?

- 교차 언어 검색 엔진 (정보를 찾고 싶을 때, 한국어로 질의 -> 관련된 문서는 언어에 상관하지 않고 모두 찾아내면 좋겠다.) cross-language information retrieval (일본어로 된 문서의 철강 관련 특허 기술을 한국어로 검색할 수 있다.)

 

- 특허 정보 추출 (구조화된 정보가 아니다. Un-structed text: 사람이 해당 정보를 바로 파악하기가 쉽지 않다.) 신제품 설계 및 새로운 아이디어와 관련된 해외 특허 자료를 찾기 위해 개발. (내가 추론하고자 하는 내용, 내가 디자인한 내용이 특허 침해성이 있는지 트랙킹)

: 제조 공정과 parameter 관련된 정보들 -> 가까이 붙어있지 않아 파악하기 어려움

- 이웃하지 않고 떨어져 있는 정보들, 문장의 구조에 대해 정확하게 이해해야 정보를 제대로 추출할 수 있음

 

- 음성 회의록 요약

수많은 회의록 -> 회의할 때 마다 녹음한 음성 file 속에서 원하는 정보를 찾아야 함

-> 음성 회의록을 기계가 직접 듣고, 내용을 요약해주는 프로그램

- 일반 회사에서 활용하기 좋음

- 음성 file에서 직접 요약 or 음성 녹음 file을 text 로 바꾼 뒤, text summarization 과정

 

- 인간은 원 문서를 읽고, 새로운 요약본을 생성함 -> 자연스러움

- 기계는 원 문서만을 통해, 중요한 단어와 문장을 남기며 요약(문장 추출 기법) -> 어색함

- 신문 기사 요약 기술 (사람처럼 문장 요약) -> 훨씬 자연스럽고 세련됨

 

- 한국어-한국 수화 번역기

: TV 아래에 나오는 한국어 자막 -> 선천적인 청각 장애인이 이해할 수 없음 (우리가 사용하는 언어를 접한 적이 없음), 한글이 글자로 인식이 안됨

- 수화는 우리가 사용하는 language와 다르다. (표정과 손 동작을 통해 의미를 전달)

- 수요가 많지 않아, 데이터가 부족하여 어려움을 겪음

- 수화로 구성된 단어들은 여러 단어가 하나의 동작으로 압축된 경우가 많다.

- 삼성 전자: 수익 사업은 아니었다. 사회 공헌 사업 -> 취소

 

4. NLP: 자연어 처리

- 기계에게 인간의 언어를 어떻게 전달하는가?

- (궁극적인 목표) 기계가 어떻게 인간 수준의 능력을 구현할 수 있는가?

-> 인간 수준의 대화도 가능하지 않은가? (30년 전의 컴퓨터와 지금의 컴퓨터는 비교 불가능할 만큼 발전했는데, 앞으로 30년 간의 발전은 기계와 인간, 완벽한 소통 가능하지 않을까? -> 지금의 성공은 제한된 영역의 제한된 능력이다. 이를 통해 모든 언어의 문제를 해결하기는 어렵다.)

 

- Text Processing: 글과 관련된 언어 처리 방법

- Speech processing: 말(음성)과 관련된 언어 처리 방법

- 한글과 한국어를 구분하자. (한국어가 모국어, 한글은 이후에 창제된 것)

- 언어를 분석하여 이해 or 내가 이해한 내용을 통해 언어를 생성

: 생성이 어렵지 않아요? (독해 위주의 교육을 받다 보니, writing, speech가 어렵게 느낌)

- 언어 처리 관점에서 본다면, 분석이 훨씬 더 어려움 (90%는 분석을 위해 발전)

 

- 언어를 분석하는 단계 (인간 음성의 발화 

-> ‘음성 인식 기술’을 통해 글로 변환(전자 공학적 관점에서 signal 분석과 연관) 

-> 문자로 표현된 text -> (언어학 or 컴퓨터 공학 관점)에서 단어 구조 분석 

-> 컴퓨터가 어떤 의미를 가진 것인지 이해를 해야 분류, 분석이 가능함 

 

-> 우리가 만들 수 있는 문장의 개수: 이론적으로 무한 개

-> 이를 작은 단위로 나누어 분석 (원소와 같이) -> 문장 단위를 단어 단위로 나누어 분석

- 어휘 분석 (문장이 주어졌을 때, 단어의 경계가 무엇인가?)

- 구문 분석 (Syntax analysis): 문장은 여러 개의 의미를 가질 수 있음 (중의적인 표현도 있고)

: 단어의 sequence는 동일한데, 해당 문장의 의미는 달라질 수 있다. 문맥과 맥락도 중요

: bank가 은행이냐 강둑이냐? 망원경을 가진 그녀를 보았다 or 망원경으로 그녀를 보았다

-> 따라서 sentence level의 문장 분석도 필요하다.

 

5. Deep Neural Network, Black Box

- weight 가중치를 준 함수 처리

- 수십만개 이상의 network -> 신경망 형성 

-> 주어진 input에 대해 우리가 원하는 output이 나오도록 신경망을 학습할 수 있다.

 

- back propagation 알고리즘 (error 값을 바탕으로 weight 조정)

: weight training -> 우리가 원하는 방향으로 학습 

- 특성 학습(특징 추출)까지 신경망이 알아서 하는 것 -> Deep Learning

: 어떤 특징이 중요할 지, 기계가 알아서 특징을 학습하는 것

 

- black box Deep learning: 왜 이런 결과가 나왔지? 해도 사람이 이해할 수 있는 내용이 아니다.

: 간편하게 쓸 순 있지만, 인과관계 파악 등이 어려움

- 왜 그런 결과가 나왔는지, 우리가 어떻게 개선해야 하는지 불분명함

(하이퍼 파라메터를 조정하고, 층을 더 쌓고 등의 개선은 가능하나, 얘가 왜 이런 결과를 낸 건지 그 원인은 알 수 없음. 왜 해당 input에 대한 웨이트를 이렇게 조정하는 건지, 사람이 이해할 수 없음)

 

- 인간이 원하는 좋은 결과를 주지만, 왜 이렇게 좋은 결과를 내주지? 이에 대한 판단이 어려움

- AI의 역공: 내가 개발한 system인데, 개발자가 모델의 한계(얘가 어디까지 가능한지 예측 불가능) 알 수 없음

 

- Representation learning: 우리가 원하는 방향으로 input 조정

- 노이즈가 많은 원본 이미지 대신, CNN을 통해 표현 학습 단계를 거친다.

- 원본을 보여주는 대신, CNN을 통과한 특징을 뒷단의 classifier에 넘겨준다.

- image는 괜찮은데 text의 경우에는, 어떻게 벡터로 표현?

- 주변의 단어를 통해 stars라는 단어의 의미가 결정된다. -> count 개념을 활용하여 벡터로 표현

-> 매우 dimension(차원)이 높다. 

- word embedding 어떻게 제대로 표현해야 sentence를 제대로 표현할 수 있을까? (RNN)

 

일반적인 경우, 딥러닝과 일반 머신러닝과의 차이를 히든레이어의 수로 설명하는 사례가 많은데 틀린 말은 아니나, 정확한 설명은 아니다.

히든 레이어의 개수가 머신러닝으로 최적해를 찾는 것을 도와주는 것이 아니라, 정제되지 않는 방대한 데이터의 노이즈를 해소하고 빠르게 예측된 해를 찾게 해 주는 것이다. 

 

예컨대, 히든레이어(Hidden Layer)가 많으면, 피드백 회수가 적더라도 수학적으로 빠른 수렴(최적의 해)을 할 수 있고, 데이터 노이즈에 별 영향을 받지 않고 최적 예측 값을 구현할 수 있다.

-> 히든레이어의 역할은 복잡한 문제를 간단한 문제로 바꾸어 빠른 수렴을 가능하게 하는 것, 데이터 노이즈 영향을 어느정도 회피할 수 있게 만드는 것

- 과잉 수렴(Overfitting)을 하게 되어 나쁜 결과를 예측할 수도 있다. 

인공지능 프로그램들은 그러한 과잉 수렴을 막기 위해 데이터 세트(Set) 해석(Test)과 검증(Validation) 데이터로 나누고, 해석 데이터로 예측모델을 만들어 검증용 데이터로 다시 예측모델을 평가하는 방법을 쓴다.

(https://namu.wiki/w/딥%20러닝)