데이터, 이미지, 음성 라벨링이 필요한 인공지능의 관계 정의와 필요성

데이터, 이미지, 음성 라벨링이 필요한 인공지능의 관계 정의와 필요성

 

 

 

안녕하세요 오늘은 데이터라벨링(Data Labeling)의 개념과 왜 필요한지에 대해 설명드리겠습니다. 한마디로 데이터라벨링에 대해 알아야하는 모든것에 대해 시작하겠습니다. 인공지능(Artificial Intelligence)은 훈련을 하면 할 수록 더 강력해집니다. 왜냐하면 AI 알고리즘이 행동을 하면서 데이터를 어느정도 모였을때 내가 원하는대로 결과가 나올 수 있기 때문입니다. 정량적으로 어느 정도 중요하다고 이야기하면 이렇게 말할 수 있을거같습니다. 데이터라벨링(Data Labeling)의 모든과정을 거치고 데이터랭글링(Data Wrangling)을 하는 과정까지 모두 합치면 전체에서 90%이상의 시간이 소요됩니다. 그만큼 중요하고 훈련하는 단계가 인공지능이 활동하기전에 매우 중요하다는 것을 알 수 있습니다.

 

 

 

그렇다면 데이터라벨링은 무엇이고 데이터랭글링은 무엇일까요? 여기서는 데이터라벨링을 알려드리는 글이기때문에 데이터랭글링은 우선 개념만 짚고 넘어가도록 하겠습니다. 데이터랭글링이라는것은 모인 데이터들을 다른 형태로 전환하거나 덧씌우는 모든 과정을 이야기합니다. 본문으로 돌아와 데이터라벨링 이라는것은 데이터나, 이미지, 음성같은 샘플데이터에 이름을 지정하거나 주석을달아 도서관처럼 책들을 분류하여 조정할것이 있으면 하고 책장까지 책을 놓는 모든 과정을 데이터라벨링이라고 합니다. 방금 앞에서 도서관이라는 예를들었는데 도서관에 무작정 책을 놓는다면 찾기 어려울거라고 생각합니다. 그래서 책에 라벨링을 해서 분류후에 책장에 꽂아놓으면 검색해서 찾기 쉬워집니다. 이러한 모든 과정을 데이터 라벨링이라고 이야기합니다. 또 하나 예를들어볼까요? 풍경사진이 있다고하면, 하늘과 땅에 이름을 짓고 분류해서 인공지능이 이를 알아보기 쉽게 데이터화하는것입니다. 음성파일같은 경우에는 어느부분에서 감정적인 영향을 느끼는지 분류화해서 인공지능이 어떻게 사람과 채팅을 할때 어떻게 대응해야 되는지 잘 알 수 있는것처럼 말이죠. 

핵심은 인공지능이 라벨링이 잘 되어 있는 데이터를 잘 흡수하여 학습해야 된다는 것입니다. 얼마나 라벨링이 중요한지 감이 오시나요? 라벨링을 할때에는 사람이 직접하거나, 아웃소싱, 크라우드소싱, 프로그램 등 다양한 방법을 사용하여 라벨링을 시도합니다. 그리고 정말 이 데이터들이 사용해도 괜찮은지 검증을 해야합니다. 검증이 왜 중요한걸까요? 인공지능이 제대로 동작하려면 학습도 굉장히 중요하지만 올바른 데이터를 전송했는지 반드시 따져봐야합니다. 데이터들이 모이면 훈련을 시작하고 테스트를 함으로 얼마나 신뢰할 수 있는지 판가름 할 수 있습니다.

그렇다면 라벨링된 데이터를 검증하는것이 매우 중요하다는 것또한 잘 알았다고 생각합니다. 그렇다면 어떤 부분에서 데이터를 검증했는지 안했는지 알 수 있을까요? 가장 큰 2가지 요소가 있습니다. 첫번째는 라벨링된 데이터들이 알고리즘에서 원하는 특징과 잘 부합하는지 측정을 합니다. 말 그대로 얼마나 정확한지 알아보는것인데요 컴퓨터 비전(Computer Vision)이라는 딥러닝 모델이 있습니다. 이모델은 이미지를 분석해서 기술을 활용하는 모델인데요 예를들면 얼굴을 인식하는거라 보시면 이해가 빠르겠습니다. 이모델과 함께, 자연어처리(Natural Language Processing) 모델이라는 텍스트 분류기술에서 라벨링된 데이터들이 얼마나 정확한지에 따라 결과가 많이 달라질 수 있는 분야입니다. 그만큼 정확도를 요구합니다. 그다음은 두번째로 품질에 따라 결과가 달라집니다. 정확도가 있는 데이터들이 모여 얼만큼 오밀조밀하게 밀도에 따라 품질이 결정되는 것입니다. 한 줄로 요약하면 정확도가 정말 중요하다고 할 수 있고, 보조하는건 품질이라고 볼 수 있겠습니다. 이러한 정확도 좋고 품질 좋은 데이터를 추출하기 위해서는 어떻게 해야할까요? 한번 알아보도록 하겠습니다.

첫번째, 데이터에 라벨링을 하는 사람이나 단체들은, 글자의 의미에 따라 맥락적으로 어떻게 사용되는지 이해를 해야합니다. 두번째, 인공지능이 학습을 하려면 수 없이 많은 데이트들을 모으고 수집해야되기때문에 현재했던 수집이 종료되면 "다음"이 매우 중요합니다. 즉 다음 데이터를 수집하는 과정으로 넘어가야 되기 때문에 빨리빨리해야되는 속도가 정말 중요합니다. 왜냐하면 프로젝트 기간이 매우 길기 때문 실시간 대응과 적응력이 필요합니다. 세번째, 이러한 작업들은 혼자가 하는게 아니라 팀단위로 작업을 하기 때문에 소통을 할 수 있는 창구가 필요합니다. 이러한 프로세스를 거치면 아무생각없이 데이터를 모으는것보다는 더 나은 데이터들을 추출할 수 있을거라 생각합니다. 

 

 

 

여기까지 잘 따라오셨으면 데이터를 초기에 수집하는것이 후에 엄청난 영향력을 끼치게 된다는것을 이해하셨을거라 생각합니다. 그만큼 인공지능 딥러닝에서 데이터라벨링(Data Labeling)의 비중은 무시하실수없을만큼 방대하니까요. 데이터, 이미지, 음성 라벨링이 필요한 인공지능의 관계 정의에 대해 간단히 알아보았고 필요성 또한 다뤄보았습니다. 무엇인가 분야를 파헤치기전에 큰그림을 그리는게 매우 중요하다고 저는 생각합니다. 이렇게 글을 작성함으로서 큰그림을 그리기에 너무 쉽기 때문에 저 또한 배울수있는 과정이 되네요.