나의 첫 AI경연대회 후기

사내에 mysuni라는 플랫폼이 있다.

거기엔 유용한 강의들과 최신 기술 트렌드 뉴스 등 다양한 정보들이 올라온다.

 

그리고 가끔 경진대회나 경연을 열기도 하는데 AI경연대회가 열렸고,

나는 거기에 참가하기로 마음먹었다...

 

AI에 대한 공부는 유튜브와 구글 디벨로퍼 플랫폼에서 단기 교육 과정을 들으면서 기반을 잡았다

그리고 내가 만들고 싶은 프로젝트를 진행하면서 실력을 쌓았기에 이를 시험하고 싶었다.

 

경연 주제는 상담 고객 유형 분류로 자연어 처리로 볼 수 있다.

상담 내용을 기록한 짧은 메모를 5개의 유형으로 분류하는 과정이였다.

 

이 경연에 필요한 모델을 구축할 때 신문기사를 이용한 주가 예측 프로젝트가 도움이 많이 됐다.

거기서 불용어의 중요성과 자연어 처리에 대한 전반적인 경험을 해보았기 때문에 자신감이 있었다.

 

그렇지만 절대 뜻대로 흘러가진 않는 법ㅎ

 

불용어를 내가 하나하나 입력해줘야 한다는 번거로움이 있었고 어느 단어가 중요하고 안중요한지

분별해내는 작업은 사람이 하는 게 훨씬 편하다. 그래서 토큰으로 나누었을 때 빈도가 높고 영양가 없는

단어는 바로 불용어 배열에 넣어주었고 애매한 것들은 추가하고 빼거나 하면서 F1 Score의 점수를 비교했다

일일이 불용어를 처리해주면서 점수를 5점정도 끌어올렸던 것 같은데 만족스러웠다.

 

그리고 다른 문제는 다중 분류는 처음해봤다는 점이 문제였다.. 뉴스기사 분석은 긍정과 부정만 판단하면 되기 때문에

그렇게 어려움이 없었지만 다중분류는 처음이라 난감했다..여기에 적합한 모델을 찾는 일부터 시작했고 여러 후보들중에

랜덤 포레스트 모델을 택했다! 모델을 골랐다고 또 끝날 일이 아니다,,파라미터를 설정함에 따라 모델의 성능이 천차만별이기에 나는 내가 원하는 모델에 적합한 파라미터를 설정해줘야했다.

랜덤으로 값을 넣어주는 법도 있었지만 GridSearchCV로 범주를 결정하고 줄여가는 방식으로 파라미터 값들을 결정했다.

 

최종적으로 모델학습을 하고 predict에 해당하는 데이터에 대한 F1Score를 출력했는데 50%정도 밖에 되지 않아서 충격이였다..그리고 문제를 확인해보니 train data로 주어진 메모는 띄어쓰기가 알맞게 되어있었지만 predict data는 띄어쓰기가 하나도 되어있지 않았다...그래서 predict data를 단어 형태소별로 구분해주는 라이브러리로 따로 전처리를 해주고 모델에 입력했더니 76%의 정확도를 얻었다.

 

76%의 정확도...그리 만족스럽진 않았다..그럼에도 남은 기간이 별로 없고 더이상 어떻게 개선하면 좋을지 스스로 생각해봤지만 좋은 방법이 떠오르지 않았다..또 이와 비슷한 모델을 만든 논문에서 정확도를 70%정도 얻었기때문에 이대로 결과를 제출했다..

 

 

한XX/XXX XXXX/SX 님의 말
6월달  오후 01:29
4차수에 참가했습니다
기XX/XX XXX XX/SX 님의 말
확인해보니 최종 5위로 기록되셨습니다

 

경연이 종료된 2주 후 결과를 따로 확인할 수 있는 방법이 없어서 담당자에게 물어봤더니

최종 순위는 5위라고 하셨다..

90명이 넘게 참가한 경연에서 5위라서 만족했다!

 

그래도 내가 공부한 내용이 헛되지 않았고 경연에서 입상은 못했지만 꽤 높은 순위를 기록했다는 점이 너무 좋았다!

입상까지 했으면 더 좋았겠지만 첫 술에 배부를 수 없고 앞으로 올라갈 일만 남았기때문에 기분좋게 마침표를 찍었다.

 

이렇게 후기를 적는 이유는 이 마음을 잊지 않고 꾸준히 계속 나아갔으면 하는 마음이다!

앞으로도 화이팅!!!!