Before Studying RL, Why We Have to Dive into RL ?

저는 2016년 이세돌 9단을 이긴 Alphago와 5:5 게임인 Dota2에서 프로게이머를 이긴 OpenAI Five 등을 보며 2019년에 딥러닝 세계에 발을 내 딛었습니다. Computer Science (CS)에 대해 아무것도 모르던 저는 학위를 시작하고 이 api들의 core algorithm인 강화 학습 (Reinforcement Learning; RL)을 공부해보고 싶었으나 어려워서 당시에는 제대로 공부하지 못했죠. 그러나 만능일 것 같았던 RL도 실제로 공부해보니 잘 되는 task가 있고 어떨때는 지도 학습 (Supervised Learning)보다 비효율적이어서 닭잡는데 소잡는데 칼 쓰는 경우에 지나지 않을 수 있다는 걸 알았습니다. 게다가 RL을 이용하는 분야는 굉장히 Variance가 커서 심지어 random seed 에따라 학습이 안될때도 있는 굉장히 어려운 분야였죠.

그래서 RL을 탐구해보고 싶으신 분들이 계시다면 먼저 어떤 일들이 RL이 필요한 domain 인지를 잘 생각해보고 시작하면 좋겠다고 생각했고, RL Korea라는 커뮤니티의 왜 강화학습을 공부해야 하는가를 소개해 드리기 위해 이 post를 만들었습니다.

연구 분야를 잘 정하셔서 재밌는 연구를 하시길 바랍니다.

RL 이 쓰이는 분야

• Game(게임)
  • 대전게임에서 상대해주는 에이전트
  • 게임 레벨 컨트롤
• Control(제어)
  • 차량의 거동 결정(차선을 바꾸고 싶은지, 핸들을 틀고 싶은지)
  • 공장 로봇 자동화
  • 사람의 업무를 보조하는 로봇
  • 의수나 근육 보조 로봇
  • 서비스 로봇
  • CPS(사이버 물리 시스템)상에서의 안전성
  • 전력 시스템
  • 도시 문제
• Natural Language Processing
  • 챗봇의 좀 더 자연스러운 대화
    • p.s. 2022년 말 ChatGPT가 나왔죠
• Computer Vision
  • Object tracking
  • Segmentation 보조하는 에이전트
• Recommendation System
  • 실시간으로 사용자의 상황에 따라 추천(피드 추천, 광고 추천)
• Optimization
  • 데이터센터 에너지 최적화
  • 최적 설계
  • Task scheduling
  • Neural Architecture Search