교수제안 프로젝트 제안서

프로젝트 주제	자동작곡 인공지능 compoGPT의 fine tuning 연구
프로젝트 목표	기존에 구현된 compoGPT 에 Supervised Fine Tuning (SFT) 과 RLHF (Reinforcement Learning by Human Feedback)을 적용해서 fine tuning 하는 연구를 수행
모집 인원	1개 팀(3~5명)
제안 사유	프로젝트를 통해 GPT 모델과 강화학습을 직접 구현해봄으로써 인공지능에 대한 이해를 높이고자 함. 자동작곡 인공지능 compoGPT 의 성능을 높여서 작곡가가 작곡한 수준의 곡을 생성하기 위함. 결과에 따라서 개발에 그치지 않고 학술대회 논문으로 발표함으로써 인공지능 대학원 진학에 도움이 될 수 있도록 함.
제안자	성명	정성훈
	소속 및 지위	AI응용학과 정교수
	연락처/이메일 (학생 공지용)	shjung@hansung.ac.kr 02-760-4344

1. 프로젝트 주요 내용

팀 학생들과 함께 기 구현된 자동작곡 인공지능 compoGPT를 fine tuning 하여 좀 더 완성된 곡을 생성하는 모델을 구현할 예정이다. 이를 위하여 GPT3.5를 chatGPT로 업그레이드 하는데 사용한 기법과 유사하게 SFT와 RLHF를 구현하여 적용시킬 예정이다. 결과적으로 기존에 구현된 compoGPT 보다 더 작곡가가 작곡한 곡과 유사하게 곡을 생성하는 모델을 구현한다.

2. 학점 인정

이수구분	(전공선택)
인정 전공명	(빅데이터)트랙 / (디지털콘텐츠가상현실)트랙 AI 응용학과
주당 예상 투입 시간	( 12 ) 시간
이수학점 수	( 3 )학점
학점 부여 기준	기존 compoGPT 보다 더 우수한 작곡을 하는 경우 학점 부여 (학술대회 논문발표 권장)

3. 기대 효과

본 프로젝트를 통하여 최근 chatGPT로 인하여 엄청난 관심을 받고 있는 Large Language Model(LLM)에 대한 기본적인 이해 및 활용방법을 습득할 수 있다. 특히 알파고 이후로 많은 응용에서 최적화 방법으로 사용되고 있는 강화학습의 원리를 이해하고 실제적인 문제에 적용해볼 수 있다. 이를 통하여 향후 다른 인공지능 모델 최적화에 활용할 수 있는 능력을 향상시킬 수 있다.

4. 프로젝트 세부 일정

*2학기는 8월 28일부터 11월 3일까지 10주이며, 주당 평균 투입 시간이 12시간 이상이어야 함

주차	활동 내용 및 목표	투입 시간
1주차	기본적인 딥러닝 모델(ANN, CNN, GAN 등) 이론 학습	15시간
2주차	시계열 데이터 학습 모델(RNN, LSTM, Seq2Seq, Attention, Transformer, BERT, GPT) 이론 학습	15시간
3주차	Pytorch 딥러닝 학습 프레임워크 모델 구축 학습	15시간
4주차	compoGPT 모델 구현 방법 학습	12시간
5주차	강화학습 PPO 알고리즘 및 chatGPT 적용 방법 분석	12시간
6주차	SFT 방법 고안 적용	12시간
7주차	PPO를 위한 compoGPT 생성 곡 평가 및 Reward 모델 구현	12시간
8주차	PPO를 통한 compoGPT 최적화 I	12시간
9주차	PPO를 통한 compoGPT 최적화 II	15시간
10주차	compoGPT 곡 생성 및 평가	15시간

5. 지도 계획

전체적인 프로젝트 과정 및 실행계획을 같이 수립할 예정이다. 학습 자료(이론 및 유튜브 동영상 자료 등)를 제공하고 학생들이 잘 이해 못 하는 것을 설명해주어 관련 지식을 빠르게 습득하도록 도울 예정이다. 프로젝트 진행 중 발생하는 문제를 같이 토론하고 해결 방법을 같이 고민하여 문제해결 능력이 향상되도록 할 것이다. 학술대회 논문을 발표하게 되면 논문 작성 등에 대한 지도 및 발표 방법 등을 지도할 예정이다.

6. 기타

최근 인공지능 분야에서 가장 핫한 LLM을 경험하고 compoGPT 모델을 강화학습 통하여 최적화해봄으로서 인공지능 모델의 동작방법 및 응용방법을 경험해 볼 수 있습니다. 결과가 좋아 국내 학술대회에 논문을 발표하게 되면 국내 10개 인공지능 대학원 진학에도 도움이 되니 많은 지원 있기 바랍니다.