3월 21일 월요일
오늘부터 각 도메인별 첫 대회가 열렸다. NLP 트랙에선 문장 내 개체간 관계 추출 대회가 시작되었다. KLEU가 뭔지 알게 되었고, BERT 언어 모델을 활용하는 방법에 관한 강의를 들었다. 오늘은 토크나이징과 간단한 챗봇을 만드는 원리와 실습코드를 공부했다. 챗봇 만드는 방법과 원리가 생각보다 간단해서 놀라웠다.
피어세션 시간에 대회를 위한 협업툴을 깃허브와 wandb로 정했다. 서버에 vscode로 원격 접속하고 깃허브 프로젝트를 관리하는 과정이 어려웠지만, 팀원분들이 잘 알려주셨다.
3월 22일 화요일
이번 주에 공개된 강의를 전부 들었다. 강의 내용 자체는 어렵지 않았으나, 실습 코드와 스페셜 미션이 어렵다. BERT로 문장 분류 모델을 만드는 강의였는데, 종류가 다양하고 그 코드들이 전체적으로 비슷하지만 조금씩 달라서 헷갈린다.
내일까지 강의를 최대한 듣고 첫 번째 스페셜 미션을 다해서 피어세션을 가지기로 했다.
요즘 다시 새로운 알고리즘 문제를 풀기 시작했는데, 바쁘다는 핑계로 쉬운 문제만 골라서 풀고 있다.
3월 23일 수요일
멘토링 시간에 프로젝트 관련 조언이 있었다. hyperparameter tuning이 아닌 좋은 아이디어를 제안하는 것에 집중하자. 언제나 내가 무언가 기여할 것을 찾아야 한다. 어떤 역할을 수행할지 생각하자.
3월 24일 목요일
wandb 사용을 본격적으로 시작했다. 다만 아직 wandb를 해석하고 sweep 기능을 사용하는 데에 익숙해져야 할 것 같다.
피어세션 시간에 “An Improved Baseline for Sentence-level Relation Extraction” 논문을 읽고 함께 의견을 나누었다.
train과 val 데이터 나누는 것과 early stopping 기능을 하고 싶은 사람만 시도하기로 했다. 이때 early stopping 기준은 step이 아닌 epoch로 합의했다.
3월 25일 금요일
오늘 early stopping 추가된 코드로 wandb sweeping 기능을 사용했다. 처음 시도한 방법은 성능 개선이 되질 않았는데, 두 번째 학습은 14시에 시작했는데 23시 50분이 되도록 끝나지 않고 있다.