3월 7일 월요일
이제 본격적으로 NLP 공부를 시작한다. 기대된다.
새로운 팀을 꾸린 이후에 피어세션 시간에 첫 공식 모임을 가졌다. 대략적인 그라운드 룰을 정하고, 학습 공유 플랫폼을 정했다.
Bag of Words, Word Embedding, RNN, LSTM, GRU에 대해 배웠다. RNN과 LSTM은 이전에 배웠던 걸 복습하는 거였는데, 역시 매번 다시 볼 때마다 조금 더 이해가 잘 되는 듯 하다.
첫 번째 과제를 하지 못한 게 아쉽다.
3월 8일 화요일
피어세션 시간에 첫 번째 과제와 퀴즈에 대해 질문하고 답변하는 시간을 가졌다. 그리고 수업 관련 further question에 대한 답을 공유했다.
변성윤 마스터님의 이력서 특강 시간이 있었다. 내가 걸어온 길을 그려봄과 동시에 스스로에 대한 질문을 던지는 시간이 필요한 것 같다. 시간이 있을 때마다 이력서와 자소서를 최신화 해야 한다.
최근 며칠 동안 최장스트릭을 연장하기 위해 그저 브론즈 문제만 풀고 있어서 아쉽다. 내일은 제대로 된 알고리즘 문제를 하나 풀어야겠다.
3월 10일 목요일
seq2seq 이론과 Beam Search, BLEU score에 대해서 공부했다. 대충 개념은 알 것 같다. 특히 seq2seq는 얼마 전에 글쓰기 모임의 캠퍼분께서 정리하신 논문 리뷰를 봤던 게 이해하는 데에 도움이 되었다. 다만 학습 과정에서의 특징을 대략적으로 안다는 것이지, 구체적인 부분까지 이해하기엔 어려움이 많다. 특히나 이번에 2차 과제로 나온 RNN Language model 제작이 나에겐 어려웠다. 코드를 써서 시퀀스 흐름을 구현하는 것조차 힘들다.
피어세션 시간에 과제와 수업에서 생긴 궁금증에 대해 서로 물어보고 답해주는 시간을 가졌다.
- Attention backprop 강의 내용에서 decoder backprop의 과정과 의미 -> 디코더 히든 스테이트 하나 당 어떤 입력 단어들을 중점적으로 가져올지 결정하는 역할과 아웃풋 예측을 하는 총 두 개 임무를 수행하니 역전파도 그런 흐름에서 두 개가 이루어지지 않겠냐는 답을 했다.
- BLEU score가 번역 문장 평가에 있어서 갖는 단점은 무엇이 있을까요?…이건 나도 아직 강의를 제대로 다 보지 않아서 답을 할 수 없었다.
다들 생각이 깊으시고, 열심히 잘 하시는 것 같다. 알고리즘 공부 외에 내가 그들에게 기여할 수 있는 부분이 거의 없는 것 같다는 느낌이 들어서 부끄럽다.