2022-03-22 프로그래머스 데브코스

오늘 배운 것

• 데브코스
  • Transformer
  • BERT

깨달은 것

이제까지 TIL이 좀 뜸했다. 그도 그럴것이 이제까지 뭔가를 배웠다기보다는 프로젝트 기획하고 과제하는데 바빴기 때문이다. 그런 과정속에서 뭔가를 배웠다고 쓰기도 그렇고 딱히 쓸 말이 없어 이제까지 TIL을 미뤄왔다.

오늘은 Transformer와 BERT에 대해서 배웠다. 수업 중 인상 깊은 부분이 있었는데, 어려운 딥러닝 모델을 이해하는 방법에 대한 것이었다. 먼저 무슨 목적을 위한 모델인지 살피고 모델의 input, output, 그리고 모델의 추론과정을 이해하라고 했다. 학습은 나중이다. 이 과정으로 transformer를 이해하니 이제까지 transformer에 대해 오개념이 있었던 부분이 풀렸다. 나는 이제까지 Transformer의 multi-head self attention이 multi-head와 self attention이 같은 의미인줄 알았다. 한 단어와 여러 단어(이 부분을 멀티 헤드라고 이해)에 대해 관련성을 계산하는 것이 멀티 헤드이자 셀프 어텐션인줄 안 것이다. 하지만 이번에 공부하고보니 CNN에서 여러 필터를 쓰듯 셀프 어텐션을 여러번 행하는 것이었다. 솔직히 이제까지 Transformer에 대해 절반 정도 밖에 이해 못했다고 생각했는데 이번 기회에 정말 완전히 이해하게 되었다.

2022-02-25 프로그래머스 데브코스

오늘 배운 것

• 데브코스

  • 트랜잭션
  • 유용한 SQL 함수

  깨달은 것

  SQL을 이미 배웠음에도 트랜잭션이란 개념을 좀 대충알고 있었는데 이번 기회로 트랜잭션을 확실히 알게 되어서 좋았다. commit이라는 단어가 쓰여서 깃허브 명령어가 연상되기도 했다.

2022-02-22 프로그래머스 데브코스

오늘 배운 것

• 데브코스
  • Redshift
  • SQL DML

2022-02-21 프로그래머스 데브코스

오늘 배운 것

• 데브코스
  • 프로덕션 데이터베이스와 데이터 웨어하우스의 차이
  • 클라우드

깨달은 것

데이터에 관한 공부를 한지도 꽤 오래 되었는데 오늘 역시 뜻밖의 배움을 얻었다. 이제까지 배우면서 데이터 웨어하우스가 뭔지 데이터 파이프라인이 뭔지 알아볼 생각도 하지 않았다는 것이 조금 창피하다. 그저 mysql이나 oracle같은 프로덕션 데이터베이스를 생각하면서 데이터 웨어하우스를 막연하게 떠올렸을 뿐이다. 그러나 지금 이렇게 알게 되었으니 최대한 열심히 배워 취업에 도움이 되어야겠다고 생각했다.

오늘 배운 것

• 혼자 공부
  • transformer
  • GPT

깨달은 것

오늘은 자연어처리에서 유명한 Attention is all you need 논문과 Generative pre-trained transformer laguage model 논문을 리뷰했다. 자연어처리에 대해선 오래전부터 관심이 많았지만 워낙 개념이 어려운지라 손을 못대고 있었는데 오늘 큰맘먹고 최근 대세라고 하는 transformer와 GPT에 대해 공부해보고 싶어 논문을 찾아 읽었다.

transformer는 정말 참신한 아이디어라고 느꼈다. 이제까지 LSTM, GRU등의 recurrent model만 자연어 처리에 사용할 수 있다고 생각했는데 attention을 응용해서 전체 모델을 attention으로만 구현한 것을 보니 내가 트렌드에 많이 뒤쳐졌다고 생각했다. transformer는 또한 응용되어서 GPT같은 유용한 pre-trained 모델을 낳았다. 다음으로 transformer나 GPT 모델을 직접 사용해보고 싶다는 생각이 들었다.

2022-02-18 프로그래머스 데브코스

오늘 배운 것

• 라이브세션

  • 레이블 데이터가 적을 때 쓸 수 있는 딥러닝 기법

• 혼자 공부

  • pycaret

오늘 깨달은 것

오늘은 pycaret을 처음 사용해보았다. pycaret은 여러 머신러닝 알고리즘을 실험해보고 결과를 볼 수 있게 해주는 라이브러리인데 직접 사용해보니 확실히 너무 편했다. 기존에는 모델 여러개를 따로따로 돌리느라 힘들었는데 pycaret은 이를 한번에 해결해줬다. 모델 패러미터 최적화까지는 되지 않는 것 같지만 앞으로도 유용하게 사용해야겠다고 생각했다.

2022-02-15 프로그래머스 데브코스

오늘 배운 것

• 데브코스

  • 심층신경망 최적화

• 혼자 공부

  • SRGAN 논문 리뷰

깨달은 점

저번 batch normalization 이후로 두번째로 논문 리뷰를 진행해보았다. 이번에 읽은 논문은 우리 조가 선택한 최종 프로젝트에 필요한 지식중 하나인 SRGAN에 관한 것이다. SRGAN은 GAN(적대적 신경망)을 이용해서 저화질 사진 or 영상을 초해상화(super resolution) 한다. 논문에서 GAN을 사용하지 않은 초해상화와 GAN을 사용한 초해상화를 비교함으로써 수치적 지표가 꼭 실제 사용에 있어서 성능을 의미하지 않는다는 것을 보여준다. GAN은 기존에 단순히 loss function의 최적화를 하는 방식으로 작동하는 신경망의 개념을 넘어서 좀 더 추상적인 특징을 추출하는 데 효과적인 framework인 것 같다고 느꼈다.

2022-02-10 프로그래머스 데브코스 DAY

오늘 배운것

• 스터디
  • 카테고리 변수 인코딩
  • autoML

깨달은 것

카테고리 변수를 전처리하는 방법으로 onehot encoding, label encoding 외에도 해당 카테고리에 속하는 데이터들의 target 변수의 평균을 이용해 인코딩하는 방법도 있다는 것을 알게되었다. 실제로 kaggle competition에서 이 방법을 사용햇더니 mae가 크게 떨어졌다. 처음엔 data leakage로 테스트 셋에는 mae가 떨어지지 않을 것이라고 생각했지만 오히려 성적이 좋아졌다. 다음엔 카테고리 변수를 처리할 때는 좀 더 이 방법을 자주 써야겠다는 생각을 했다.

2022-01-28 프로그래머스 데브코스 DAY 40

오늘 배운 것

• 혼자 공부
  • hyperopt, optuna, kerastunner

깨달은 것

오늘은 머신러닝/딥러닝 모델의 하이퍼파라미터를 튜닝하는 라이브러리에 대해서 조사하고 포스팅으로 남겼다. 이제까지 하이퍼파라미터를 튜닝할 때는 그리드서치나 손으로 숫자를 바꿔가며 했었는데 앙상블 모델의 각종 하이퍼파라미터와 심지어 딥러닝 레이어의 유닛 수, 드롭아웃 비율등의 하이퍼파라미터까지 최적화할 수 있는 라이브러리가 있다는 사실을 알고 지금까지 너무 시간을 낭비했구나 싶었다. 앞으로 새로운 것은 빠르게 받아들이고 효율적인 공부를 지향해야겠다고 생각했다.

2022-01-26 프로그래머스 데브코스 DAY 38

오늘 배운 것

• 데브코스

  • 선형분류

• 스터디

  • Vit, transformer

깨달은 것

오늘 최종 프로젝트 주제에 대해 논의했다. 아직 정해지진 않았지만 아마 super resolution이 유력해보인다. 아직 GAN은 코드 몇개를 보기만 하고 실제로 다뤄본 적 없는데 이번 설 연휴에 확실히 배워둬야겠다는 생각이 든다.