Naver Boostcamp AI Tech 7기 Week 13 회고록
Naver Boostcamp AI Tech 7기 Week13 회고록
2024-11-11
오늘은 LLaMA의 기본 동작원리에 대해서 간략하게 배웠다.
이 모델에서 Positional Encoding 방식이 기존 Transformer와 다른 점이 있었는데,
Rotary Positional Embedding(RoPE)와 Flash Attention2이다.
RoPE
RoPE는 Roformer: Enhanced Transformer with Rotary Positon Embedding에서 처음 제안된 방식이다. 기존 Positional Encoding에 대한 문제점을 기반으로 다양한 Positional Encoding이 나왔었는데, 그 중 하나이다.
기존 Positional Encoding의 문제점
2024-11-13
또.. 새로운 Attention이 나왔다.
vLLM에서 사용하는 Paged Attention 기법.. 오늘은 이 기법에 대해서 공부해보겠다.
Paged Attention
추가로 모든 LLM API의 표준으로 사용되는 OpenAI의 Chat Completion에 대해서 알아보자
Chat Completion
2024-11-14
SwiGLU 구현하는 과제에서 torch.chunk라는 것을 GPT를 통해 배웠다..
- 정리하자
이력서를 써보았다.
생각보다.. 내가 한 것들이 많이 없다는 것을 알았다.
사실 조금 현타가 왔었다. 나의 4년은 내가 지원하고자 하는 회사와의 전혀 연관없는 생활이었는가…
물론 그렇지 않겠지만 그래도 뭔가 아쉬운 점은 많다.
그래도 채워나가자!!!! 아자아자
추가적으로 이번주엔 삶의 지도를 진짜로 써볼까 한다.
사실 어떻게 써야될지 고민이 정말 많은데.. 일단 써보고 생각하자
