세상은 내가 정하는 대로 세상은 내가 정하는 대로

LLM Positional Encoding 방법 정리 (Absolute, Relative, Rotary, ... ) Absolute Positional Encoding (APE) Vanilla Transformer 모델에서 input sequence의 순서 정보를 유지하기 위해서 사용 RNN 계열과 달리 Transformer 구조는 모든 input token이 병렬적으로 들어가기 때문에 positional information이 없으면 input token들은 그냥 BoW처럼 취급된다 위와 같이, encoder와 decoder stack 이전에 들어갈 input embedding들에 element-wise addition을 해준다 Vanilla Transformer 모델에서는 Sine과 Cosine 함수..

LLM Tokenization 방법 정리(BytePair, Byte-level BPE, WordPiece, Unigram, SentencePiece)    Tokenization이란 input text sequence를 Token이라는 더 작은 부분으로 변환하는 과정이다 가장 단순한 Tokenization 방법은 공백을 기준으로 나누는 거겠지만, 이는 OOV(out of vocabulary) 문제를 일으킨다 이 문제를 해결하기 위해 Subword 기반의 Tokenization를 많이 사용하고 있으며, 이때 훈련 데이터에 없는 단어 등 기존에 보지 못했던 단어들에 대해서도 유연하게 대처할 수 있다   Tokenizer가 중요한 이유  토크나이저는 텍스트 처리의 첫 단계로, 그 정확성과 효율성이 전체 모델의..

LLM Alignment 방법 정리 (RLHF, DPO, KTO, ... ) Alignment란 AI 시스템을 인간의 목표, 선호도 및 원칙에 맞추어 조정하는 과정 인간의 윤리적 기준, 사회적 가치, 그리고 개별 사용자의 특정 요구를 반영하도록 조정하는 것을 포함 이런 Alignment를 잘 수행하기 위해 인간의 행동을 더 잘 반영하는 Loss Function들이 제시되었는데 이를 Human-Aware Loss Function (HALOs)라고 한다 PPO, DPO, MTO 등이 여기에 해당한다 Reinforcement Learning with Human Feedback (RLHF) / Reinforcement learning from AI feedback (RLAIF) 3 Step으로 수행 Step 1..

2024 컴퓨터 네트워크 개론 - 5. 응용 계층 1. OSI 7계층 + TCP/IP 4계층 2. 네트워크 인터페이스 계층 3. 인터넷 계층 4. 전송 계층 5. 응용 계층 각 계층의 프로토콜 계층 프로토콜 응용 계층 HTTP, DNS, FTP, SMTP, POP3, 기타 프로토콜 전송 계층 TCP, UDP 네트워크 계층 IP 데이터 링크 계층 이더넷 물리 계층 전기 신호 변환 응용 계층에 속하는 프로토콜 프로토콜 설명 Port Num. HTTP (HyperText Transfer Protocol) - www 상에서 정보를 주고 받을 수 있는 프로토콜 - 주로 HTML문서를 주고 받는 데에 쓰임 - TCP와 UDP를 사용하며, 80번 포트를 사용 - 클라이언트와 서버 사이에 이루어지는 요청/응답(requ..

2024 컴퓨터 네트워크 개론 - 4. 전송 계층 1. OSI 7계층 + TCP/IP 4계층 2. 네트워크 인터페이스 계층 3. 인터넷 계층 4. 전송 계층 5. 응용 계층 각 계층의 프로토콜 계층 프로토콜 응용 계층 HTTP, DNS, FTP, SMTP, POP3, 기타 프로토콜 전송 계층 TCP, UDP 인터넷 계층 IP 데이터 링크 계층 이더넷 물리 계층 전기 신호 변환 전송 계층 전송계층은 응용계층으로부터 메시지를 받아 전송계층 패킷으로 캡슐화하여 전송해준다 이 계층에서의 프로토콜은 TCP, UDP가 있다! TCP 특징 Segment를 보낸다 연결성, 신뢰성 프로토콜이다 = 두 호스트의 전송 계층 사이에 논리적 연결을 한다 연결성을 위해서 3 way handshake (+4 way handshak..

2024 컴퓨터 네트워크 개론 - 3. 인터넷 계층 1. OSI 7계층 + TCP/IP 4계층 2. 네트워크 인터페이스 계층 (물리계층 + 데이터링크 계층) 3. 인터넷 계층 4. 전송 계층 5. 응용 계층 각 계층의 프로토콜 계층 프로토콜 응용 계층 HTTP, DNS, FTP, SMTP, POP3, 기타 프로토콜 전송 계층 TCP, UDP 네트워크(인터넷) 계층 IP 데이터 링크 계층 이더넷 물리 계층 전기 신호 변환 네트워크 계층의 프로토콜 LAN을 벗어나서 이제 다른 네트워크와의 통신하는 단계 라우터와 라우터 간의 통신으로, 패킷을 주고 받는다 IP (Internet Protocol), ARP (Address Resolution Protocol) 등이 해당된다 ARP (Address Resoluti..

2024 컴퓨터 네트워크 개론 - 2. 네트워크 인터페이스 계층 1. OSI 7계층 + TCP/IP 4계층 2. 네트워크 인터페이스 계층 (물리계층 + 데이터링크 계층) 3. 인터넷 계층 4. 전송 계층 5. 응용 계층 각 계층의 프로토콜 계층 프로토콜 응용 계층 HTTP, DNS, FTP, SMTP, POP3, 기타 프로토콜 전송 계층 TCP, UDP 네트워크 계층 IP 데이터 링크 계층 이더넷 물리 계층 전기 신호 변환 네트워크 인터페이스 층(데이터 링크 + 물리 계층)은 MAC 주소을 통해 LAN(Local Area Network) 안에서의 통신이 가능하게 한다 이더넷 프로토콜을 사용하고 프레임 단위로 보낸다 LAN과 WAN LAN (Local Area Network) : 건물 안이나 특정 직역을 ..

2024 컴퓨터 네트워크 개론 - 1. OSI 7계층 + TCP/IP 4계층 1. OSI 7계층 + TCP/IP 4계층 2. 네트워크 인터페이스 계층 (물리계층 + 데이터링크 계층) 3. 인터넷 계층 4. 전송 계층 5. 응용 계층 네트워크는 컴퓨터와 컴퓨터 간 통신 -> 우리가 언어가 통해야 소통이 가능하듯 통신을 위해선 통일된 체계가 필요함 프로토콜 컴퓨터나 원거리 통신 장비에서 메세지를 주고 받는 양식과 규칙 체계 컴퓨터의 프로토콜은 크게 1) OSI 7계층과 2) TCP/IP 4계층이 주로 쓰인다 OSI 7계층 & TCP/IP 4계층 각 계층은 하위 계층의 기능을 이용하고, 상위 계층에게 기능을 제공한다 TCP/IP 5계층 : TCP/IP 4계층에서 시작한 네트워크 표준이 꾸준히 갱신되면서 하위 ..