분류 전체보기 (78) 썸네일형 리스트형 Swap Space의 상호작용- (Physical Memory, Present Bit, Page Frame, Memory) Swap Space 디스크 공간에 위치하며, 주로 운영체제에서 정한 파일 시스템 내의 특정 위치에 위치합니다. 이 공간은 운영체제가 사용하는 공간으로, 가상 메모리 시스템에서 메모리 부족 상황이 발생하면 일부 프로세스의 메모리 페이지를 Swap Space에 저장하여 더 많은 물리적 메모리 공간을 확보하는 데 사용됩니다. 운영체제에서 관리됩니다. 운영체제는 Swap Space의 사용 여부를 추적하고, 필요한 경우 페이지를 스왑 인 또는 스왑 아웃하여 물리 메모리를 확보합니다. 또한 Swap Space에 저장된 페이지가 필요할 경우, 운영체제는 해당 페이지를 다시 물리 메모리로 로드합니다. 물리 메모리와 Swap Space 간의 상호작용은 가상 메모리 매핑을 통해 이루어집니다. 가상 메모리 매핑은 프로세스가.. Memory Management Policy 운영체제의 메모리 관리 정책은 메모리를 효율적으로 할당하고 관리하기 위한 일련의 규칙과 방법을 말합니다. 메모리 관리 정책은 다양한 요소에 의해 영향을 받으며, 프로세스의 실행 특성, 메모리 하드웨어의 특성, 운영체제의 목표 등을 고려해 결정됩니다. 메모리 관리 정책에는 다음과 같은 요소들이 포함됩니다. 메모리 할당 방법 고정 분할 방법: 메모리를 일정한 크기의 파티션으로 나누어 사용하는 방법 가변 분할 방법: 메모리를 프로세스의 크기에 따라 동적으로 할당하는 방법 페이징 기법: 페이지 단위로 메모리를 할당하는 방법 세그멘테이션 기법: 세그먼트 단위로 메모리를 할당하는 방법 2. 페이지 교체 알고리즘 FIFO: 가장 오래된 페이지를 교체하는 알고리즘 LRU: 가장 최근에 참조되지 않은 페이지를 교체하는 .. Hybrid Approach on Paging, Multi-level Page Tables, Page Fault vs. Segmentation Fault Hybrid Approach: Segmented Paging 대두된 배경: 프로세스마다 페이지 테이블을 유지하면서 생기게 되는 메모리 오버헤드를 줄이기 위해서 고안 방안: 프로세스의 주소 공간을 Segment 단위로 분할하고, 각 Segment는 여러 개의 페이지로 분할해 가상 주소를 물리 주소로 변환하는 방식을 의미. 문제점 - Segment 단위로 분할하다 보니, 각 Segment의 크기가 다를 수 있음. 크기가 작은 Segment가 존재하면, 해당 Segment의 페이지 테이블은 비효율적일 수 있음. (External Fragmentation Issue) Multi-level Page Tables Page Table을 선형적으로 관리하는 것이 아닌, Tree 형태로 관리하면 어떨까 싶어 시작한 아이.. System call, Trap, Limited Direction Execution Protocol, 커널 스택 vs PCB System call 시스템 콜은 운영체제 커널에서 제공하는 서비스를 사용하기 위한 인터페이스로, 프로세스가 운영체제에게 요청하는 것입니다. 시스템 콜은 사용자 모드에서 실행 중인 프로세스가 운영체제의 기능을 사용할 수 있도록 하는 인터페이스입니다. 이를 위해 시스템 콜은 운영체제의 커널 모드에서 실행됩니다. 프로세스가 시스템 콜을 호출하면, 운영체제는 커널 모드로 전환되어 요청을 처리하고, 처리 결과를 다시 프로세스에게 반환합니다. System Call이 Procedure Call과 유사한 이유 시스템 콜이 프로시저 콜과 유사한 이유는, 시스템 콜이 프로세스가 운영체제에게 요청하는 함수이기 때문입니다. 프로세스가 함수를 호출하면, 해당 함수는 운영체제 커널에서 실행됩니다. 이때 함수 호출과 시스템 콜의.. [노트북으로 GPT 맛보기] Prolog(2) : 거대 언어 모델 경량화 기법 거대 언어 모델이라는 이름답게, GPT는 1,750억 개의 파라미터로 학습을 시켰다. 그렇다면 우리는 어떻게 해야 거대 언어 모델을 사용할 수 있을까? 거대 언어 모델을 사용할 수 있는 경량화 기법 2가지를 함께 알아보자. Low-Rank Adaptation (LoRA) 논문 링크: https://arxiv.org/pdf/2106.09685.pdf LoRA는 특정 태스크에 맞게 모델을 수정하는 과정에서 실제 변화하는 가중치는 기존 모델보다 훨씬 낮은 rank($r$)를 갖는다는 가설에서 시작한다. 이 작은 가중치 변화만으로 특정 작업을 위해 변화가 필요한 정보를 잘 표현할 수 있다면, 이를 분리해 별도의 matrix를 구성한 후 이를 fine-tuning을 하는 것만으로도 기존 모델 전체를 fine-tu.. [노트북으로 GPT 맛보기] Prolog (1) : GPT 모델 GPT란? Generative Pretrained Transformer의 약자로, 라벨링된 데이터 없이 인터넷상에서 수집할 수 있는 수많은 corpus에 존재하는 언어적 정보(linguistic inforamtion)를 이용해 언어 모델을 학습해 성능을 끌어올리는 것이 목적. 즉, 다량의 라벨링 되지 않은 corpus를 기반으로 모델이 언어의 universal representation을 이해하도록 만듦 GPT-1 1단계로 언어의 universal representation을 사전 학습 2단계로 각 작업에 맞게 준비한 소량의 라벨링 데이터를 기반으로 fine-tuning GPT-2 훨씬 큰 학습 데이터: 언어 모델을 사전 학습시키는 단계부터 여러 태스크가 가능하도록 task conditioning GPT.. 이전 1 ··· 7 8 9 10 다음
