티스토리 뷰
Virtual Machine
VM은 컴퓨터 하드웨어와 유사하지만 동일하지는 않습니다. VM은 가상 CPU, 일정량의 메모리, 디스크 스토리지 및 IP 주소로 구성됩니다. 또한 Compute Engine은 VM을 만드는 GCP의 서비스입니다. 매우 유연하며 물리적 하드웨어에 존재할 수 없는 일부 옵션을 포함하고 많은 옵션을 제공합니다.
Virtual Machine 구성요소
1. Compute Engine
2. Compute Options(vCPU and Memory)
3. Images
4. Disk Options
5. Common Compute Engine Actions
Compute Engine:
- Infrastructure as a Service(IaaS)
- predefined 된 머신 타입과 custom 머신 타입은 원하는 메모리 및 CPU 용량을 선택할 수 있습니다.
- 표준 하드 드라이브(HDD), SSD, 로컬 SSD 또는 혼합 구성을 사용할 수 있습니다.
- 네트워킹 인터페이스를 구성하고 Linux 및 Windows 시스템의 combination을 실행할 수도 있습니다.
Compute Engine 특징
- 이 모듈에서는 머신 크기 조정, startup scripts, metadata, Availabilty policies, 가격, 사용 할인과 같은 여러 가지 기능을 다룹니다.
Compute
- 선택한 CPU는 네트워크 처리량에 영향을 미칩니다.
- 네트워크는 초당 최대 10Gb의 대역폭을 수신하는 2 개 또는 4 개의 CPU가 있는 인스턴스를 제외하고 각 CPU 코어에 대해 초당 2 Gbits로 확장됩니다.
- T4 또는 V100 GPU가 연결된 특정 인스턴스의 경우 초당 최대 처리량은 100 Gbit입니다.
- 각 가상 CPU (또는 vCPU)는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
- CPU 플랫폼이란 아래의 빨간 네모 박스 안에 있는 CPU 프로세서 중 하나입니다.
Storage
- Standard(HDD), SSD, or local SSD 3개의 옵션이 있습니다.
- SSD는 표준 디스크에 비해 달러당 더 많은 IOPS(Input/Output Operations Per Seconds)를 제공하도록 설계되었습니다.
- Local SSD는 물리적 하드웨어에 연결되어 있기 때문에 SSD Persistent 디스크보다 처리량이 훨씬 높고 지연 시간이 짧습니다. 그러나 로컬 SSD에 저장 한 데이터는 인스턴스를 중지하거나 삭제할 때까지만 유지됩니다.
- 일반적으로 local SSD는 램 디스크를 생성하려는 경우와 마찬가지로 스왑 디스크로 사용되지만 더 많은 용량이 필요한 경우 localSSD에 저장할 수 있습니다.
- 각 인스턴스에 대해 총 3TB의 local SSD 공간에 대해 최대 8개의 개별 375GB Local SSD 파티션이 있는 인스턴스를 만들 수 있습니다.
- standard(HDD) 및 non-local SSD 디스크는 각 인스턴스에 대해 최대 64TB까지 크기를 조정할 수 있습니다. 이러한 디스크의 성능은 할당된 각 GB 공간에 따라 확장됩니다.
Networking
- VPC에 대해 설명할 때 언급됐던 내용입니다. 자세한 건 아래의 링크를 참고하세요!
[구글 클라우드 플랫폼] GCP : Cloud VPC(Virtual Private Cloud)
Virtual Private Cloud(VPC) Virtual Private Cloud(VPC)는 Compute Engine 가상 머신(VM) 인스턴스, Google Kubernetes Engine(GKE) 클러스터, App Engine 가변형 환경에 네트워킹 기능을 제공합니다. 또한 ..
puzzle-puzzle.tistory.com
VM access
- 인스턴스 creator는 해당 인스턴스에 대한 전체 루트 권한을 갖습니다.
- Linux 인스턴스에서 creator는 SSH 기능을 가지고 있으며 GCP Console을 사용하여 다른 사용자에게 SSH 기능을 부여할 수 있습니다.
- Windows 인스턴스에서 creator는 GCP Console을 사용하여 사용자 이름과 비밀번호를 생성할 수 있습니다. 그 후에 사용자 이름과 비밀번호를 아는 사람은 누구나 원격 데스크톱 프로토콜 (RDP) 클라이언트를 사용하여 인스턴스에 연결할 수 있습니다.
VM lifecycle
- 위의 그림을 보고 이해하시면 됩니다.
Changing VM state from running
- VM 상태를 running에서 변경할 수 있는 여러 가지 방법이 있습니다. 일부 방법은 GCP Console 및 gcloud 명령어가 포함되고 다른 방법은 reboot 및 shutdown와 같이 OS에서 수행됩니다.
Availability policy: Automatic changes
- 인스턴스의 기본 유지 관리 동작은 live migrate이지만 유지 관리 이벤트 중에 인스턴스를 종료하도록 동작을 변경할 수 있습니다.
- VM이 비정상 종료 또는 기타 유지 관리 이벤트로 인해 종료되면 인스턴스가 기본적으로 자동으로 다시 시작되지만 변경할 수도 있습니다.
- 이러한 Availability policy는 Automatic restart 및 호스트 유지 관리 옵션을 구성하여 인스턴스를 만드는 동안과 인스턴스가 실행되는 동안 모두 구성할 수 있습니다.
Stopped (Terminated) VM
- VM이 종료되면 메모리 및 CPU 리소스에 대한 비용을 지불하지 않습니다. 그러나 연결된 디스크 및 예약된 IP 주소에 대해서는 요금이 부과됩니다.
- Terminated 상태에서는 위에서 나열된 모든 작업 (예 : 머신 유형 변경)을 수행할 수 있지만 Stopped VM의 이미지는 변경할 수 없습니다.
- 또한 여기에 나열된 모든 작업에서 가상 머신을 stop 해야 하는 것은 아닙니다.
Compute Options(vCPU and Memory):
Creating a VM
- 다음 세 가지 옵션을 사용해서 VM을 생성할 수 있습니다. GCP Console, Cloud Shell Command line, REST API
- 매우 복잡한 구성을 자동화하고 처리하려는 경우, 환경에 대한 다양한 옵션을 모두 정의하여 RESTful API를 통해 프로그래밍 방식으로 구성할 수 있습니다.
Machine Types
- Machine types은 시스템 메모리 크기, vCPU 수, 최대 영구 디스크 용량을 포함하여 VM 인스턴스에서 사용할 수 있는 가상화된 하드웨어 리소스의 특정 모음을 지정합니다. GCP는 2 가지 카테고리로 그룹화할 수 있는 여러 머신 유형을 제공합니다.
- Predefined machine types
고정된 리소스 모음이 있고 Compute Engine에서 관리되며 여러 클래스에서 사용할 수 있습니다. 각 클래스에는 vCPU 당 미리 정의된 GB 메모리 비율이 있습니다.
-- Standard machine types
-- High-memory machine types
-- High-CPU machine types
-- Memory-optimized machine types
-- Compute-optimized machine types
-- Shared-core machine types
- Custom machine types
인스턴스의 vCPU 수와 메모리 양을 지정할 수 있습니다.
Standard machine types
- Standard machine 유형은 CPU와 메모리 요구가 균형을 이루는 작업에 적합합니다. Standard machine 유형에는 vCPU 당 3.75GB의 메모리가 있습니다.
- 각 머신은 총 persistent 디스크 크기가 64TB 인 최대 128 개의 persistent 디스크를 지원합니다. 이는 고성능 메모리, 고성능 CPU, 메모리 최적화, 컴퓨팅 최적화 머신 유형에도 해당됩니다.
High-memory machine types
- 높은 메모리 머신 유형은 vCPU에 비해 더 많은 메모리가 필요한 작업에 이상적입니다.
- 고성능 메모리 머신 유형에는 vCPU 당 6.50GB의 시스템 메모리가 있습니다.
High-CPU machine types
- 고성능 CPU 머신 유형에는 vCPU 당 0.90GB의 메모리가 있습니다.
Memory-optimized machine types
- 이러한 머신 유형은 SAP HANA 및 비즈니스 웨어 하우징 워크로드, 유전체학 분석 및 SQL 분석 서비스와 같은 인 메모리 데이터베이스 및 인 메모리 분석에 완벽하게 적합합니다.
- vCPU 당 14GB 이상의 메모리가 있습니다.
- 이러한 머신은 표에 표시된 대로 4 가지 구성으로 제공되며, 현재는 n1-megamem 96 만 로컬 SSD를 지원합니다.
Compute-optimized machine types
- 최신 Intel Scalable Processors (Cascade Lake)를 기반으로 구축된 C2 머신 유형은 최대 3.8 Ghz의 지속 형 올 코어 터보를 제공하고 기본 서버 플랫폼의 아키텍처에 대한 완전한 투명성을 제공하여 고급 성능 튜닝을 가능하게 합니다.
- C2 머신 유형은 훨씬 더 많은 컴퓨팅 성능을 제공하고 새로운 플랫폼에서 실행되며 일반적으로 N1 고성능 CPU 머신 유형보다 컴퓨팅 집약적인 워크로드에 더 강력합니다.
Shared-core machine types
- Shared-core 머신 유형은 인스턴스를 실행하는 호스트 CPU의 단일 하드웨어 하이퍼 스레드에서 일정 시간 동안 실행할 수 있는 하나의 vCPU를 제공합니다.
- Shared-core 인스턴스는 다른 머신 유형보다 리소스 집약적이지 않은 소규모 애플리케이션을 실행하는 데 더 비용 효율적일 수 있습니다. 선택할 수 있는 shared-core 머신 유형은 다음 두 가지뿐입니다.
- f1-micro
f1-micro 머신 유형은 인스턴스가 짧은 시간 동안 추가 물리적 CPU를 사용할 수 있도록 하는 bursting 기능을 제공합니다. 인스턴스에 원래 할당된 것보다 더 많은 물리적 CPU가 필요할 때 bursting이 자동으로 발생합니다. 이러한 급증하는 사용량 동안 인스턴스는 burst에서 사용 가능한 물리적 CPU를 기회적으로 활용합니다. burst는 영구적이지 않으며 주기적으로만 가능합니다.
- g1-small
(설명이 없네요..)
Creating custom machine types
- 선택할 수 있는 메모리 및 vCPU 양에는 여전히 몇 가지 제한이 있습니다.
- vCPU가 1개 또는 짝수인 머신 유형만 만들 수 있습니다.
- 메모리는 vCPU 당 0.9GB에서 6.5GB 사이 여야 합니다.
- 인스턴스의 총메모리는 256MB의 배수 여야 합니다.
- 확장 메모리를 사용하면 vCPU당 적용되는 제한 없이 메모리를 머신 유형에 추가할 수 있습니다. 확장 메모리는 머신 유형에 따라 일정한 양까지만 추가할 수 있습니다.
Pricing
- 모든 vCPU, GPU 및 GB 메모리에 최소 1 분 요금이 부과됩니다. 1분 이후부터는 1초당 요금이 부과됩니다.
- Compute Engine은 리소스 기반 가격 모델을 사용합니다. 여기서 Compute Engine의 각 vCPU 및 메모리 GB는 단일 머신 유형의 일부가 아닌 개별적으로 청구됩니다.
- 워크로드가 안정적이고 예측 가능한 경우 1 년 또는 3 년의 사용 기간을 약정한 대가로 정상 가격에서 할인된 가격으로 특정 양의 vCPU 및 메모리를 구매할 수 있습니다. 대부분의 머신 유형 또는 커스텀 머신 유형의 할인은 최대 57 % 입니다. 메모리 최적화 머신 유형의 할인은 최대 70 % 입니다.
- Preemptible VM은 일반 인스턴스보다 훨씬 저렴한 가격으로 만들고 실행할 수 있는 인스턴스입니다. 그러나 Compute Engine은 다른 작업을 위해 해당 리소스에 액세스 해야 하는 경우 이러한 인스턴스를 종료 (또는 preempt) 할 수 있습니다. Preemptible 인스턴스는 Compute Engine 용량을 초과하므로 가용성은 사용량에 따라 다릅니다.
Preemptible
- VM은 언제든지 Preemptible 될 수 있으며 첫 1 분 이내에 발생하는 경우 요금이 부과되지 않습니다.
- Preemptible VM은 최대 24시간 동안만 활성화되며 시스템이 Preempt 되기 30초 전에 알림을 받습니다.
- Preemptible VM에는 실시간 마이그레이션이나 자동 재시작이 없다는 점에 주목해야 합니다.
- 선점 형 VM의 주요 사용 사례 중 하나는 Batch processing job을 실행하는 것입니다.
Sole-tenant nodes physically isolate workloads
- 규정 준수 요구 사항을 충족하기 위해 다른 워크로드 또는 가상 머신과의 물리적 격리가 필요한 워크로드가 있는 경우 Sole-tenant nodes physically isolate workloads를 고려하는 것이 좋습니다.
Shielded VMs offer verifiable integriy
- Shielded VM은 VM 인스턴스의 검증 가능한 무결성을 제공하므로 인스턴스가 부팅 또는 커널 수준 멀웨어 또는 루트킷에 의해 손상되지 않았음을 확신할 수 있습니다.
- Secure boot, virtual trusted platform module 또는 vTPM-enabled Measured Boot, integrity monitoring. 을 사용하여 Shielded VM이 검증 가능한 무결성을 달성합니다.
- Shielded VMs는 Shielded Cloud 이니셔티브의 첫 번째 제품입니다. Shielded Cloud 이니셔티브는 검증 가능한 무결성을 제공하고 데이터 유출을 방지하는 데 도움이 되는 vTPM 차폐 또는 봉인과 같은 기능을 제공하여 모든 GCP에 대해 더욱 안전한 기반을 제공하기 위한 것입니다.
- Shielded VM 기능을 사용하려면 Shielded 이미지를 선택해야 합니다.
Images:
- VM을 생성할 때 boot disk image를 선택할 수 있습니다.
- Image에는 부트 로더, 운영 체제, 파일 시스템 구조, 사전 구성된 소프트웨어, 기타 사용자 정의가 포함됩니다.
Images
- Public image와 Custom image 중 하나를 선택할 수 있습니다.
Public image
이미지 중 일부 p로 괄호 안에 표시된 것은 프리미엄 이미지입니다. 이러한 이미지는 최소 1 분 후에는 초당 요금이 부과됩니다. 단, SQL Server 이미지는 최소 10 분 후에는 분당 요금이 부과됩니다. 프리미엄 이미지 가격은 머신 유형에 따라 다릅니다. 그러나 이러한 가격은 글로벌 가격이며 Region이나 zone에 따라 다르지 않습니다.
Custom image
특정 organization에 대해 승인된 소프트웨어를 사전 설치하여 사용자 지정 이미지를 만들고 사용할 수 있습니다. 또한 자체 Premises이나 workstation 또는 다른 클라우드 제공 업체에서 이미지를 가져올 수도 있습니다. 이것은 에이전트를 설치하는 것만 큼 간단한 무료 서비스이며, 꼭 한번 보시는 것이 좋습니다. 프로젝트의 모든 사람이나 다른 프로젝트 간에 사용자 지정 이미지를 공유할 수도 있습니다.
Disk options:
Boot disk
- 모든 단일 VM은 로드할 기본 이미지를 선택하기 때문에 single root persistent 디스크와 함께 제공됩니다.
- VM 삭제 후에도 부팅 디스크가 유지되도록 하려면 인스턴스 속성에서 '인스턴스 삭제 시 부팅 디스크 삭제'옵션을 사용 중지해야 합니다.
Persistent disks
- 물리적으로 machine에 연결되어 있지 않습니다. 이렇게 디스크와 컴퓨팅을 분리하면 VM이 종료된 경우에도 디스크가 유지됩니다.
- 디스크의 스냅 샷을 수행하여 incremental 백업을 할 수 있습니다. 또한 실행 중이며 VM에 연결되어있는 동안에도 동적으로 크기를 조정할 수 있다는 것입니다.
- 읽기 전용 모드의 디스크를 여러 VM에 연결할 수도 있습니다. 이를 통해 여러 인스턴스 간에 정적(static) 데이터를 공유할 수 있으며, 이는 개별 인스턴스의 고유한 디스크에 데이터를 복제하는 것보다 저렴하여 비용을 아낄 수 있습니다.
- Zonal persistent 디스크는 효율적이고 안정적인 블록 저장소를 제공합니다. Regional persistent 디스크는 동일한 지역의 두 영역에서 active-active 디스크 복제를 제공합니다. Regional persistent 디스크는 여러 영역에서 동기식으로 복제되는 내구성 있는 저장소를 제공하며 고 가용성이 필요한 고성능 데이터베이스 및 엔터프라이즈 애플리케이션을 위한 훌륭한 옵션입니다.
- 기본적으로 Compute Engine은 모든 미사용 데이터를 암호화합니다. GCP는 사용자의 추가 작업 없이 암호화를 처리하고 관리합니다. 그러나 암호화를 직접 제어하고 관리하려는 경우 Cloud Key Management Service를 사용하여 키 암호화 키 (고객 관리 암호화 키라고 함)를 만들고 관리하거나 자체 키 암호화 키를 만들고 관리할 수 있습니다. (고객 제공 암호화 키라고 부릅니다).
Local SSD disks are physically attaced a VM
- Local SSD는 가상 머신에 물리적으로 연결된다는 점에서 persistent 디스크와 다릅니다. 따라서 이러한 디스크는 일시적이지만 매우 높은 IOPS를 제공합니다.
- 현재는 각각 375GB의 local SSD 디스크를 최대 8 개까지, 총 3TB를 저장할 수 있습니다. Local 디스크의 데이터는 reset 후에도 유지되지만 VM이 중지(stop)되거나 종료(terminate)될 때는 유지되지 않습니다. 왜냐하면 local 디스크는 다른 VM에 다시 연결할 수 없기 때문입니다.
Ram disk
- 메모리에 데이터를 저장하려면 tmpfs를 사용하면 됩니다. 이것은 작은 데이터 구조가 필요한 경우 사용할 수 있는 가장 빠른 유형의 성능을 가지고 있습니다. RAM 디스크 데이터를 백업하기 위한 persistent 디스크와 함께 이러한 기능을 활용해야 하는 경우 high-memory 가상 머신을 권장합니다.
Summary of disk options
- 요약하자면, persistent 디스크는 reboot과 snapshot을 생성할 수 있지만 local SSD 및 RAM 디스크는 ephemeral입니다.
- 성능보다 용량이 우선시 되는 경우 persistent HDD 디스크를 선택하는 것이 좋습니다. 하지만 고성능이 필요한 경우 SSD 옵션이 우선시됩니다. persistent 디스크는 각 persistent 디스크의 데이터가 여러 물리적 디스크에 분산되어 있으므로 데이터 중복성을 제공합니다.
- local SSD는 더 높은 성능을 제공하지만 데이터 중복성이 없습니다. 마지막으로 RAM 디스크는 매우 휘발성이 있지만 최고의 성능을 제공합니다.
Maximum persistent disks
- VM에 연결할 수 있는 local SSD 수에 제한이 있는 것처럼 VM에 연결할 수 있는 persistent 디스크 수에도 제한이 있습니다.
- 처리량은 디스크 IO와 동일한 대역폭을 공유합니다. 따라서 많은 양의 디스크 IO 처리량을 계획하는 경우 네트워크 송신 또는 수신 처리량과도 경쟁하게 됩니다. 특히 가상 머신에 연결된 드라이브 수를 늘릴 경우 특히 그렇습니다.
Persistent disk management differences
- 컴퓨터의 실제 하드 디스크와 기본적으로 가상 네트워크로 연결된 장치인 persistent 디스크에는 많은 차이점이 있습니다.
- 우선 일반 컴퓨터 하드웨어 디스크는 파티션을 나누어야 합니다. 기본적으로 드라이브가 있고 운영 체제가 자체 용량을 확보할 수 있도록 섹션을 조각하고 있습니다. 확장하려면 다시 파티션 해야 하고 변경하려면 다시 포맷해야 할 수도 있습니다. 중복성을 원하면 중복 디스크 어레이를 생성하고 암호화를 원할 경우 파일을 디스크에 쓰기 전에 암호화해야 합니다.
- 클라우드 persistent 디스크의 경우 모든 관리가 백엔드에서 처리되므로 상황이 매우 다릅니다. 디스크는 가상 네트워크 장치이기 때문에 단순히 디스크를 늘리고 파일 시스템의 크기를 조정할 수 있습니다. 중복 및 스냅 샷 서비스가 내장되고 디스크가 자동으로 암호화됩니다. 자신의 암호키를 사용할 수도 있으며, 이를 통해 본인을 제외하고는 데이터에 접근할 수 없습니다.
Commom Compute Engine Actions
Metadat and scripts
- 모든 VM 인스턴스는 metadata server에 자신의 metadata를 저장합니다.
- 메타 데이터 서버는 시작 및 종료 스크립트와 함께 사용할 때 특히 유용합니다. 메타 데이터 서버를 사용하면 추가 승인 없이 인스턴스에 대한 고유한 정보를 프로그래밍 방식으로 가져올 수 있기 때문입니다.
Move an instance to a new zone
- 또 다른 common action은 인스턴스를 새 zone으로 이동하는 것입니다.
- 동일한 region 내에서 인스턴스를 이동하는 경우 gcloud compute instances move 명령어를 사용하여 이동을 자동화할 수 있습니다.
- 인스턴스를 다른 region으로 이동하는 경우 수동으로 이동해야 합니다. 여기에는 모든 persistent 디스크의 스냅 샷을 만들고 해당 스냅 샷에서 대상 zone에 새 디스크를 만드는 작업이 포함됩니다. 다음으로 대상 zone에 새 VM을 만들고 새 영구 디스크를 연결 및 고정 IP를 할당하고 VM에 대한 모든 참조를 업데이트합니다. 마지막으로 원본 VM, 해당 디스크 및 스냅 샷을 삭제합니다.
Snapshot: Back up critical data
- 스냅 샷에는 많은 사용 사례가 있습니다. 예를 들어 애플리케이션, 가용성, 복구 요구 사항을 충족하기 위해 중요한 데이터를 내구성 있는 스토리지 솔루션에 백업하는 데 사용할 수 있습니다. 이러한 스냅 샷은 Cloud Storage에 저장됩니다.
Snapshot: Migrate data between zones
- 스냅 샷을 사용하여 zones 간에 데이터를 마이그레이션 할 수도 있습니다. 예를 들어 데이터가 사용되는 영역에서 로컬로 연결될 수 있는 드라이브로 데이터를 마이그레이션 하여 지연 시간을 최소화할 수 있습니다.
Snapshot: Transfer to SSD to improve performance
- 다른 디스크 유형으로 데이터를 전송하는 또 다른 스냅 샷 사용 사례를 소개합니다. 예를 들어 디스크 성능을 개선하려는 경우 스냅 샷을 사용하여 standard HDD persistent 디스크에서 SSD persistent 디스크로 데이터를 전송할 수 있습니다.
Persistent disk snapshots
- 우선, 스냅 샷은 local SSD가 아닌 persistent 디스크에서만 사용할 수 있습니다. 스냅 샷은 persistent 디스크의 데이터를 정기적으로 백업하는 데 유용하다는 점에서 주로 인스턴스를 만들거나 인스턴스 템플릿을 구성하는 데 사용되는 공개 이미지 및 커스텀 이미지와 다릅니다.
- 스냅 샷은 incremental적이고 자동으로 압축되므로 디스크의 전체 이미지를 정기적으로 생성하는 것보다 더 빠르고 훨씬 저렴한 비용으로 persistent 디스크에 일반 스냅 샷을 생성할 수 있습니다. 또한 스냅 샷을 새 persistent 디스크로 복원하여 새 zone으로 이동할 수 있습니다.
Resize persistent disk
- 또 다른 Common Compute Engine Action은 persistent 디스크의 크기를 조정하는 것입니다. 스토리지 용량 증가의 추가 이점은 I / O 성능을 향상하는 것입니다. 이는 스냅 샷을 만들지 않고도 디스크가 실행 중인 VM에 연결되어있는 동안 수행할 수 있습니다. 그러나 디스크의 크기를 축소시키는 것은 불가능합니다.
힘드네요ㅠㅠ 여기까지 읽으시느라 고생하셨어요