Tipos de máquina compatíveis

Console

No painel Configurar nós do Dataproc Página Criar um cluster no console do Google Cloud, selecione a família, a série e o tipo de máquina do nós mestres e de trabalho do cluster.

Comando gcloud

Execute o gcloud dataproc clusters create com as sinalizações a seguir para criar um cluster do Dataproc com o mestre e/ou de trabalho:

• A sinalização --master-machine-type machine-type permite definir o tipo de máquina personalizado usado pela instância de VM mestre no cluster (ou instâncias mestre se você criar um cluster de alta disponibilidade
• A sinalização --worker-machine-type custom-machine-type permite definir o tipo de máquina predefinido ou personalizado usado pelas instâncias de VM de worker no cluster

Exemplo:

gcloud dataproc clusters create test-cluster /
    --master-machine-type custom-6-23040 /
    --worker-machine-type custom-6-23040 /
    other args

...
properties:
  distcp:mapreduce.map.java.opts: -Xmx1638m
  distcp:mapreduce.map.memory.mb: '2048'
  distcp:mapreduce.reduce.java.opts: -Xmx4915m
  distcp:mapreduce.reduce.memory.mb: '6144'
  mapred:mapreduce.map.cpu.vcores: '1'
  mapred:mapreduce.map.java.opts: -Xmx1638m
...

API REST

Para criar um cluster com tipos de máquinas personalizados, defina machineTypeUri no masterConfig e/ou workerConfig no InstanceGroupConfig na solicitação de API cluster.create.

Exemplo:

POST /v1/projects/my-project-id/regions/is-central1/clusters/
{
  "projectId": "my-project-id",
  "clusterName": "test-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "default",
      "zoneUri": "us-central1-a"
    },
    "masterConfig": {
      "numInstances": 1,
      "machineTypeUri": "n1-highmem-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
        "numLocalSsds": 0
      }
    },
    "workerConfig": {
      "numInstances": 2,
      "machineTypeUri": "n1-highmem-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
        "numLocalSsds": 0
      }
    }
  }
}

Console

Clique em Estender memória ao personalizar a memória dos tipos de máquina na Nó mestre e/ou seção "Nós de trabalho" do painel Configurar nós o Dataproc Criar um cluster no console do Google Cloud.

Comando gcloud

Para criar um cluster a partir da linha de comando gcloud com CPUs personalizadas com memória estendida, adicione um sufixo -ext às sinalizações ‑‑master-machine-type e/ou ‑‑worker-machine-type.

Exemplo

A seguinte amostra da linha de comando gcloud cria um cluster do Dataproc com uma CPU e 50 GB de memória (50 * 1.024 = 51.200) em cada nó:

gcloud dataproc clusters create test-cluster /
    --master-machine-type custom-1-51200-ext /
    --worker-machine-type custom-1-51200-ext /
    other args

API

O exemplo a seguir <code.instancegroupconfig< code="" dir="ltr" translate="no"></code.instancegroupconfig<> Snippet JSON de uma API REST do Dataproc clusters.create solicitação especifica 1 CPU e 50 GB de memória (50 * 1024 = 51.200) em cada nó:

...
    "masterConfig": {
      "numInstances": 1,
      "machineTypeUri": "custom-1-51200-ext",
    ...
    },
    "workerConfig": {
      "numInstances": 2,
      "machineTypeUri": "custom-1-51200-ext",
     ...
...

Console

No momento, não é possível criar no console do Google Cloud de um cluster de tipo de máquina do Dataproc ARM.

gcloud

Para criar um cluster do Dataproc que usa o ARM t2a-standard-4 tipo de máquina, execute o seguinte comando gcloud localmente em uma janela de terminal ou Cloud Shell:

gcloud dataproc clusters create cluster-name \
    --region=REGION \
    --image-version=2.1-ubuntu20-arm \
    --master-machine-type=t2a-standard-4 \
    --worker-machine-type=t2a-standard-4

Observações:

• REGION: a região onde o cluster vai ficar.

• As imagens ARM estão disponíveis a partir de 2.1.18-ubuntu20-arm.

• Consulte gcloud dataproc clusters create documentação de referência para mais informações sobre sinalizações adicionais de linha de comando que você pode usar para personalizar seu cluster.

• *-arm images oferecem suporte apenas aos componentes instalados e aos seguintes componentes opcionais listados na Página Versões de lançamento 2.1.x (os componentes opcionais restantes da versão 2.1 e todas as ações de inicialização listados) na página não são suportados):

  • WebHCat do Apache Hive
  • Docker
  • Zookeeper (instalado em clusters de alta disponibilidade) componente opcional em clusters que não são de alta disponibilidade)

API

O exemplo a seguir da API REST do Dataproc clusters.create cria um cluster de tipo de máquina ARM.

POST /v1/projects/my-project-id/regions/is-central1/clusters/
{
  "projectId": "my-project-id",
  "clusterName": "sample-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "default",
      "zoneUri": "us-central1-a"
    },
    "masterConfig": {
      "numInstances": 1,
      "machineTypeUri": "t2a-standard-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
      }
    },
    "workerConfig": {
      "numInstances": 2,
      "machineTypeUri": "t2a-standard-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
        "numLocalSsds": 0
      }
    },
    "softwareConfig": {
      "imageVersion": "2.1-ubuntu20-arm"
    }
  }
}