Tipi di macchine supportati

Console

Dal riquadro Configura nodi di Dataproc Pagina Crea un cluster nella console Google Cloud, seleziona famiglia, serie e tipo di macchine nodi master e worker del cluster.

Comando g-cloud

Esegui l' gcloud dataproc clusters create con i seguenti flag per creare un cluster Dataproc con master e/o tipi di macchine worker:

• --master-machine-type machine-type consente di impostare il tipo di macchina predefinita o personalizzata utilizzato di un'istanza VM nel tuo cluster (o istanze master se crei cluster ad alta disponibilità)
• --worker-machine-type custom-machine-type consente di impostare il tipo di macchina predefinita o personalizzata utilizzato dal Istanze VM nel tuo cluster

Esempio:

gcloud dataproc clusters create test-cluster /
    --master-machine-type custom-6-23040 /
    --worker-machine-type custom-6-23040 /
    other args

...
properties:
  distcp:mapreduce.map.java.opts: -Xmx1638m
  distcp:mapreduce.map.memory.mb: '2048'
  distcp:mapreduce.reduce.java.opts: -Xmx4915m
  distcp:mapreduce.reduce.memory.mb: '6144'
  mapred:mapreduce.map.cpu.vcores: '1'
  mapred:mapreduce.map.java.opts: -Xmx1638m
...

API REST

Per creare un cluster con tipi di macchine personalizzate, imposta la classe machineTypeUri in masterConfig e/o workerConfig InstanceGroupConfig nel cluster.create richiesta API.

Esempio:

POST /v1/projects/my-project-id/regions/is-central1/clusters/
{
  "projectId": "my-project-id",
  "clusterName": "test-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "default",
      "zoneUri": "us-central1-a"
    },
    "masterConfig": {
      "numInstances": 1,
      "machineTypeUri": "n1-highmem-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
        "numLocalSsds": 0
      }
    },
    "workerConfig": {
      "numInstances": 2,
      "machineTypeUri": "n1-highmem-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
        "numLocalSsds": 0
      }
    }
  }
}

Console

Fai clic su Estendi memoria durante la personalizzazione della memoria del tipo di macchina nel Sezione Nodo master e/o Nodi worker del riquadro Configura nodi su Dataproc Crea un cluster nella console Google Cloud.

Comando gcloud

Per creare un cluster dalla riga di comando gcloud con CPU personalizzate con memoria estesa, aggiungi un suffisso -ext al ‑‑master-machine-type e/o ‑‑worker-machine-type flag.

Esempio

Il seguente esempio della riga di comando gcloud crea un'istanza Cluster Dataproc con 1 CPU e 50 GB di memoria (50 * 1024 = 51200) in ciascun cluster nodo:

gcloud dataproc clusters create test-cluster /
    --master-machine-type custom-1-51200-ext /
    --worker-machine-type custom-1-51200-ext /
    other args

API

Il seguente esempio <code.instancegroupconfig< code="" dir="ltr" translate="no"></code.instancegroupconfig<> Snippet JSON da un'API REST Dataproc clusters.create specifica 1 CPU e 50 GB di memoria (50 * 1024 = 51200) in ciascun nodo:

...
    "masterConfig": {
      "numInstances": 1,
      "machineTypeUri": "custom-1-51200-ext",
    ...
    },
    "workerConfig": {
      "numInstances": 2,
      "machineTypeUri": "custom-1-51200-ext",
     ...
...

Console

Attualmente, la console Google Cloud non supporta la creazione di un cluster di tipo di macchina Dataproc ARM.

gcloud

Per creare un cluster Dataproc che utilizza ARM t2a-standard-4 di tipo di macchina, esegui questo comando gcloud in locale in una finestra del terminale Cloud Shell

gcloud dataproc clusters create cluster-name \
    --region=REGION \
    --image-version=2.1-ubuntu20-arm \
    --master-machine-type=t2a-standard-4 \
    --worker-machine-type=t2a-standard-4

Note:

• REGION: la regione in cui si troverà il cluster.

• Le immagini ARM sono disponibili a partire da 2.1.18-ubuntu20-arm.

• Consulta gcloud dataproc clusters create documentazione di riferimento per informazioni sui flag aggiuntivi della riga di comando per personalizzare il cluster.

• *-arm images supportano solo i componenti installati e quanto segue i componenti facoltativi elencati nel Pagina Versioni di release 2.1.x (i restanti 2.1 componenti facoltativi e tutte le azioni di inizializzazione" presenti nella pagina non sono supportati):

  • WebHCat Apache Hive
  • Docker
  • Zookeeper (installato in cluster ad alta disponibilità; componente facoltativo nei cluster non ad alta disponibilità)

API

Il seguente esempio di API REST Dataproc clusters.create crea un cluster di tipo di macchina ARM.

POST /v1/projects/my-project-id/regions/is-central1/clusters/
{
  "projectId": "my-project-id",
  "clusterName": "sample-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "default",
      "zoneUri": "us-central1-a"
    },
    "masterConfig": {
      "numInstances": 1,
      "machineTypeUri": "t2a-standard-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
      }
    },
    "workerConfig": {
      "numInstances": 2,
      "machineTypeUri": "t2a-standard-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
        "numLocalSsds": 0
      }
    },
    "softwareConfig": {
      "imageVersion": "2.1-ubuntu20-arm"
    }
  }
}