Types de machines compatibles

Console

Dans le panneau Configurer les nœuds de Dataproc, Page Créer un cluster dans la console Google Cloud, sélectionnez la famille, la série et le type de machines les nœuds maîtres et les nœuds de calcul du cluster.

Commande gcloud

Exécutez la gcloud dataproc clusters create avec les options suivantes pour créer un cluster Dataproc avec un maître et/ou de nœuds de calcul:

• L'option --master-machine-type machine-type permet de définir le type de machine prédéfini ou personnalisé utilisé par l'instance de VM maître dans votre cluster (ou les instances maîtres si vous créez un cluster à haute disponibilité).
• L'option --worker-machine-type custom-machine-type permet de définir le type de machine prédéfini ou personnalisé utilisé par les instances de VM de calcul dans votre cluster.

Exemple :

gcloud dataproc clusters create test-cluster /
    --master-machine-type custom-6-23040 /
    --worker-machine-type custom-6-23040 /
    other args

...
properties:
  distcp:mapreduce.map.java.opts: -Xmx1638m
  distcp:mapreduce.map.memory.mb: '2048'
  distcp:mapreduce.reduce.java.opts: -Xmx4915m
  distcp:mapreduce.reduce.memory.mb: '6144'
  mapred:mapreduce.map.cpu.vcores: '1'
  mapred:mapreduce.map.java.opts: -Xmx1638m
...

API REST

Pour créer un cluster avec des types de machines personnalisés, définissez machineTypeUri dans masterConfig et/ou workerConfig InstanceGroupConfig dans la requête API cluster.create.

Exemple :

POST /v1/projects/my-project-id/regions/is-central1/clusters/
{
  "projectId": "my-project-id",
  "clusterName": "test-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "default",
      "zoneUri": "us-central1-a"
    },
    "masterConfig": {
      "numInstances": 1,
      "machineTypeUri": "n1-highmem-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
        "numLocalSsds": 0
      }
    },
    "workerConfig": {
      "numInstances": 2,
      "machineTypeUri": "n1-highmem-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
        "numLocalSsds": 0
      }
    }
  }
}

Console

Cliquez sur Plus de mémoire lorsque vous personnalisez la mémoire du type de machine dans le Section "Nœud maître" et/ou "Nœuds de calcul" du panneau Configurer les nœuds sur Dataproc Créer un cluster de la console Google Cloud.

Commande gcloud

Pour créer un cluster à partir de la ligne de commande gcloud, qui comporte des processeurs personnalisés avec une extension de mémoire, ajoutez un suffixe -ext aux options ‑‑master-machine-type et/ou ‑‑worker-machine-type.

Exemple

L'exemple de ligne de commande gcloud suivant crée un cluster Dataproc avec un processeur et 50 Go de mémoire (50 * 1 024 = 51 200) pour chaque nœud :

gcloud dataproc clusters create test-cluster /
    --master-machine-type custom-1-51200-ext /
    --worker-machine-type custom-1-51200-ext /
    other args

API

L'exemple suivant <code.instancegroupconfig< code="" dir="ltr" translate="no"></code.instancegroupconfig<> Extrait JSON provenant d'une API REST Dataproc clusters.create spécifie 1 processeur et 50 Go de mémoire (50 x 1 024 = 51 200) dans chaque nœud:

...
    "masterConfig": {
      "numInstances": 1,
      "machineTypeUri": "custom-1-51200-ext",
    ...
    },
    "workerConfig": {
      "numInstances": 2,
      "machineTypeUri": "custom-1-51200-ext",
     ...
...

Console

Actuellement, la console Google Cloud ne permet pas de créer d'un cluster de type machine Dataproc ARM.

gcloud

Créer un cluster Dataproc qui utilise l'ARM t2a-standard-4 le type de machine, exécutez la commande gcloud suivante en local dans une fenêtre de terminal ou dans Cloud Shell :

gcloud dataproc clusters create cluster-name \
    --region=REGION \
    --image-version=2.1-ubuntu20-arm \
    --master-machine-type=t2a-standard-4 \
    --worker-machine-type=t2a-standard-4

Remarques :

• REGION: région l'emplacement du cluster.

• Les images ARM sont disponibles à partir de 2.1.18-ubuntu20-arm.

• Consultez la documentation gcloud dataproc clusters create documentation de référence sur les options de ligne de commande supplémentaires pour personnaliser votre cluster.

• *-arm images n'est compatible qu'avec les composants installés et les éléments suivants les composants facultatifs répertoriés Page des versions 2.1.x (les 2.1 autres composants facultatifs et toutes les actions d'initialisation sur cette page ne sont pas acceptés):

  • Apache Hive WebHCat
  • Docker
  • ZooKeeper (installé dans des clusters haute disponibilité) (un composant facultatif dans les clusters standards)

API

Voici un exemple d'API REST Dataproc clusters.create crée un cluster de type de machine ARM.

POST /v1/projects/my-project-id/regions/is-central1/clusters/
{
  "projectId": "my-project-id",
  "clusterName": "sample-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "default",
      "zoneUri": "us-central1-a"
    },
    "masterConfig": {
      "numInstances": 1,
      "machineTypeUri": "t2a-standard-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
      }
    },
    "workerConfig": {
      "numInstances": 2,
      "machineTypeUri": "t2a-standard-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
        "numLocalSsds": 0
      }
    },
    "softwareConfig": {
      "imageVersion": "2.1-ubuntu20-arm"
    }
  }
}