Tipos de máquina admitidos

Console

Desde el panel Configurar nodos de Dataproc Página Crear un clúster en la consola de Google Cloud, selecciona la familia, la serie y el tipo de máquinas de la instancia principal del clúster y de los nodos trabajadores.

Comando de gcloud

Ejecuta el gcloud dataproc clusters create con las siguientes marcas para crear un clúster de Dataproc con la instancia principal o de trabajador:

• La marca --master-machine-type machine-type te permite configurar el tipo predefinido o personalizado de máquina que usa la instancia de VM principal en tu clúster (o instancias principales si creas un Clúster de HA ).
• La marca --worker-machine-type custom-machine-type te permite establecer el tipo predefinido o personalizado de máquina que usan las instancias de VM de trabajador en tu clúster.

Ejemplo:

gcloud dataproc clusters create test-cluster /
    --master-machine-type custom-6-23040 /
    --worker-machine-type custom-6-23040 /
    other args

...
properties:
  distcp:mapreduce.map.java.opts: -Xmx1638m
  distcp:mapreduce.map.memory.mb: '2048'
  distcp:mapreduce.reduce.java.opts: -Xmx4915m
  distcp:mapreduce.reduce.memory.mb: '6144'
  mapred:mapreduce.map.cpu.vcores: '1'
  mapred:mapreduce.map.java.opts: -Xmx1638m
...

API de REST

Para crear un clúster con tipos de máquina personalizados, establece machineTypeUri en InstanceGroupConfig masterConfig y/o workerConfig en la solicitud a la API cluster.create.

Ejemplo:

POST /v1/projects/my-project-id/regions/is-central1/clusters/
{
  "projectId": "my-project-id",
  "clusterName": "test-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "default",
      "zoneUri": "us-central1-a"
    },
    "masterConfig": {
      "numInstances": 1,
      "machineTypeUri": "n1-highmem-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
        "numLocalSsds": 0
      }
    },
    "workerConfig": {
      "numInstances": 2,
      "machineTypeUri": "n1-highmem-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
        "numLocalSsds": 0
      }
    }
  }
}

Console

Haz clic en Extend memory (Extender memoria) cuando personalices la memoria del tipo de máquina en la Sección del nodo principal o nodos trabajadores del panel Configurar nodos en Dataproc Crea un clúster en la consola de Google Cloud.

Comando de gcloud

Para crear un clúster desde la línea de comandos de gcloud con CPU personalizadas con memoria extendida, agrega un sufijo -ext a las marcas ‑‑master-machine-type o ‑‑worker-machine-type.

Ejemplo

La siguiente línea de comandos de gcloud de muestra crea un clúster de Dataproc con 1 CPU con 50 GB de memoria (50 * 1,024 = 51,200) en cada nodo:

gcloud dataproc clusters create test-cluster /
    --master-machine-type custom-1-51200-ext /
    --worker-machine-type custom-1-51200-ext /
    other args

API

El siguiente ejemplo <code.instancegroupconfig< code="" dir="ltr" translate="no"></code.instancegroupconfig<> Fragmento JSON de la API de REST de Dataproc clusters.create especifica 1 CPU y 50 GB de memoria (50 * 1,024 = 51,200) en cada nodo:

...
    "masterConfig": {
      "numInstances": 1,
      "machineTypeUri": "custom-1-51200-ext",
    ...
    },
    "workerConfig": {
      "numInstances": 2,
      "machineTypeUri": "custom-1-51200-ext",
     ...
...

Console

Por el momento, la consola de Google Cloud no admite la creación de un clúster de tipo de máquina ARM de Dataproc.

gcloud

Para crear un clúster de Dataproc que use el ARM t2a-standard-4 ejecuta el siguiente comando gcloud de forma local en una ventana de terminal o en Cloud Shell.

gcloud dataproc clusters create cluster-name \
    --region=REGION \
    --image-version=2.1-ubuntu20-arm \
    --master-machine-type=t2a-standard-4 \
    --worker-machine-type=t2a-standard-4

Notas:

• REGION: Es la región. dónde se ubicará el clúster.

• Las imágenes ARM están disponibles a partir de 2.1.18-ubuntu20-arm.

• Consulta gcloud dataproc clusters create documentación de referencia para obtener información sobre marcas de línea de comandos adicionales que puedes usar para personalizar tu clúster.

• *-arm images solo admite los componentes instalados y lo siguiente componentes opcionales enumerados en la Página de versiones de actualización 2.1.x (se enumeran los componentes opcionales restantes 2.1 y todas las acciones de inicialización que aparecen en esa página no son compatibles):

  • WebHCat de Apache Hive
  • Docker
  • Zookeeper (instalado en clústeres de alta disponibilidad; componente opcional en clústeres sin alta disponibilidad)

API

El siguiente ejemplo de la API de REST de Dataproc clusters.create crea un clúster de tipo de máquina ARM.

POST /v1/projects/my-project-id/regions/is-central1/clusters/
{
  "projectId": "my-project-id",
  "clusterName": "sample-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "default",
      "zoneUri": "us-central1-a"
    },
    "masterConfig": {
      "numInstances": 1,
      "machineTypeUri": "t2a-standard-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
      }
    },
    "workerConfig": {
      "numInstances": 2,
      "machineTypeUri": "t2a-standard-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
        "numLocalSsds": 0
      }
    },
    "softwareConfig": {
      "imageVersion": "2.1-ubuntu20-arm"
    }
  }
}