支持的机器类型

控制台

从 Dataproc 的配置节点面板 创建集群页面 在 Google Cloud 控制台中，为 Cloud Storage 存储分区选择机器家族、系列和类型 集群主节点和工作器节点。

gcloud 命令

运行 gcloud dataproc clusters create 命令和以下标志来创建具有主实例的 Dataproc 集群 和/或工作器机器类型：

• --master-machine-type machine-type 标志让您可设置集群中主虚拟机实例（如果创建 HA 集群，则为主实例）所用的预定义或自定义机器类型
• --worker-machine-type custom-machine-type 标志让您可设置集群中工作器虚拟机实例所用的预定义或自定义机器类型

示例：

gcloud dataproc clusters create test-cluster /
    --master-machine-type custom-6-23040 /
    --worker-machine-type custom-6-23040 /
    other args

...
properties:
  distcp:mapreduce.map.java.opts: -Xmx1638m
  distcp:mapreduce.map.memory.mb: '2048'
  distcp:mapreduce.reduce.java.opts: -Xmx4915m
  distcp:mapreduce.reduce.memory.mb: '6144'
  mapred:mapreduce.map.cpu.vcores: '1'
  mapred:mapreduce.map.java.opts: -Xmx1638m
...

REST API

如需使用自定义机器类型创建集群，请将 masterConfig 和/或 workerConfig 中的 machineTypeUri InstanceGroupConfig 在 cluster.create API 请求。

示例：

POST /v1/projects/my-project-id/regions/is-central1/clusters/
{
  "projectId": "my-project-id",
  "clusterName": "test-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "default",
      "zoneUri": "us-central1-a"
    },
    "masterConfig": {
      "numInstances": 1,
      "machineTypeUri": "n1-highmem-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
        "numLocalSsds": 0
      }
    },
    "workerConfig": {
      "numInstances": 2,
      "machineTypeUri": "n1-highmem-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
        "numLocalSsds": 0
      }
    }
  }
}

控制台

在 配置节点面板中的主节点和/或工作器节点部分 在 Dataproc 上 创建集群 页面。

gcloud 命令

要通过具有扩展内存的自定义 CPU 的 gcloud 命令行创建集群，请向 ‑‑master-machine-type 和/或 ‑‑worker-machine-type 标志添加 -ext 后缀。

示例

以下 gcloud 命令行示例可创建一个 Dataproc 集群，该集群的每个节点具有 1 个 CPU 和 50 GB 内存 (50 * 1024 = 51200)：

gcloud dataproc clusters create test-cluster /
    --master-machine-type custom-1-51200-ext /
    --worker-machine-type custom-1-51200-ext /
    other args

API

以下示例 <code.instancegroupconfig<code=""dir="ltr"translate="no"></code.instancegroupconfig<> 来自 Dataproc REST API 的 JSON 代码段 clusters.create 请求在每个节点中指定 1 个 CPU 和 50 GB 内存 (50 * 1024 = 51200)：

...
    "masterConfig": {
      "numInstances": 1,
      "machineTypeUri": "custom-1-51200-ext",
    ...
    },
    "workerConfig": {
      "numInstances": 2,
      "machineTypeUri": "custom-1-51200-ext",
     ...
...

控制台

Google Cloud 控制台目前不支持创建 Dataproc ARM 机器类型集群的映像。

gcloud

创建使用 ARM t2a-standard-4 的 Dataproc 集群 请在终端窗口或gcloud Cloud Shell。

gcloud dataproc clusters create cluster-name \
    --region=REGION \
    --image-version=2.1-ubuntu20-arm \
    --master-machine-type=t2a-standard-4 \
    --worker-machine-type=t2a-standard-4

注意：

• REGION：区域 集群所在的位置

• ARM 映像从 2.1.18-ubuntu20-arm 开始提供。

• 请参阅 gcloud dataproc clusters create 有关其他命令行标志的参考文档， 来自定义您的集群

• *-arm images 仅支持已安装的组件和以下组件 一系列可选组件（位于 2.1.x 发布版本页面 （列出的其余 2.1 可选组件和所有初始化操作 ）：

  • Apache Hive WebHCat
  • Docker
  • Zookeeper（安装在高可用性集群中； 可选组件）

API

以下示例 Dataproc REST API clusters.create 会创建一个 ARM 机器类型集群。

POST /v1/projects/my-project-id/regions/is-central1/clusters/
{
  "projectId": "my-project-id",
  "clusterName": "sample-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "default",
      "zoneUri": "us-central1-a"
    },
    "masterConfig": {
      "numInstances": 1,
      "machineTypeUri": "t2a-standard-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
      }
    },
    "workerConfig": {
      "numInstances": 2,
      "machineTypeUri": "t2a-standard-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
        "numLocalSsds": 0
      }
    },
    "softwareConfig": {
      "imageVersion": "2.1-ubuntu20-arm"
    }
  }
}