Melatih HuggingFace GPT2 pada Cloud TPU (TF 2.x)

Melatih HuggingFace GPT2 dengan Cloud TPU

1. Buka jendela Cloud Shell.

   Buka Cloud Shell

2. Buat variabel lingkungan untuk project ID Anda.

   export PROJECT_ID=your-project-id
   

3. Konfigurasikan Google Cloud CLI untuk menggunakan project Google Cloud tempat Anda ingin membuat Cloud TPU.

   gcloud config set project ${PROJECT_ID}
   

   Saat pertama kali menjalankan perintah ini di VM Cloud Shell baru, halaman Authorize Cloud Shell akan ditampilkan. Klik Authorize di bagian bawah halaman untuk mengizinkan gcloud melakukan panggilan Google Cloud API dengan kredensial Anda.

4. Membuat Akun Layanan untuk project Cloud TPU.

   Akun layanan memungkinkan layanan Cloud TPU mengakses layanan Google Cloud lainnya.

   $ gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
   

   Perintah akan menampilkan Akun Layanan Cloud TPU dengan format berikut:

   service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
   

Buat Cloud TPU

1. Buat VM Cloud TPU menggunakan perintah gcloud. Perintah berikut akan membuat TPU v4-8. Anda juga dapat membuat Podslice TPU dengan menetapkan flag --accelerator-type ke jenis Podslice, misalnya v4-32.

   $ gcloud compute tpus tpu-vm create hf-gpt2 \
     --zone=us-central2-b \
     --accelerator-type=v4-8 \
     --version=tpu-vm-tf-2.16.1-pjrt
   

   Deskripsi flag perintah

   zone

   Zona tempat Anda berencana membuat Cloud TPU.

   accelerator-type

   Jenis akselerator menentukan versi dan ukuran Cloud TPU yang ingin Anda buat. Untuk mengetahui informasi selengkapnya tentang jenis akselerator yang didukung untuk setiap versi TPU, lihat versi TPU.

   version

   Versi software Cloud TPU.

2. Hubungkan ke VM Cloud TPU dengan menjalankan perintah ssh berikut.

   gcloud compute tpus tpu-vm ssh hf-gpt2 --zone=us-central2-b
   

Menginstal dependensi

1. Clone repositori Transformers HuggingFace:

   (vm)$ cd /tmp
   (vm)$ git clone https://github.com/huggingface/transformers.git
   (vm)$ cd transformers
   

2. Instal dependensi:

   (vm)$ pip install .
   (vm)$ pip install -r examples/tensorflow/_tests_requirements.txt
   (vm)$ cd /tmp/transformers/examples/tensorflow/language-modeling
   (vm)$ pip install -r requirements.txt
   

3. Membuat direktori sementara:

   (vm)$ mkdir /tmp/gpt2-wikitext
   

4. Saat membuat TPU, jika Anda menetapkan parameter --version ke versi yang diakhiri dengan -pjrt, tetapkan variabel lingkungan berikut untuk mengaktifkan runtime PJRT:

     (vm)$ export NEXT_PLUGGABLE_DEVICE_USE_C_API=true
     (vm)$ export TF_PLUGGABLE_DEVICE_LIBRARY_PATH=/lib/libtpu.so
   

Menjalankan skrip pelatihan

(vm)$ python3 run_clm.py \
  --model_name_or_path distilgpt2 \
  --max_train_samples 1000 \
  --max_eval_samples 100 \
  --num_train_epochs 1 \
  --output_dir /tmp/gpt2-wikitext \
  --dataset_name wikitext \
  --dataset_config_name wikitext-103-raw-v1

Setelah pelatihan selesai, pesan yang mirip dengan berikut akan ditampilkan:

  125/125 [============================] - ETA: 0s - loss: 3.61762023-07-07 21:38:17.902850: W tensorflow/core/framework/dataset.cc:956] Input of GeneratorDatasetOp::Dataset will not be optimized because the dataset does not implement the AsGraphDefInternal() method needed to apply optimizations.
  125/125 [============================] - 763s 6s/step - loss: 3.6176 - val_loss: 3.4233
  Configuration saved in /tmp/gpt2-wikitext/config.json
  Configuration saved in /tmp/gpt2-wikitext/generation_config.json
  Model weights saved in /tmp/gpt2-wikitext/tf_model.h5
  D0707 21:38:45.640973681   12027 init.cc:191]                          grpc_shutdown starts clean-up now
  

Pembersihan

1. Putuskan koneksi dari instance VM TPU:

   (vm)$ exit
   

   Prompt Anda sekarang akan menjadi username@projectname, yang menunjukkan bahwa Anda berada di Cloud Shell.

2. Hapus resource TPU.

   $ gcloud compute tpus tpu-vm delete hf-gpt2 \
   --zone=us-central2-b