SlideShare a Scribd company logo
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Data 12.2
セットアップガイド for R12.2.0.1.1
ver.1.0
2016年9月
日本オラクル株式会社
クラウド&テクノロジー事業統括
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Safe Harbor Statement
The following is intended to outline our general product direction. It is intended for
information purposes only, and may not be incorporated into any contract. It is not a
commitment to deliver any material, code, or functionality, and should not be relied upon
in making purchasing decisions. The development, release, and timing of any features or
functionality described for Oracle’s products remains at the sole discretion of Oracle.
2
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
はじめに
• 本資料では、Oracle GoldenGate for Big Data R12.2.0.1.1 のLinuxプラット
フォーム上環境構築から動作確認までの一連の手順について説明します。
• 本資料は製品マニュアルを補足する資料です。手順の一例としてご活用
ください。
– Fusion Middleware Installing Oracle GoldenGate for Big Data Release 12c (12.2.0.1.1)
https://docs.oracle.com/goldengate/bd1221/gg-bd/GBDIG/toc.htm
3
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
本資料の環境情報
• 本資料では、以下の環境を使用しています。
• OS: Oracle Linux 6.5 64bit, kernel:3.8.13-16.2.1.el6uek.x86_64 (ソース側のOGG インストール先)
Oracle Linux 6.5 64bit, kernel:3.8.13-16.2.1.el6uek.x86_64 (OGG for Big Data インストール先)
• ソフトウェア
 JDK1.8.0_91-b14
Oracle Database 12.1.0.2.0
Oracle GoldenGate 12.2.0.1.1
CDH5.4.7 、 HDFS 2.6.0、Hbase 1.0.0、Kafka 0.8.2.0、Flume NG 1.5.0
Oracle GoldenGate for Big Data 12.2.0.1.1 for Linux x86-64
• 本資料では下記のソフトウェアをインストールして構成します。
Oracle GoldenGate for Big Data 12.2.0.1.1 for Linux x86-64
4
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
本資料の流れ
• 本資料は下記の流れで、ターゲット
側のOracle GoldenGate for Big Data
のセットアップ方法を説明します。
– 1章:前提条件の確認
– 2章:OGG for Big Dataのインストール
– 3章:OGG for Big Dataの配置
– 4章:OGG for Big Dataの動作確認
– 5章:OGG for Big Dataのアンインストール
– 6章:参考情報
5
Oracle
Database
12gR1
( AL32UTF8)
SID: orcl
Oracle
GoldenGate
12gR2
Oracle
GoldenGate
for Big Data
12gR2
Host: host-a
OS:Oracle Linux Server 6.5
Host: host-b
OS:Oracle Linux Server 6.5
ソース ターゲット
この資料でセットアップする対象
Flume
Kafka
HBASE
HDFS
Hive
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
本資料で構築するGoldenGate for Big Dataの構成イメージ
6
DB
GoldenGate GoldenGate for Big Data
ソース ターゲット
Manager Manager
同期 Collector Replicat
Integrated
Extract
(Capture)
Extract
(DataPump)
本資料では、ターゲット側のOGG for Big Dataのインストールと配置の説明をします。
ソース側のOGGのセットアップ方法については、下記資料を参考にして下さい。
「GoldenGate R12.2セットアップガイド」 http://www.slideshare.net/oracle4engineer/oracle-goldengate-r122
Flume
Flume
Kafka
HBASE
HDFS
Hive
Java Adapter
Properties
file
Replicat
Parameter
File
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Agenda
7
前提条件の確認
Oracle GoldenGate for Big Dataのインストール
Oracle GoldenGate for Big Dataの配置
Oracle GoldenGate for Big Dataの動作確認
Oracle GoldenGate for Big Dataのアンインストール
参考情報
1
2
3
4
5
6
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
前提条件の確認
• ソース側: Oracle Database
– ソース側で、上記GoldenGateに対してCertifyされたバージョンのOracle Database構成されているもの
とします。
• ソース側:GoldenGate12c(12.2.0.1.1) for Oracle Database
– GoldenGate(Core)が、既に構成されているものとします。
• Java 1.7以降(JDKでもJREでも可)
• Big Data環境:OGG for Big Dataに対してCertifyされたバージョンの下記サービスがイン
ストール・構成されているものとします。
– HDFS、Hbase、Flume、Kafka
* Certifyされたバージョンの詳細は、下記マニュアルのCertification Matrixを参照ください。
https://docs.oracle.com/goldengate/bd1221/gg-bd/GADBD/GUID-85A82B2E-CD51-463A-8674-
3D686C3C0EC0.htm#GUID-C6D8D28C-63FD-42BC-9D50-857A59B91D06
8
事前に下記の環境が用意されていることを確認してください。
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Agenda
9
前提条件の確認
Oracle GoldenGate for Big Dataのインストール
Oracle GoldenGate for Big Dataの配置
Oracle GoldenGate for Big Dataの動作確認
Oracle GoldenGate for Big Dataのアンインストール
参考情報
1
2
3
4
5
6
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataのインストール
1. Javaバージョン1.7 以降をインストール(JDKでもJREでも可)してください。
本資料ではJDK1.8.0_91-b14をインストールします。
2. 環境変数を設定します。
10
環境準備
Shell> tar zxvf jdk-8u91-linux-x64.tar.gz /usr/java
export JAVA_HOME=/usr/java/jdk1.8.0_91
export PATH=$JAVA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server:$LD_LIBRARY_PATH
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataのインストール
1. Oracle Software Delivery Cloudにサイン
インします。
– http://edelivery.oracle.com
11
Oracle GoldenGate for Big Dataのダウンロード(1/5)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataのインストール
3. 「製品」で、「Oracle GoldenGate for Big
Data」を選択し、プラットフォームも選択
して、「続行」を押します。
12
Oracle GoldenGate for Big Dataのダウンロード(2/5)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataのインストール
4. 使用可能なリリースで「Oracle
GoldenGate for Big Data 12.2.0.1.0 for
Linux x86-64」を選択し「続行」を押しま
す。
13
Oracle GoldenGate for Big Dataのダウンロード(3/5)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataのインストール
5. 「オラクル標準の条件及び規制」のライ
センス契約を十分読み、受諾する場合
はチェックして「続行」ボタンを押します。
14
Oracle GoldenGate for Big Dataのダウンロード(4/5)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataのインストール
6. ファイル名をクリックして、ファイルをダ
ウンロードします。
15
Oracle GoldenGate for Big Dataのダウンロード(5/5)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataのインストール
1. インストールディレクトリを作成してメディア・パックを解凍します。
2. 下記の環境変数を設定します。
※ OGG_HOMEは、 Oracle GoldenGate for Big Dataをインストールしたディレクトリ
16
Oracle GoldenGate for Big Dataのインストール(1/2)
Shell> unzip V138402-01.zip
Shell> mkdir installation_directory
Shell> cp ggs_Adapters_Linux_x64.tar installation_directory
Shell> cd installation_directory
Shell> tar –xf ggs_Adapters_Linux_x64.tar
export OGG_HOME=/u01/app/ogg
export LD_LIBRARY_PATH=$OGG_HOME:$LD_LIBRARY_PATH
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataのインストール
3. GGSCIを起動して、サブディレクトリを作成するコマンドを打ちます。
17
Oracle GoldenGate for Big Dataのインストール(2/2)
Shell> cd $OGG_HOME
Shell> ./ggsci
GGSCI> CREATE SUBDIRS
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Agenda
18
前提条件の確認
Oracle GoldenGate for Big Dataのインストール
Oracle GoldenGate for Big Dataの配置
Oracle GoldenGate for Big Dataの動作確認
Oracle GoldenGate for Big Dataのアンインストール
参考情報
1
2
3
4
5
6
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
1. ソース側のManagerプロセスのパラメータファイルを編集して起動します。
2. ターゲット側のManagerプロセスのパラメータファイルを編集して起動します。
Oracle GoldenGate for Big Dataの配置
19
1.Managerプロセスを構成
GGSCI> EDIT PARAM MGR
GGSCI> START MGR
GGSCI > EDIT PARAM MGR
GGSCI> START MGR
-- Managerプロセスパラメータでは、監視ポートを指定する、本例では7801を使う
PORT 7801
PORT 7801
-- Managerプロセスをリモートから開始できるよう設定する
ACCESSRULE, PROG *, IPADDR *, ALLOW
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
– ターゲット側のReplicatプロセスのプロパティファイルを編集します。
• このファイルの中で記載するハンドラ(HDFS handler、Hbase Handler、 Flume Handler、 Kafka
Handler)によって、対応するパラメータファイルの名前と位置を指定します。
• 同時に一つのハンドラを使用できます。各ハンドラのプロパティファイルの詳細の設定については、
次の章で説明します。
20
2.Replicatプロセスのプロパティファイルを構成
GGSCI > EDIT PARAMS HDFS
REPLICAT hdfs
TARGETDB LIBFILE ./libggjava.so SET property= ./dirprm/hdfs.props
DDL INCLUDE ALL
GROUPTRANSOPS 1000
MAPEXCLUDE demo.excludetable
MAP demo.*, TARGET demo.*;
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
1. ソース側で初期ロード用のExtractプロセスを追加して編集します。
21
3. 初期データロードのプロセスのプロパティファイルを構成(1/2)
GGSCI> ADD EXTRACT eini_1, SOURCEISTABLE
GGSCI>EDIT PARAMS eini_1
EXTRACT EINI_1
USERID ggs, PASSWORD Welcome1
RMTHOST infbjvm107.cn.oracle.com, MGRPORT 7801
RMTTASK replicat, GROUP rini_1
TABLE DEMO.*;
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
2. ターゲット側で初期ロード用のReplicatプロセスを追加して編集します。
22
3.初期データロードのプロセスのプロパティファイルを構成(2/2)
GGSCI>ADD REPLICAT rini_1, SPECIALRUN
GGSCI>EDIT PARAMS rini_1
REPLICAT RINI_1
--使用するハンドラ(HDFS handler、Hbase Handler、 Flume Handler、 Kafka Handler)に
よって、対応するプロパティファイルが違います。
TARGETDB LIBFILE ./libggjava.so SET property=./dirprm/hdfs.props
ASSUMETARGETDEFS
MAP DEMO.*, TARGET DEMO.*;
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
4-1.Oracle GoldenGate for Big Data HDFS Handler
4-2. Oracle GoldenGate for Big Data HDFS Handler(For Hive)
4-3. Oracle GoldenGate for Big Data Hbase Handler
4-4. Oracle GoldenGate for Big Data Kafka Handler
4-5. Oracle GoldenGate for Big Data Flume Handler
Confidential – Oracle Internal/Restricted/Highly Restricted 23
4. 各種ハンドラの設定
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
• HDFS ハンドラのプロパティファイルを編集します。
– $OGG_HOME/dirprm/hdfs.properties
24
4-1.Oracle GoldenGate for Big Data HDFS Handlerの環境を構築
gg.handlerlist=hdfs
gg.handler.hdfs.type=hdfs
gg.handler.hdfs.mode=tx
gg.handler.hdfs.includeTokens=false
gg.handler.hdfs.maxFileSize=1g
gg.handler.hdfs.rootFilePath=/ogg21/txt
gg.handler.hdfs.fileRollInterval=0
gg.handler.hdfs.inactivityRollInterval=0
gg.handler.hdfs.fileSuffix=.txt
gg.handler.hdfs.partitionByTable=false
gg.handler.hdfs.rollOnMetadataChange=true
gg.handler.hdfs.authType=none
gg.handler.hdfs.format=delimitedtext
g.handler.hdfs.format.encoding=UTF-8
gg.handler.hdfs.format.fieldDelimiter=|
goldengate.userexit.timestamp=utc
goldengate.userexit.writers=javawriter
javawriter.stats.display=TRUE
javawriter.stats.full=TRUE
gg.log=log4j
gg.log.level=INFO
gg.report.time=30sec
gg.checkpoint=java
gg.classpath=/etc/hadoop:/etc/hadoop/conf:/usr/lib/hadoop/cl
ient/*:/usr/lib/hadoop/*:/usr/lib/hadoop/lib/*:/usr/lib/hadoo
p-hdfs/*:/usr/lib/hadoop-hdfs/lib/*:/etc/hadoop/conf/core-
site.xml:/etc/hadoop/conf/hdfs-
site.xml:./ggjava/resources/lib/*
javawriter.bootoptions=-Xmx512m -Xms32m -
Djava.class.path=ggjava/ggjava.jar
(続く)
(続き)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
• Oracle GoldenGate for Big Data 12.2.0.1では、Hive HandlerというHandlerは提供して
いません。Hiveと統合する場合、HDFS Handlerを使用します。
– $OGG_HOME/dirprm/hive.properties
25
4-2. Oracle GoldenGate for Big Data HDFS Handler(For Hive)の環境構築
gg.handlerlist=hive
gg.handler. hive.type=hdfs
gg.handler.hive.mode=tx
gg.handler.hive.includeTokens=false
gg.handler.hive.maxFileSize=1g
gg.handler.hive.rootFilePath=/ogg 21/txt
gg.handler.hive.fileRollInterval=0
gg.handler.hive.inactivityRollInterval=0
gg.handler.hive.fileSuffix=.txt
gg.handler.hive.partitionByTable=true
gg.handler.hive.rollOnMetadataChange=true
gg.handler.hive.authType=none
gg.handler.hive.format=delimitedtext
gg.handler.hdfs.format.encoding=UTF-8
gg.handler.hdfs.format.fieldDelimiter=|
goldengate.userexit.timestamp=utc
goldengate.userexit.writers=javawriter
javawriter.stats.display=TRUE
javawriter.stats.full=TRUE
gg.log=log4j
gg.log.level=INFO
gg.report.time=30sec
gg.checkpoint=java
gg.classpath=/etc/hadoop:/etc/hadoop/conf:/usr/lib/hadoop/
client/*:/usr/lib/hadoop/*:/usr/lib/hadoop/lib/*:/usr/lib/hado
op-hdfs/*:/usr/lib/hadoop-hdfs/lib/*:/etc/hadoop/conf/core-
site.xml:/etc/hadoop/conf/hdfs-
site.xml:./ggjava/*:./ggjava/resources/lib/*
javawriter.bootoptions=-Xmx512m -Xms32m -
Djava.class.path=ggjava/ggjava.jar
(続く)
(続き)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
• Hbase handlerプロパティファイルを編集します。
– $OGG_HOME/dirprm/hbase.properties
26
4-3. Oracle GoldenGate for Big Data Hbase Handlerの環境構築
gg.handlerlist=hbase
gg.handler.hbase.type=hbase
gg.handler.hbase.includeTokens=false
gg.handler.name.keyValueDelimiter=CDATA[=]
gg.handler.hbase.keyValuePairDelimiter=CDATA[,]
gg.handler.hbase.encoding=UTF-8
gg.handler.hbase.pkUpdateHandling=delete-insert
gg.handler.hbase.nullValueRepresentation=CDATA[NULL]
gg.handler.hbase.authType=none
gg.handler.hbase.mode=tx
goldengate.userexit.timestamp=utc
goldengate.userexit.writers=javawriter
javawriter.stats.display=TRUE
javawriter.stats.full=TRUE
gg.log=log4j
gg.log.level=info
gg.report.time=30sec
gg.checkpoint=java
gg.classpath==/var/lib/hbase1/hbase1.0.0/lib/*:/usr/lib/
hbase/conf/:/usr/lib/hadoop/client/*:./ggjava/resources/
lib/*
javawriter.bootoptions=-Xmx512m -Xms32m -
Djava.class.path=ggjava/ggjava.jar(続く)
(続き)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
1. Kafka Handlerプロパティファイルを編集します。
– $OGG_HOME/dirprm/kafka.properties
27
4-4. Oracle GoldenGate for Big Data Kafka Handlerの環境構築(1/2)
gg.handlerlist = kafka
gg.handler.kafka.type = kafka
gg.handler.kafka.KafkaProducerConfigFile
=custom_kafka_producer.properties
gg.handler.kafka.TopicName=xml_topic
gg.handler.kafka.SchemaTopicName = oggSchemaTopic
gg.handler.kafka.mode =op
##Xml formatter properties
gg.handler.kafka.format=xml
gg.handler.kafka.format.encoding=UTF-8
goldengate.userexit.timestamp=utc
goldengate.userexit.writers=javawriter
goldengate.userexit.nochkpt=TRUE
javawriter.stats.display=TRUE
javawriter.stats.full=TRUE
gg.log=log4j
gg.log.level=info
gg.report.time=30sec
gg.checkpoint=java
gg.classpath=dirprm:/usr/lib/kafka/libs/*:./ggjava/resour
ces/lib/*
javawriter.bootoptions=-Xmx512m -Xms32m -
Djava.class.path=ggjava/ggjava.jar(続く)
(続き)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
2. Kafka Producer配置ファイルを構成します。
– Kafka Handler のプロパティファイルのgg.handler.kafka.KafkaProducerConfigFile パラメータでファイ
ル名を任意指定することが可能です。Kafka HandlerがこのKafka Producer配置ファイルを読み込ん
で、メッセージの配信を行います。
– $OGG_HOME/dirprm/custom_kafka_producer.properties
28
Oracle GoldenGate for Big Data Kafka Handlerの環境構築(2/2)
bootstrap.servers=localhost:9092
acks=1
reconnect.backoff.ms=1000
value.serializer=org.apache.kafka.common.serialization.ByteArraySerializer
key.serializer=org.apache.kafka.common.serialization.ByteArraySerializer
batch.size=1024
linger.ms=2000
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
1. Flume Handlerプロパティファイルを構成、$OGG_HOME/dirprm/flume.propertiesを
編集する。
29
Oracle GoldenGate for Big Data Flume Handlerの環境構築(1/3)
gg.handlerlist = flumehandler
gg.handler.flumehandler.type=flume
gg.handler.flumehandler.RpcClientPropertiesFile=custom
-flume-rpc.properties
gg.handler.flumehandler.mode=op
gg.handler.flumehandler.PropagateSchema=true
gg.handler.flumehandler.includeTokens=false
##Json formatter properties
gg.handler.flumehandler.format=json
gg.handler.flumehandler.format.prettyPrintformat.pretty
Print=true
gg.handler.flumehandler.format.jsonDelimiter=CDATA[De
limiter]
gg.handler.flumehandler.format.generateSchema=true
goldengate.userexit.timestamp=utc
goldengate.userexit.writers=javawriter
javawriter.stats.display=TRUE
javawriter.stats.full=TRUE
gg.log=log4j
gg.log.level=INFO
gg.report.time=30sec
gg.classpath=dirprm/:/usr/lib/flume-
ng/lib/*:./ggjava/resources/lib/*
javawriter.bootoptions=-Xmx512m -Xms32m -
Djava.class.path=ggjava/ggjava.jar
続き
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
2. Flume Source配置ファイルを構成、 $OGG_HOME/dirprm/ custom-flume-
rpc.propertiesを編集する。 Flume Handler のプロパティファイルで
gg.handler.flumehandler.RpcClientPropertiesFile で該当配置ファイル名を任意指定
可能です。
30
Oracle GoldenGate for Big Data Flume Handlerの環境構築(2/3)
client.type=thrift
hosts=h1
hosts.h1=127.0.0.1:41415
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
3. Flume Agent配置ファイルを構成、 Cloudera managerで、 クラスタ-> Flume->インスタ
ンス-> Agent->設定をクリックして、設定ファイルを編集する。
31
Oracle GoldenGate for Big Data Flume Handlerの環境構築(3/3)
# Sources, channels, and sinks are defined per
# agent name, in this case 'tier1'.
tier1.sources = source1
tier1.channels = channel1
tier1.sinks = sink1
# For each source, channel, and sink, set
# standard properties.
tier1.sources.source1.type = thrift
tier1.sources.source1.bind = 127.0.0.1
tier1.sources.source1.port = 41415
tier1.sources.source1.channels = channel1
tier1.channels.channel1.type = memory
tier1.sinks.sink1.type = hdfs
tier1.sinks.sink1.hdfs.path =
/tmp/ogg/test1/%{TABLE_NAME}
tier1.sinks.sink1.hdfs.filePrefix = %{TABLE_NAME}_
tier1.sinks.sink1.hdfs.writeFormat=Writable
tier1.sinks.sink1.hdfs.rollInterval=0
tier1.sinks.sink1.hdfs.rollSize=0
tier1.sinks.sink1.hdfs.rollCount=0
tier1.sinks.sink1.hdfs.batchSize=10000
tier1.sinks.sink1.hdfs.fileType=DataStream
tier1.sinks.sink1.channel = channel1
# Other properties are specific to each type of
# source, channel, or sink. In this case, we
# specify the capacity of the memory channel.
tier1.channels.channel1.capacity = 100
続き
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
1. ソース側で、下記の順でにEXTRACTとData-Pump ExtractとInitial-Load Extractプロセ
スを起動する。 EINI_1を起動すると、ターゲット側のRINI_1プロセスを自動的に起動
します。データ一致性を保持するために、初期データロードが完了する前に、ソース
データベース中にデータ変更をしないでください。
32
プロセスを追加と起動(1/4)
GGSCI > START EXTRACT e1
GGSCI > START EXTRACT p1
GGSCI > START EXTRACT eini_1
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
2. 下記のコマンドを発行して初期データのロード結果を確認します。
33
プロセスを追加と起動(2/4)
GGSCI > VIEW REPORT eini_1
…
Processing table DEMO.TCUSTMER
…
REDO Log Statistics
Bytes parsed 0
Bytes output 33151
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
3. 初期データをロードした後、EINI_1とRINI_1は自動的に停止します。下記のコマンドを
発行してEINI_1とRINI_1の状態を確認します。
34
プロセスを追加と起動(3/4)
ソース側:
GGSCI > info extract eini_1
EXTRACT EINI_1 Last Started 2016-08-31 16:07 Status STOPPED
Checkpoint Lag Not Available
Log Read Checkpoint Table Demo.customer
2016-08-31 16:07:10 Record 182
Task SOURCEISTABLE
ターゲット側:
GGSCI > info replicat rini_1
REPLICAT RINI_1 Initialized 2016-08-31 13:39 Status STOPPED
Checkpoint Lag 00:00:00 (updated 26:02:00 ago)
Log Read Checkpoint Not Available
Task SPECIALRUN
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
4. ターゲット側で、初期データロードが完了した後で、Replicatプロセスを起動します。
35
プロセスを追加と起動(4/4)
GGSCI > add replicat hdfs, exttrail ./dirdat/p1
GGSCI > start replicat hdfs
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Agenda
36
前提条件の確認
Oracle GoldenGate for Big Dataのインストール
Oracle GoldenGate for Big Dataの配置
Oracle GoldenGate for Big Dataの動作確認
Oracle GoldenGate for Big Dataのアンインストール
参考情報
1
2
3
4
5
6
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
• ソース側で、テーブルを作成して、レコー
ドを挿入します。
• ターゲット側で、挿入したデータを確認
します。
37
Oracle GoldenGate for Big Dataの動作確認
HDFS Handlerの動作確認
SQL> connect sys/Welcome1@src as sysdba
SQL> CREATE TABLE demo.t_hdfs
( id NUMBER NOT NULL PRIMARY KEY,
name CHAR(10) NOT NULL ,
updatedate date DEFAULT SYSDATE);
SQL> insert into demo.t_hdfs values(1,‘yamamoto', sysdate);
1行が作成されました。
SQL> commit;
コミットが完了しました。
SHELL> hadoop fs -ls /ogg21/txt
Found 2 items
-rw-r--r-- 3 oracle supergroup 86585 2016-09-01 19:58
/ogg21/txt/2016-09-01_19-58-04.280.txt
-rw-r--r-- 3 oracle supergroup 122 2016-09-02 12:52
/ogg21/txt/2016-09-02_12-52-30.344.txt
SHELL> hadoop fs -cat /ogg21/txt/2016-09-02_12-52-30.344.txt
IDEMO.T_HDFS2016-09-02 04:52:22.9999972016-09-
02T12:52:30.342000000000000000000033361yamamoto 2016-09-
02:12:52:19
I|DEMO.T_HDFS|2016-09-02 04:52:22.999997|2016-09-
02T12:52:30.342000|00000000000000003336|1|yamamoto |2016-
09-02:12:52:19
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
• ソース側で、テーブルを作成して、レコー
ドを挿入します。
• ターゲット側で、挿入したデータを確認し
ます。
38
Oracle GoldenGate for Big Dataの動作確認
HDFS Handler(For Hive)の動作確認
SQL> connect sys/Welcome1@src as sysdba
SQL> CREATE TABLE demo.t_hive
( id NUMBER NOT NULL PRIMARY KEY,
name CHAR(10) NOT NULL ,
updatedate date DEFAULT SYSDATE);
SQL> insert into demo.t_hive values(1,‘yamamoto', sysdate);
1行が作成されました。
SQL> commit;
コミットが完了しました。
SHELL> hadoop fs -ls /ogg21/txt
drwxrwxrwx - oracle supergroup 0 2016-09-02 13:35
/ogg21/txt/demo.t_hive
SHELL> hadoop fs -ls /ogg21/txt/demo.t_hive
Found 1 items
-rw-r--r-- 3 oracle supergroup 122 2016-09-02 13:35
/ogg21/txt/demo.t_hive/demo.t_hive_2016-09-02_13-35-46.273.txt
SHELL> hadoop fs -cat /ogg21/txt/demo.t_hive/demo.t_hive_2016-09-
02_13-35-46.273.txt
I|DEMO.T_HIVE|2016-09-02 05:35:38.000082|2016-09-
02T13:35:46.267000|00000000000000005256|1|yamamoto |2016-
09-02:13:35:36
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
• ソース側で、テーブルを作成して、レコー
ドを挿入します。
• ターゲット側で、挿入したデータを確認し
ます。
39
Oracle GoldenGate for Big Dataの動作確認
Hbase Handlerの動作確認
SQL> connect sys/Welcome1@src as sysdba
SQL> CREATE TABLE demo.t_hbase
( id NUMBER NOT NULL PRIMARY KEY,
name CHAR(10) NOT NULL ,
updatedate date DEFAULT SYSDATE);
SQL> insert into demo.t_hbase values(1,‘yamamoto', sysdate);
1行が作成されました。
SQL> commit;
コミットが完了しました。
SHELL> $HBASE_HOME/bin/hbase shell
Hbase(main):001:0> list
TABLE
DEMO:T_HBASE
Hbase(main):002:0> scan ‘DEMO:T_HBASE’
ROW COLUMN+CELL
1 column=cf:ID, timestamp=1472795682414, value=1
1 column=cf:NAME, timestamp=1472795682414,
value=yamamoto
1 column=cf:UPDATEDATE, timestamp=1472795682414,
value=2016-09-02:13:47:57
1 row(s) in 0.0400 seconds
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
• ソース側で、テーブルを作成して、レ
コードを挿入します。
• ターゲット側で、挿入したデータを確認し
ます。
40
Oracle GoldenGate for Big Dataの動作確認
Kafka Handlerの動作確認
SQL> connect sys/Welcome1@src as sysdba
SQL> CREATE TABLE demo.t_kafka
( id NUMBER NOT NULL PRIMARY KEY,
name CHAR(10) NOT NULL ,
updatedate date DEFAULT SYSDATE);
SQL> insert into demo.t_kafka values(1,‘yamamoto', sysdate);
1行が作成されました。
SQL> commit;
コミットが完了しました。
Shell> /usr/bin/kafka-console-consumer --zookeeper
infbjvm118.cn.oracle.com:2181 --from beginning --topic xml_topic
<?xml version='1.0' encoding='UTF-8'?>
<operation table='DEMO.T_KAFKA' type='I' ts='2016-09-01
02:10:49.000686' current_ts='2016-09-01T12:10:55.372000'
pos='00000000000000003381' numCols='3'>
<col name='ID' index='0'>
<before missing='true'/>
<after><![CDATA[1]]></after>
</col>
<col name='NAME' index='1'>
<before missing='true'/>
<after><![CDATA[yamamoto ]]></after>
</col>
<col name='UPDATEDATE' index='2'>
<before missing='true'/>
<after><![CDATA[2016-09-01:12:10:47]]></after>
</col>
</operation>
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
• ソース側で、テーブルを作成して、レコー
ドを挿入します。
• ターゲット側で、挿入したデータを確認し
ます。
41
Oracle GoldenGate for Big Dataの動作確認
Flume Handlerの動作確認
SQL> connect sys/Welcome1@src as sysdba
SQL> CREATE TABLE demo.test_flume
( id NUMBER NOT NULL PRIMARY KEY,
name CHAR(10) NOT NULL ,
updatedate date DEFAULT SYSDATE);
SQL> insert into demo.test_flume values(1,‘yamamoto', sysdate);
1行が作成されました。
SQL> commit;
コミットが完了しました。
Shell> hadoop fs -ls /tmp/ogg/test1/TEST_FLUME
Found 1 items
-rw-r--r-- 3 flume supergroup 297 2016-09-01 15:13
/tmp/ogg/test1/TEST_FLUME/TEST_FLUME_. 1472714000782.tmp
Shell> hadoop fs -cat /tmp/ogg/test1/TEST_FLUME/TEST_FLUME_.
1472714000782.tmp
{
"table":"DEMO.TEST_FLUME",
"op_type":"I",
"op_ts":"2016-09-01 03:06:15.000465",
"current_ts":"2016-09-01T11:06:21.675000",
"pos":"00000000020000003695",
"after":{
"ID":"1",
"NAME":"yamamoto ",
"UPDATEDATE":"2016-09-01:11:06:13"
}
}Delimiter
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Agenda
42
前提条件の確認
Oracle GoldenGate for Big Dataのインストール
Oracle GoldenGate for Big Dataの配置
Oracle GoldenGate for Big Dataの動作確認
Oracle GoldenGate for Big Dataのアンインストール
参考情報
1
2
3
4
5
6
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataのアンインストール
1.プロセスを停止して設定を解除します。
2. Oracle GoldenGate for Big Dataのインストールディレクトリを削除します。
43
GGSCI> STOP REPLICAT hdfs
GGSCI> STOP mgr
GGSCI> DELETE REPLICAT hdfs
Shell> rm –rf installation_directory
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Agenda
44
前提条件の確認
Oracle GoldenGate for Big Dataのインストール
Oracle GoldenGate for Big Dataの配置
Oracle GoldenGate for Big Dataの動作確認
Oracle GoldenGate for Big Dataのアンインストール
参考情報
1
2
3
4
5
6
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
参考情報
• Oracle GoldenGate for Big Data 12c 全般情報(英語)
– http://docs.oracle.com/goldengate/bd1221/gg-bd/index.html
– Oracle GoldenGate 12c リリースノート(英語)
– https://docs.oracle.com/goldengate/bd1221/gg-bd/GBDRN/toc.htm
– Oracle GoldenGate 12c インストールガイド(英語)
– https://docs.oracle.com/goldengate/bd1221/gg-bd/GBDIG/toc.htm
45
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Document Control
Author
Oracle Asia Research & Development Center
• 黄 明
• 梁 国賢
• 楊 帆
Reviewer
日本オラクル株式会社
• 谷川 信朗
• 後藤 陽介
• 舟橋 直美
46
変更履歴
Date Version
2016/9 1.0 Created.
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 48
Oracle GoldenGate for Big Data 12.2 セットアップガイド

More Related Content

Oracle GoldenGate for Big Data 12.2 セットアップガイド

  • 1. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Data 12.2 セットアップガイド for R12.2.0.1.1 ver.1.0 2016年9月 日本オラクル株式会社 クラウド&テクノロジー事業統括
  • 2. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle. 2
  • 3. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | はじめに • 本資料では、Oracle GoldenGate for Big Data R12.2.0.1.1 のLinuxプラット フォーム上環境構築から動作確認までの一連の手順について説明します。 • 本資料は製品マニュアルを補足する資料です。手順の一例としてご活用 ください。 – Fusion Middleware Installing Oracle GoldenGate for Big Data Release 12c (12.2.0.1.1) https://docs.oracle.com/goldengate/bd1221/gg-bd/GBDIG/toc.htm 3
  • 4. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 本資料の環境情報 • 本資料では、以下の環境を使用しています。 • OS: Oracle Linux 6.5 64bit, kernel:3.8.13-16.2.1.el6uek.x86_64 (ソース側のOGG インストール先) Oracle Linux 6.5 64bit, kernel:3.8.13-16.2.1.el6uek.x86_64 (OGG for Big Data インストール先) • ソフトウェア  JDK1.8.0_91-b14 Oracle Database 12.1.0.2.0 Oracle GoldenGate 12.2.0.1.1 CDH5.4.7 、 HDFS 2.6.0、Hbase 1.0.0、Kafka 0.8.2.0、Flume NG 1.5.0 Oracle GoldenGate for Big Data 12.2.0.1.1 for Linux x86-64 • 本資料では下記のソフトウェアをインストールして構成します。 Oracle GoldenGate for Big Data 12.2.0.1.1 for Linux x86-64 4
  • 5. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 本資料の流れ • 本資料は下記の流れで、ターゲット 側のOracle GoldenGate for Big Data のセットアップ方法を説明します。 – 1章:前提条件の確認 – 2章:OGG for Big Dataのインストール – 3章:OGG for Big Dataの配置 – 4章:OGG for Big Dataの動作確認 – 5章:OGG for Big Dataのアンインストール – 6章:参考情報 5 Oracle Database 12gR1 ( AL32UTF8) SID: orcl Oracle GoldenGate 12gR2 Oracle GoldenGate for Big Data 12gR2 Host: host-a OS:Oracle Linux Server 6.5 Host: host-b OS:Oracle Linux Server 6.5 ソース ターゲット この資料でセットアップする対象 Flume Kafka HBASE HDFS Hive
  • 6. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 本資料で構築するGoldenGate for Big Dataの構成イメージ 6 DB GoldenGate GoldenGate for Big Data ソース ターゲット Manager Manager 同期 Collector Replicat Integrated Extract (Capture) Extract (DataPump) 本資料では、ターゲット側のOGG for Big Dataのインストールと配置の説明をします。 ソース側のOGGのセットアップ方法については、下記資料を参考にして下さい。 「GoldenGate R12.2セットアップガイド」 http://www.slideshare.net/oracle4engineer/oracle-goldengate-r122 Flume Flume Kafka HBASE HDFS Hive Java Adapter Properties file Replicat Parameter File
  • 7. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Agenda 7 前提条件の確認 Oracle GoldenGate for Big Dataのインストール Oracle GoldenGate for Big Dataの配置 Oracle GoldenGate for Big Dataの動作確認 Oracle GoldenGate for Big Dataのアンインストール 参考情報 1 2 3 4 5 6
  • 8. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 前提条件の確認 • ソース側: Oracle Database – ソース側で、上記GoldenGateに対してCertifyされたバージョンのOracle Database構成されているもの とします。 • ソース側:GoldenGate12c(12.2.0.1.1) for Oracle Database – GoldenGate(Core)が、既に構成されているものとします。 • Java 1.7以降(JDKでもJREでも可) • Big Data環境:OGG for Big Dataに対してCertifyされたバージョンの下記サービスがイン ストール・構成されているものとします。 – HDFS、Hbase、Flume、Kafka * Certifyされたバージョンの詳細は、下記マニュアルのCertification Matrixを参照ください。 https://docs.oracle.com/goldengate/bd1221/gg-bd/GADBD/GUID-85A82B2E-CD51-463A-8674- 3D686C3C0EC0.htm#GUID-C6D8D28C-63FD-42BC-9D50-857A59B91D06 8 事前に下記の環境が用意されていることを確認してください。
  • 9. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Agenda 9 前提条件の確認 Oracle GoldenGate for Big Dataのインストール Oracle GoldenGate for Big Dataの配置 Oracle GoldenGate for Big Dataの動作確認 Oracle GoldenGate for Big Dataのアンインストール 参考情報 1 2 3 4 5 6
  • 10. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataのインストール 1. Javaバージョン1.7 以降をインストール(JDKでもJREでも可)してください。 本資料ではJDK1.8.0_91-b14をインストールします。 2. 環境変数を設定します。 10 環境準備 Shell> tar zxvf jdk-8u91-linux-x64.tar.gz /usr/java export JAVA_HOME=/usr/java/jdk1.8.0_91 export PATH=$JAVA_HOME/bin:$PATH export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server:$LD_LIBRARY_PATH
  • 11. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataのインストール 1. Oracle Software Delivery Cloudにサイン インします。 – http://edelivery.oracle.com 11 Oracle GoldenGate for Big Dataのダウンロード(1/5)
  • 12. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataのインストール 3. 「製品」で、「Oracle GoldenGate for Big Data」を選択し、プラットフォームも選択 して、「続行」を押します。 12 Oracle GoldenGate for Big Dataのダウンロード(2/5)
  • 13. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataのインストール 4. 使用可能なリリースで「Oracle GoldenGate for Big Data 12.2.0.1.0 for Linux x86-64」を選択し「続行」を押しま す。 13 Oracle GoldenGate for Big Dataのダウンロード(3/5)
  • 14. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataのインストール 5. 「オラクル標準の条件及び規制」のライ センス契約を十分読み、受諾する場合 はチェックして「続行」ボタンを押します。 14 Oracle GoldenGate for Big Dataのダウンロード(4/5)
  • 15. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataのインストール 6. ファイル名をクリックして、ファイルをダ ウンロードします。 15 Oracle GoldenGate for Big Dataのダウンロード(5/5)
  • 16. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataのインストール 1. インストールディレクトリを作成してメディア・パックを解凍します。 2. 下記の環境変数を設定します。 ※ OGG_HOMEは、 Oracle GoldenGate for Big Dataをインストールしたディレクトリ 16 Oracle GoldenGate for Big Dataのインストール(1/2) Shell> unzip V138402-01.zip Shell> mkdir installation_directory Shell> cp ggs_Adapters_Linux_x64.tar installation_directory Shell> cd installation_directory Shell> tar –xf ggs_Adapters_Linux_x64.tar export OGG_HOME=/u01/app/ogg export LD_LIBRARY_PATH=$OGG_HOME:$LD_LIBRARY_PATH
  • 17. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataのインストール 3. GGSCIを起動して、サブディレクトリを作成するコマンドを打ちます。 17 Oracle GoldenGate for Big Dataのインストール(2/2) Shell> cd $OGG_HOME Shell> ./ggsci GGSCI> CREATE SUBDIRS
  • 18. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Agenda 18 前提条件の確認 Oracle GoldenGate for Big Dataのインストール Oracle GoldenGate for Big Dataの配置 Oracle GoldenGate for Big Dataの動作確認 Oracle GoldenGate for Big Dataのアンインストール 参考情報 1 2 3 4 5 6
  • 19. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 1. ソース側のManagerプロセスのパラメータファイルを編集して起動します。 2. ターゲット側のManagerプロセスのパラメータファイルを編集して起動します。 Oracle GoldenGate for Big Dataの配置 19 1.Managerプロセスを構成 GGSCI> EDIT PARAM MGR GGSCI> START MGR GGSCI > EDIT PARAM MGR GGSCI> START MGR -- Managerプロセスパラメータでは、監視ポートを指定する、本例では7801を使う PORT 7801 PORT 7801 -- Managerプロセスをリモートから開始できるよう設定する ACCESSRULE, PROG *, IPADDR *, ALLOW
  • 20. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 – ターゲット側のReplicatプロセスのプロパティファイルを編集します。 • このファイルの中で記載するハンドラ(HDFS handler、Hbase Handler、 Flume Handler、 Kafka Handler)によって、対応するパラメータファイルの名前と位置を指定します。 • 同時に一つのハンドラを使用できます。各ハンドラのプロパティファイルの詳細の設定については、 次の章で説明します。 20 2.Replicatプロセスのプロパティファイルを構成 GGSCI > EDIT PARAMS HDFS REPLICAT hdfs TARGETDB LIBFILE ./libggjava.so SET property= ./dirprm/hdfs.props DDL INCLUDE ALL GROUPTRANSOPS 1000 MAPEXCLUDE demo.excludetable MAP demo.*, TARGET demo.*;
  • 21. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 1. ソース側で初期ロード用のExtractプロセスを追加して編集します。 21 3. 初期データロードのプロセスのプロパティファイルを構成(1/2) GGSCI> ADD EXTRACT eini_1, SOURCEISTABLE GGSCI>EDIT PARAMS eini_1 EXTRACT EINI_1 USERID ggs, PASSWORD Welcome1 RMTHOST infbjvm107.cn.oracle.com, MGRPORT 7801 RMTTASK replicat, GROUP rini_1 TABLE DEMO.*;
  • 22. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 2. ターゲット側で初期ロード用のReplicatプロセスを追加して編集します。 22 3.初期データロードのプロセスのプロパティファイルを構成(2/2) GGSCI>ADD REPLICAT rini_1, SPECIALRUN GGSCI>EDIT PARAMS rini_1 REPLICAT RINI_1 --使用するハンドラ(HDFS handler、Hbase Handler、 Flume Handler、 Kafka Handler)に よって、対応するプロパティファイルが違います。 TARGETDB LIBFILE ./libggjava.so SET property=./dirprm/hdfs.props ASSUMETARGETDEFS MAP DEMO.*, TARGET DEMO.*;
  • 23. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 4-1.Oracle GoldenGate for Big Data HDFS Handler 4-2. Oracle GoldenGate for Big Data HDFS Handler(For Hive) 4-3. Oracle GoldenGate for Big Data Hbase Handler 4-4. Oracle GoldenGate for Big Data Kafka Handler 4-5. Oracle GoldenGate for Big Data Flume Handler Confidential – Oracle Internal/Restricted/Highly Restricted 23 4. 各種ハンドラの設定
  • 24. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 • HDFS ハンドラのプロパティファイルを編集します。 – $OGG_HOME/dirprm/hdfs.properties 24 4-1.Oracle GoldenGate for Big Data HDFS Handlerの環境を構築 gg.handlerlist=hdfs gg.handler.hdfs.type=hdfs gg.handler.hdfs.mode=tx gg.handler.hdfs.includeTokens=false gg.handler.hdfs.maxFileSize=1g gg.handler.hdfs.rootFilePath=/ogg21/txt gg.handler.hdfs.fileRollInterval=0 gg.handler.hdfs.inactivityRollInterval=0 gg.handler.hdfs.fileSuffix=.txt gg.handler.hdfs.partitionByTable=false gg.handler.hdfs.rollOnMetadataChange=true gg.handler.hdfs.authType=none gg.handler.hdfs.format=delimitedtext g.handler.hdfs.format.encoding=UTF-8 gg.handler.hdfs.format.fieldDelimiter=| goldengate.userexit.timestamp=utc goldengate.userexit.writers=javawriter javawriter.stats.display=TRUE javawriter.stats.full=TRUE gg.log=log4j gg.log.level=INFO gg.report.time=30sec gg.checkpoint=java gg.classpath=/etc/hadoop:/etc/hadoop/conf:/usr/lib/hadoop/cl ient/*:/usr/lib/hadoop/*:/usr/lib/hadoop/lib/*:/usr/lib/hadoo p-hdfs/*:/usr/lib/hadoop-hdfs/lib/*:/etc/hadoop/conf/core- site.xml:/etc/hadoop/conf/hdfs- site.xml:./ggjava/resources/lib/* javawriter.bootoptions=-Xmx512m -Xms32m - Djava.class.path=ggjava/ggjava.jar (続く) (続き)
  • 25. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 • Oracle GoldenGate for Big Data 12.2.0.1では、Hive HandlerというHandlerは提供して いません。Hiveと統合する場合、HDFS Handlerを使用します。 – $OGG_HOME/dirprm/hive.properties 25 4-2. Oracle GoldenGate for Big Data HDFS Handler(For Hive)の環境構築 gg.handlerlist=hive gg.handler. hive.type=hdfs gg.handler.hive.mode=tx gg.handler.hive.includeTokens=false gg.handler.hive.maxFileSize=1g gg.handler.hive.rootFilePath=/ogg 21/txt gg.handler.hive.fileRollInterval=0 gg.handler.hive.inactivityRollInterval=0 gg.handler.hive.fileSuffix=.txt gg.handler.hive.partitionByTable=true gg.handler.hive.rollOnMetadataChange=true gg.handler.hive.authType=none gg.handler.hive.format=delimitedtext gg.handler.hdfs.format.encoding=UTF-8 gg.handler.hdfs.format.fieldDelimiter=| goldengate.userexit.timestamp=utc goldengate.userexit.writers=javawriter javawriter.stats.display=TRUE javawriter.stats.full=TRUE gg.log=log4j gg.log.level=INFO gg.report.time=30sec gg.checkpoint=java gg.classpath=/etc/hadoop:/etc/hadoop/conf:/usr/lib/hadoop/ client/*:/usr/lib/hadoop/*:/usr/lib/hadoop/lib/*:/usr/lib/hado op-hdfs/*:/usr/lib/hadoop-hdfs/lib/*:/etc/hadoop/conf/core- site.xml:/etc/hadoop/conf/hdfs- site.xml:./ggjava/*:./ggjava/resources/lib/* javawriter.bootoptions=-Xmx512m -Xms32m - Djava.class.path=ggjava/ggjava.jar (続く) (続き)
  • 26. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 • Hbase handlerプロパティファイルを編集します。 – $OGG_HOME/dirprm/hbase.properties 26 4-3. Oracle GoldenGate for Big Data Hbase Handlerの環境構築 gg.handlerlist=hbase gg.handler.hbase.type=hbase gg.handler.hbase.includeTokens=false gg.handler.name.keyValueDelimiter=CDATA[=] gg.handler.hbase.keyValuePairDelimiter=CDATA[,] gg.handler.hbase.encoding=UTF-8 gg.handler.hbase.pkUpdateHandling=delete-insert gg.handler.hbase.nullValueRepresentation=CDATA[NULL] gg.handler.hbase.authType=none gg.handler.hbase.mode=tx goldengate.userexit.timestamp=utc goldengate.userexit.writers=javawriter javawriter.stats.display=TRUE javawriter.stats.full=TRUE gg.log=log4j gg.log.level=info gg.report.time=30sec gg.checkpoint=java gg.classpath==/var/lib/hbase1/hbase1.0.0/lib/*:/usr/lib/ hbase/conf/:/usr/lib/hadoop/client/*:./ggjava/resources/ lib/* javawriter.bootoptions=-Xmx512m -Xms32m - Djava.class.path=ggjava/ggjava.jar(続く) (続き)
  • 27. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 1. Kafka Handlerプロパティファイルを編集します。 – $OGG_HOME/dirprm/kafka.properties 27 4-4. Oracle GoldenGate for Big Data Kafka Handlerの環境構築(1/2) gg.handlerlist = kafka gg.handler.kafka.type = kafka gg.handler.kafka.KafkaProducerConfigFile =custom_kafka_producer.properties gg.handler.kafka.TopicName=xml_topic gg.handler.kafka.SchemaTopicName = oggSchemaTopic gg.handler.kafka.mode =op ##Xml formatter properties gg.handler.kafka.format=xml gg.handler.kafka.format.encoding=UTF-8 goldengate.userexit.timestamp=utc goldengate.userexit.writers=javawriter goldengate.userexit.nochkpt=TRUE javawriter.stats.display=TRUE javawriter.stats.full=TRUE gg.log=log4j gg.log.level=info gg.report.time=30sec gg.checkpoint=java gg.classpath=dirprm:/usr/lib/kafka/libs/*:./ggjava/resour ces/lib/* javawriter.bootoptions=-Xmx512m -Xms32m - Djava.class.path=ggjava/ggjava.jar(続く) (続き)
  • 28. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 2. Kafka Producer配置ファイルを構成します。 – Kafka Handler のプロパティファイルのgg.handler.kafka.KafkaProducerConfigFile パラメータでファイ ル名を任意指定することが可能です。Kafka HandlerがこのKafka Producer配置ファイルを読み込ん で、メッセージの配信を行います。 – $OGG_HOME/dirprm/custom_kafka_producer.properties 28 Oracle GoldenGate for Big Data Kafka Handlerの環境構築(2/2) bootstrap.servers=localhost:9092 acks=1 reconnect.backoff.ms=1000 value.serializer=org.apache.kafka.common.serialization.ByteArraySerializer key.serializer=org.apache.kafka.common.serialization.ByteArraySerializer batch.size=1024 linger.ms=2000
  • 29. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 1. Flume Handlerプロパティファイルを構成、$OGG_HOME/dirprm/flume.propertiesを 編集する。 29 Oracle GoldenGate for Big Data Flume Handlerの環境構築(1/3) gg.handlerlist = flumehandler gg.handler.flumehandler.type=flume gg.handler.flumehandler.RpcClientPropertiesFile=custom -flume-rpc.properties gg.handler.flumehandler.mode=op gg.handler.flumehandler.PropagateSchema=true gg.handler.flumehandler.includeTokens=false ##Json formatter properties gg.handler.flumehandler.format=json gg.handler.flumehandler.format.prettyPrintformat.pretty Print=true gg.handler.flumehandler.format.jsonDelimiter=CDATA[De limiter] gg.handler.flumehandler.format.generateSchema=true goldengate.userexit.timestamp=utc goldengate.userexit.writers=javawriter javawriter.stats.display=TRUE javawriter.stats.full=TRUE gg.log=log4j gg.log.level=INFO gg.report.time=30sec gg.classpath=dirprm/:/usr/lib/flume- ng/lib/*:./ggjava/resources/lib/* javawriter.bootoptions=-Xmx512m -Xms32m - Djava.class.path=ggjava/ggjava.jar 続き
  • 30. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 2. Flume Source配置ファイルを構成、 $OGG_HOME/dirprm/ custom-flume- rpc.propertiesを編集する。 Flume Handler のプロパティファイルで gg.handler.flumehandler.RpcClientPropertiesFile で該当配置ファイル名を任意指定 可能です。 30 Oracle GoldenGate for Big Data Flume Handlerの環境構築(2/3) client.type=thrift hosts=h1 hosts.h1=127.0.0.1:41415
  • 31. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 3. Flume Agent配置ファイルを構成、 Cloudera managerで、 クラスタ-> Flume->インスタ ンス-> Agent->設定をクリックして、設定ファイルを編集する。 31 Oracle GoldenGate for Big Data Flume Handlerの環境構築(3/3) # Sources, channels, and sinks are defined per # agent name, in this case 'tier1'. tier1.sources = source1 tier1.channels = channel1 tier1.sinks = sink1 # For each source, channel, and sink, set # standard properties. tier1.sources.source1.type = thrift tier1.sources.source1.bind = 127.0.0.1 tier1.sources.source1.port = 41415 tier1.sources.source1.channels = channel1 tier1.channels.channel1.type = memory tier1.sinks.sink1.type = hdfs tier1.sinks.sink1.hdfs.path = /tmp/ogg/test1/%{TABLE_NAME} tier1.sinks.sink1.hdfs.filePrefix = %{TABLE_NAME}_ tier1.sinks.sink1.hdfs.writeFormat=Writable tier1.sinks.sink1.hdfs.rollInterval=0 tier1.sinks.sink1.hdfs.rollSize=0 tier1.sinks.sink1.hdfs.rollCount=0 tier1.sinks.sink1.hdfs.batchSize=10000 tier1.sinks.sink1.hdfs.fileType=DataStream tier1.sinks.sink1.channel = channel1 # Other properties are specific to each type of # source, channel, or sink. In this case, we # specify the capacity of the memory channel. tier1.channels.channel1.capacity = 100 続き
  • 32. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 1. ソース側で、下記の順でにEXTRACTとData-Pump ExtractとInitial-Load Extractプロセ スを起動する。 EINI_1を起動すると、ターゲット側のRINI_1プロセスを自動的に起動 します。データ一致性を保持するために、初期データロードが完了する前に、ソース データベース中にデータ変更をしないでください。 32 プロセスを追加と起動(1/4) GGSCI > START EXTRACT e1 GGSCI > START EXTRACT p1 GGSCI > START EXTRACT eini_1
  • 33. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 2. 下記のコマンドを発行して初期データのロード結果を確認します。 33 プロセスを追加と起動(2/4) GGSCI > VIEW REPORT eini_1 … Processing table DEMO.TCUSTMER … REDO Log Statistics Bytes parsed 0 Bytes output 33151
  • 34. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 3. 初期データをロードした後、EINI_1とRINI_1は自動的に停止します。下記のコマンドを 発行してEINI_1とRINI_1の状態を確認します。 34 プロセスを追加と起動(3/4) ソース側: GGSCI > info extract eini_1 EXTRACT EINI_1 Last Started 2016-08-31 16:07 Status STOPPED Checkpoint Lag Not Available Log Read Checkpoint Table Demo.customer 2016-08-31 16:07:10 Record 182 Task SOURCEISTABLE ターゲット側: GGSCI > info replicat rini_1 REPLICAT RINI_1 Initialized 2016-08-31 13:39 Status STOPPED Checkpoint Lag 00:00:00 (updated 26:02:00 ago) Log Read Checkpoint Not Available Task SPECIALRUN
  • 35. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 4. ターゲット側で、初期データロードが完了した後で、Replicatプロセスを起動します。 35 プロセスを追加と起動(4/4) GGSCI > add replicat hdfs, exttrail ./dirdat/p1 GGSCI > start replicat hdfs
  • 36. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Agenda 36 前提条件の確認 Oracle GoldenGate for Big Dataのインストール Oracle GoldenGate for Big Dataの配置 Oracle GoldenGate for Big Dataの動作確認 Oracle GoldenGate for Big Dataのアンインストール 参考情報 1 2 3 4 5 6
  • 37. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | • ソース側で、テーブルを作成して、レコー ドを挿入します。 • ターゲット側で、挿入したデータを確認 します。 37 Oracle GoldenGate for Big Dataの動作確認 HDFS Handlerの動作確認 SQL> connect sys/Welcome1@src as sysdba SQL> CREATE TABLE demo.t_hdfs ( id NUMBER NOT NULL PRIMARY KEY, name CHAR(10) NOT NULL , updatedate date DEFAULT SYSDATE); SQL> insert into demo.t_hdfs values(1,‘yamamoto', sysdate); 1行が作成されました。 SQL> commit; コミットが完了しました。 SHELL> hadoop fs -ls /ogg21/txt Found 2 items -rw-r--r-- 3 oracle supergroup 86585 2016-09-01 19:58 /ogg21/txt/2016-09-01_19-58-04.280.txt -rw-r--r-- 3 oracle supergroup 122 2016-09-02 12:52 /ogg21/txt/2016-09-02_12-52-30.344.txt SHELL> hadoop fs -cat /ogg21/txt/2016-09-02_12-52-30.344.txt IDEMO.T_HDFS2016-09-02 04:52:22.9999972016-09- 02T12:52:30.342000000000000000000033361yamamoto 2016-09- 02:12:52:19 I|DEMO.T_HDFS|2016-09-02 04:52:22.999997|2016-09- 02T12:52:30.342000|00000000000000003336|1|yamamoto |2016- 09-02:12:52:19
  • 38. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | • ソース側で、テーブルを作成して、レコー ドを挿入します。 • ターゲット側で、挿入したデータを確認し ます。 38 Oracle GoldenGate for Big Dataの動作確認 HDFS Handler(For Hive)の動作確認 SQL> connect sys/Welcome1@src as sysdba SQL> CREATE TABLE demo.t_hive ( id NUMBER NOT NULL PRIMARY KEY, name CHAR(10) NOT NULL , updatedate date DEFAULT SYSDATE); SQL> insert into demo.t_hive values(1,‘yamamoto', sysdate); 1行が作成されました。 SQL> commit; コミットが完了しました。 SHELL> hadoop fs -ls /ogg21/txt drwxrwxrwx - oracle supergroup 0 2016-09-02 13:35 /ogg21/txt/demo.t_hive SHELL> hadoop fs -ls /ogg21/txt/demo.t_hive Found 1 items -rw-r--r-- 3 oracle supergroup 122 2016-09-02 13:35 /ogg21/txt/demo.t_hive/demo.t_hive_2016-09-02_13-35-46.273.txt SHELL> hadoop fs -cat /ogg21/txt/demo.t_hive/demo.t_hive_2016-09- 02_13-35-46.273.txt I|DEMO.T_HIVE|2016-09-02 05:35:38.000082|2016-09- 02T13:35:46.267000|00000000000000005256|1|yamamoto |2016- 09-02:13:35:36
  • 39. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | • ソース側で、テーブルを作成して、レコー ドを挿入します。 • ターゲット側で、挿入したデータを確認し ます。 39 Oracle GoldenGate for Big Dataの動作確認 Hbase Handlerの動作確認 SQL> connect sys/Welcome1@src as sysdba SQL> CREATE TABLE demo.t_hbase ( id NUMBER NOT NULL PRIMARY KEY, name CHAR(10) NOT NULL , updatedate date DEFAULT SYSDATE); SQL> insert into demo.t_hbase values(1,‘yamamoto', sysdate); 1行が作成されました。 SQL> commit; コミットが完了しました。 SHELL> $HBASE_HOME/bin/hbase shell Hbase(main):001:0> list TABLE DEMO:T_HBASE Hbase(main):002:0> scan ‘DEMO:T_HBASE’ ROW COLUMN+CELL 1 column=cf:ID, timestamp=1472795682414, value=1 1 column=cf:NAME, timestamp=1472795682414, value=yamamoto 1 column=cf:UPDATEDATE, timestamp=1472795682414, value=2016-09-02:13:47:57 1 row(s) in 0.0400 seconds
  • 40. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | • ソース側で、テーブルを作成して、レ コードを挿入します。 • ターゲット側で、挿入したデータを確認し ます。 40 Oracle GoldenGate for Big Dataの動作確認 Kafka Handlerの動作確認 SQL> connect sys/Welcome1@src as sysdba SQL> CREATE TABLE demo.t_kafka ( id NUMBER NOT NULL PRIMARY KEY, name CHAR(10) NOT NULL , updatedate date DEFAULT SYSDATE); SQL> insert into demo.t_kafka values(1,‘yamamoto', sysdate); 1行が作成されました。 SQL> commit; コミットが完了しました。 Shell> /usr/bin/kafka-console-consumer --zookeeper infbjvm118.cn.oracle.com:2181 --from beginning --topic xml_topic <?xml version='1.0' encoding='UTF-8'?> <operation table='DEMO.T_KAFKA' type='I' ts='2016-09-01 02:10:49.000686' current_ts='2016-09-01T12:10:55.372000' pos='00000000000000003381' numCols='3'> <col name='ID' index='0'> <before missing='true'/> <after><![CDATA[1]]></after> </col> <col name='NAME' index='1'> <before missing='true'/> <after><![CDATA[yamamoto ]]></after> </col> <col name='UPDATEDATE' index='2'> <before missing='true'/> <after><![CDATA[2016-09-01:12:10:47]]></after> </col> </operation>
  • 41. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | • ソース側で、テーブルを作成して、レコー ドを挿入します。 • ターゲット側で、挿入したデータを確認し ます。 41 Oracle GoldenGate for Big Dataの動作確認 Flume Handlerの動作確認 SQL> connect sys/Welcome1@src as sysdba SQL> CREATE TABLE demo.test_flume ( id NUMBER NOT NULL PRIMARY KEY, name CHAR(10) NOT NULL , updatedate date DEFAULT SYSDATE); SQL> insert into demo.test_flume values(1,‘yamamoto', sysdate); 1行が作成されました。 SQL> commit; コミットが完了しました。 Shell> hadoop fs -ls /tmp/ogg/test1/TEST_FLUME Found 1 items -rw-r--r-- 3 flume supergroup 297 2016-09-01 15:13 /tmp/ogg/test1/TEST_FLUME/TEST_FLUME_. 1472714000782.tmp Shell> hadoop fs -cat /tmp/ogg/test1/TEST_FLUME/TEST_FLUME_. 1472714000782.tmp { "table":"DEMO.TEST_FLUME", "op_type":"I", "op_ts":"2016-09-01 03:06:15.000465", "current_ts":"2016-09-01T11:06:21.675000", "pos":"00000000020000003695", "after":{ "ID":"1", "NAME":"yamamoto ", "UPDATEDATE":"2016-09-01:11:06:13" } }Delimiter
  • 42. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Agenda 42 前提条件の確認 Oracle GoldenGate for Big Dataのインストール Oracle GoldenGate for Big Dataの配置 Oracle GoldenGate for Big Dataの動作確認 Oracle GoldenGate for Big Dataのアンインストール 参考情報 1 2 3 4 5 6
  • 43. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataのアンインストール 1.プロセスを停止して設定を解除します。 2. Oracle GoldenGate for Big Dataのインストールディレクトリを削除します。 43 GGSCI> STOP REPLICAT hdfs GGSCI> STOP mgr GGSCI> DELETE REPLICAT hdfs Shell> rm –rf installation_directory
  • 44. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Agenda 44 前提条件の確認 Oracle GoldenGate for Big Dataのインストール Oracle GoldenGate for Big Dataの配置 Oracle GoldenGate for Big Dataの動作確認 Oracle GoldenGate for Big Dataのアンインストール 参考情報 1 2 3 4 5 6
  • 45. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 参考情報 • Oracle GoldenGate for Big Data 12c 全般情報(英語) – http://docs.oracle.com/goldengate/bd1221/gg-bd/index.html – Oracle GoldenGate 12c リリースノート(英語) – https://docs.oracle.com/goldengate/bd1221/gg-bd/GBDRN/toc.htm – Oracle GoldenGate 12c インストールガイド(英語) – https://docs.oracle.com/goldengate/bd1221/gg-bd/GBDIG/toc.htm 45
  • 46. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Document Control Author Oracle Asia Research & Development Center • 黄 明 • 梁 国賢 • 楊 帆 Reviewer 日本オラクル株式会社 • 谷川 信朗 • 後藤 陽介 • 舟橋 直美 46 変更履歴 Date Version 2016/9 1.0 Created.
  • 47. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
  • 48. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 48