DEVIEW - 오픈소스를 활용한 분산아키텍처 구현기술

1. 오픈소스를

2. 활용한 분산아키텍처

3. 구현

4. 기술 김요한

6. yohany@gmail.com

7. ) LG

8. CNS

9. CONTENTS 1.

10. Scalability

11. 란 2.

12. Async

13. Event

14. Looping

15. Server 3.

16. Reverse

17. Proxy

18. Server 4.

19. 분산서버

20. 노드

21. 관리 - Consistent Hashing - 분산 코드네이터 5. 더 고민해야 할 부분 - 공유 데이터 관리 - 모듈 기반 어플리케이션 - 대용량 Connection 관리

22. 1. Scalability

23. 1 Scalability When you add twice as many servers, are you twice as fast (or have twice the capacity)? - LiveJournal https://www.usenix.org/legacy/events/usenix07/tech/slides/fitzpatrick.pdf Replacing all components of a car while driving it at 100mph. - Instagram https://www.unboundid.com/blog/2012/06/27/scaling-at-100mph

24. 1 Scalability Asynchronous Fault-Tolerance Optimistic

25. Concurrency Parallelization Shared

26. nothing

28. Loosely

29. Coupled Partitioned

30. Datas Idempotent

31. Operations

32. 1 Scalability http://stalk.io script src=http://www.stalk.io/stalk.js/script script language=javascript STALK.init(); /script

33. 2. Async Event Looping Server

34. 2 Async Event Looping Server Single

35. Thread

36. 로

37. Event

38. Looping

39. 처리

40. 하는

41. 비동기

42. 서버 core

43. 당

44. 하나의

45. thread

47. 저사양

49. 고성능 /

50. WebSocket

51. 추상화 cf.

52. DB

53. 연결

54. Transaction

55. 관리

57. 좀

58. 더

59. 오래

60. 걸리는

61. 작업

63. 일반적인

64. 업무

65. 시스템

66. 2 Async Event Looping Server http://www.techempower.com/benchmarks/

67. 2 Async Event Looping Server 서버만

68. 많다면

69. 될까?

70. 3. Reverse Proxy Server

71. 3 Reverse Proxy Server L4

73. L7

74. Switch ?

75. 3 Reverse Proxy Server Reverse

76. Proxy

77. 3 Reverse Proxy Server Reverse

78. Proxy L4

79. Switch

80. 3 Reverse Proxy Server HAProxy + Varnish Fully Dynamic Contents HaProxy Varnish

81. 3 Reverse Proxy Server 참고로, Job Queueing Gearman, RabbitMQ + Celery (instagram, pinterest) Job

82. Worker Job

83. Worker Job

84. Queue

85. Server Job

86. Worker 비동기 처리 Job

87. Worker 병렬 프로세싱

88. 3 Reverse Proxy Server public class ReverseProxyServer extends Verticle { public void start() { HttpClient clients[] = {vertx.createHttpClient().setHost(10.21.32.01).setPort(8282), vertx.createHttpClient().setHost(10.21.32.02).setPort(8282), vertx.createHttpClient().setHost(10.21.32.03).setPort(8282), . . . }; vertx.createHttpServer().requestHandler(new ��Handler() { Reverse

89. Proxy

90. 서버는

91. public void handle(final HttpServerRequest req) { final HttpClientRequest cReq = clients.get().request(req, new HandlerHttpClientResponse() { public void handle(HttpClientResponse cRes) { cRes.dataHandler(new HandlerBuffer() { req.response.write(data); }); cRes.endHandler(new SimpleHandler() { req.response.end(); }); } }); } }).listen(8080); } vert.x 로 Reverse Proxy 서버 } “

92. 부하

93. 분산

94. ”

95. 은

96. 어떻게? “

97. 무중단

98. 서버

99. 추가

100. ”

101. 는

102. 어떻게? 신규서버

103. 추가

104. /

105. 장애

106. 서버

107. 처리

108. .

109. .

110. .

111. .

112. Auto

113. Scale

114. Out

115. ? 구현하기.

116. 4. 분산서버 노드 관리 - Consistent Hashing - 분산 코드네이터

117. 4.1 Consistent Hashing 부하 분산 방법 ? Round

118. Robin

120. (순차적으로) Least

121. Connection

123. (가장

124. 놀고

125. 있는

126. 분께) Consistent

127. Hashing

128. -

129. 키값이

130. 같으면

131. 같은

132. 서버에서

133. 처리한다.

134. (Sticky

135. ?) -

136. shared

137. nothing,

138. sharding,

139. 데이터

140. 분산

141. 저장/처리

142. 등

143. 4.1 Consistent Hashing Service

144. Server A D Token

145. Ring C value

146. =

147. HASH(key) B

148. 4.1 Consistent Hashing A D value

149. =

150. HASH(key) B C A

151. -

152. C

153. 구간이

154. 넓어서

155. C

156. 에

157. 부하가

158. 많을

159. 수

160. 있다

161. ! 장애

162. 발생

163. !!

164. 4.1 Consistent Hashing A C D B D C B A D B C A D value

165. =

166. HASH(key) A B C D B A C A B C D B A D C C B A C D B A value

167. =

168. HASH(key2)

169. 4.1 Consistent Hashing A C D B D C B A D B C A D value

170. =

171. HASH(key) A B C D B A C A B C D B A D C C B A C D B A value

172. =

173. HASH(key2)

174. 4.1 Consistent Hashing public class ConsistentHashT{ ConsistentHash.add(‘nodeA’,...); private final HashFunction hashFunction = Hashing.md5(); private final SortedMapLong, T circle = new TreeMapLong, T(); ConsistentHash.add(‘nodeB’,...); ConsistentHash.add(‘nodeC’,...); public void add(String name, T node) { circle.put(hashFunction.hashString(name).asLong(),node); } public void remove(String name) { circle.remove(hashFunction.hashString(name).asLong()); } ConsistentHash.add(‘nodeD’,...); } public T get(String value) { long hash = hashFunction.hashString(value).asLong(); if (!circle.containsKey(hash)) { SortedMapLong, T tailMap = circle.tailMap(hash); hash = tailMap.isEmpty()?circle.firstKey():tailMap.firstKey(); } return circle.get(hash); }

175. 4.1 Consistent Hashing public class ConsistentHashT{ private final HashFunction hashFunction = Hashing.md5(); private final SortedMapLong, T circle = new TreeMapLong, T(); private final int numberOfReplicas = 100; } public void add(String name, T node) { for (int i = 0; i numberOfReplicas; i++) { circle.put(hashFunction.hashString(name + i).asLong(),node); } } public void remove(String name) { for (int i = 0; i numberOfReplicas; i++) { circle.remove(hashFunction.hashString(name + i).asLong()); } } public T get(String value) { long hash = hashFunction.hashString(value).asLong(); if (!circle.containsKey(hash)) { SortedMapLong, T tailMap = circle.tailMap(hash); hash = tailMap.isEmpty()?circle.firstKey():tailMap.firstKey(); } return circle.get(hash); }

176. 4.1 Consistent Hashing public class ConsistentHashT{ } private final HashFunction hashFunction = Hashing.md5(); private final SortedMapLong, T circle = new TreeMapLong, T(); private final int numberOfReplicas = 100; 모두

177. 똑같이

178. 해야

179. 하나? public void add(String name, T node) { for (int i = 0; i numberOfReplicas; i++) { circle.put(hashFunction.hashString(name + i).asLong(),node); 서버의

180. CPU

181. Core

182. 수

183. 나

184. 네트워크

185. 구간

186. 등

187. 고려 } } public void remove(String name) { for (int i = 0; i numberOfReplicas; i++) { circle.remove(hashFunction.hashString(name + i).asLong()); } } public T get(String value) { long hash = hashFunction.hashString(value).asLong(); if (!circle.containsKey(hash)) { SortedMapLong, T tailMap = circle.tailMap(hash); hash = tailMap.isEmpty()?circle.firstKey():tailMap.firstKey(); } return circle.get(hash); }

188. 4.1 Consistent Hashing replics 수에 따른 표준편차(standard deviation) 서버

189. 노드

190. 10

191. 개를

192. 1

193. 부터

194. 500

195. 개

196. 까지

197. relicas

198. 로

199. 배치

200. 10,000

201. 번의

202. consistent

203. Hashing

204. 결과 https://weblogs.java.net/blog/tomwhite/archive/2007/11/consistent_hash.html

205. 4.2 분산 코디네이터 zkClient.get().create(/serviceServers/nodeA, // 서버정보를 가지고 있는 zNode Path 1.1.1.1:8080.getBytes(), // zNode 의 데이터, 서버 상세정보 (Null 이어도 됨) CreateMode.EPHEMERAL); // zNode 타입 (EPHEMERAL : 임시노드 / PERSISTENT : 영구생성) EPHEMERAL

206. 타입은

207. Zookeeper

208. 서버에

209. 접속이

210. 끊어지면,

211. 자동으로

212. 삭제

213. !! 서비스

214. 서버

215. 장애로

216. Shutdown

217. 되면

218. Zookeeper

219. 목록에서

220. 자동으로

221. 삭제

222. 가능 zkClient.get().create(/serviceServers/nodeB, . . . . . zkClient.get().create(/serviceServers/nodeC, . . . . . zkClient.get().create(/serviceServers/nodeD, . . . . . Apache ZooKeeper™ /serviceServers/nodeA /nodeB /nodeC /nodeD

223. 4.2 분산 코디네이터 Apache ZooKeeper™ /serviceServers/nodeA /nodeB /nodeC /nodeD : : 노드

224. 삭제 create

225. node 서버

226. 목록을

227. watching

228. 하면서

229. 2 Proxy

230. 서버의

231. 서비스

232. 서버

233. 목록을

234. 동기화

235. !!

236. watching reverse

237. proxy

238. server 3 1 서비스

239. 서버가

240. startup

241. 될때

242. zookeeper

243. Server

244. 에

245. 연 결해서

246. EPHEMERAL

247. 노드

248. 생성

249. 장애

250. 발생

252. zookeeper

253. 와

254. 연결이

255. 자동으로

256. 끊어짐!! 서비스

257. 서버

258. 목록을

259. Ring

260. 에

261. 추가 Consistent

262. Hashing

264. service

265. servers

267. 4.2 분산 코디네이터 장애

268. 발생시

269. 자동

270. 삭제

271. 될

272. 수

273. 있도록 CreateMode.EPHEMERAL 로

274. Znode

275. 생성

276. ? 하지만,

277. 또

278. 다른

279. 문제들. -

280. 네트워크

281. 문제로

282. znode

283. 가

284. 삭제 -

285. Disk

286. Full,

287. Memory,

288. CPU

289. .

290. .

291. .

292. .

293. ?

294. CreateMode.PERSISTENT 로

295. Znode

296. 생성

297. 후

298. 데��으로

299. 서버들의

300. 상태

301. 관리. Auto

302. Scaling

303. 이

304. 가능하도록

305. 해야

306. 할

307. 것.

308. 5. 더 고민해야 할 부분 - 공유데이터관리 - 모듈 기반 어플리케이션 - 대용량 Connection 관리

309. 5.1 공유 데이터 관리 WAS

310. 의

311. Cluster

312. 는

313. 장애

314. /

315. 성능

316. 저하의

317. 주된

318. 원인

319. ! Tomcat

320. 의

321. session

322. replication

323. :

324. DeltaManager

325. or

326. BackupManager 해결책

327. 중

328. 하나

329. -

330. NAVER

331. 의

332. TripleS

333. (Shared

334. Session

335. System)

336. ? http://helloworld.naver.com/helloworld/233847

337. 5.1 공유 데이터 관리 를

338. 활용한

339. 공유

340. 데이터

341. (session)

342. 공유하기 ZooKeeper™ Redis Cluster Manager create/delete redis

343. node redis

344. 서버

345. 목록을

346. Ring

347. 에

348. 주가하고

349. 동기화

350. 한다. Reverse

351. Proxy server watching heartbeat redis

352. 상태

353. 체크 .

354. .

355. . Consistent

356. Hashing

357. shard 1 .

358. .

359. . get

360. /

361. set

362. session

363. datas shard 2 .

364. .

365. .

366. servers

367. shard 3

368. 5.1 공유 데이터 관리 공유하지

369. 않는

370. 것

371. (shared

372. nothing)

373. 이

374. 가장

375. 좋은

376. 방법

377. !!

378. servers

379. Reverse

380. Proxy server 체팅방명(키)이

381. hash

382. key HASH

383. (“체팅방

384. A”) HASH

385. (“체팅방

386. B”) Consistent

387. Hashing

388. 이

389. 서비스

390. 서버에

391. “체팅방

392. A”

393. 에

394. 입장한

395. 모든

396. 접속자

397. 목록��

398. Local

399. 메모리에

400. 저장하고

401. 있다.

402. 5.2 모듈 기반 어플리케이션 var http = require('http'); vertx.deployModule(web-‐server-‐v1.2, config, 1); var sender = require('./lib/messageSenderMod'); vertx.deployModule(mod-‐messageSender-‐v0.1, config, 1); var receiver = require('./lib/messageReceiverMod'); vertx.deployModule(mod-‐messageReceiver-‐v0.1, config, 1); var auth = require('./lib/userAuthMod'); vertx.deployModule(mod-‐userAuth-‐v0.1, config, 1); var buddy = require('./lib/buddyMgrMod'); vertx.deployModule(mod-‐buddyMgs-‐v0.1, config, 1); . . . . . . . . . . . . . . . . . . . . . . 서버의

403. 기능들을

404. 분리해

405. 구현한

406. 모듈들

407. 5.2 모듈 기반 어플리케이션

408. vertx

409. run

410. stalk

411. -config

412. webServer.config modwebServer modnodeWatcher modsessionManager modpublishManager Event

413. Bus modules

414. vertx

415. run

416. stalk

417. -config

418. socketServer.config mod- mod- mod- mod- socketServer nodeWatcher sessionManager mongoMgr common

419. library Main

420. Verticle Event

421. Bus modmailSender

422. 5.3 대용량 Connection 관리 특히,

423. 체팅과

424. 같은

425. 양방향

426. socket

427. (websocket)

428. 통신

429. 서버라면,

430. Users

431. 서비스

432. 중재

433. 서버

434. 가

435. 먼서

436. Client

437. 에게

438. 서비스

439. 서버를

440. 할당하자.

441. !! ZooKeeper™ 서비스 중재 서버 ZooKeeper™ Proxy 서버

442. Servers

444. Users

446. Servers

448. 5.3 대용량 Connection 관리 데이터

449. Storage

450. 와

451. 서비스

452. 서버간

453. Connection

454. 은

455. ? mongos router 각

456. 서비스

457. 서버에

458. router

459. 가

460. 설치

461. 된다. shard 1 shard 2 shard 3

462. Servers

463. shard 1 shard 2 mongos router shard 3

464. mongoDB

465. Cluster

467. Servers

469. mongoDB

470. Cluster

472. 김요한

473. yohany@gmail.com facebook.com/johnkim0331

474. 참조링크

475. pinterest.com/johnkim0331/deview2013

476. 프로젝트

477. stalk.io

478. THANK YOU

DEVIEW - 오픈소스를 활용한 분산아키텍처 구현기술

More Related Content

DEVIEW - 오픈소스를 활용한 분산아키텍처 구현기술