[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
•
8 likes•2,349 views
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
Report
Share
![[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈](https://cdn.statically.io/img/image.slidesharecdn.com/236deview2018jihoonson-final-181012031726/85/236-1-320.jpg)
![[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈](https://cdn.statically.io/img/www.slideshare.net/data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
More Related Content
What's hot
What's hot (20)
More from NAVER D2
More from NAVER D2 (20)
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
- 5. • •
- 6. • •
- 7. •
- 8. •
- 9. • • • • •
- 12. • • • •
- 13. • •
- 14. • •
- 15. •
- 16. •
- 17. •
- 18. • •
- 19. • • •
- 23. • •
- 24. •
- 25. •
- 27. • • •
- 28. •
- 29. • •
- 30. • • •
- 31. • • • •
- 34. • •
- 35. • •
- 36. •
- 37. • •
- 38. •
- 39. •
- 40. •
- 41. •
- 43. • • { "type" : "compact", "dataSource" : "wikipedia", "interval" : "2017-01-01/2018-01-01" }
- 44. • • •
- 45. •
- 46. •
- 47. • • •
- 48. • • • • •
- 49. • { "dataSource": "twitter", "keepSegmentGranularity": true, "targetCompactionSizeBytes": 419430400, "skipOffsetFromLatest": "P1D" }
- 51. • • • •
- 52. • • • •
- 54. • • •
- 55. • • •
- 56. • • •
- 57. • •
- 58. • •
- 59. •
- 60. • •
- 61. • •
- 62. • • •
- 65. { "type" : "index", "spec" : { "dataSchema" : { "dataSource" : ”hash_33", "parser" : { "type" : "noop", "parseSpec" : { "dimensionsSpec" : { "dimensions" : [ { "name" : ”kafka_part_key" }, { "name" : ”dim1" }, { "name" : ”dim2" }, { "type" : "double", "name" : ”met1” } ] } } }, "granularitySpec" : { "type" : "arbitrary", "queryGranularity" : { "type" : "none" }, "intervals" : [ "2017-12-29/2017-12-30" ] } }, "ioConfig" : { "type" : "index", "firehose" : { "type" : "ingestSegment", "dataSource" : "original_datasource", "interval" : "2017-12-29/2017-12-30", "dimensions" : [ ”kafka_part_key", ”dim1", ”dim2", ”met1" ], } }, "tuningConfig" : { "type" : "index", "numShards": 33, "forceGuaranteedRollup" : true } } }
- 66. { "type" : "index", "spec" : { "dataSchema" : { "dataSource" : ”sort_20m", "parser" : { "type" : "noop", "parseSpec" : { "dimensionsSpec" : { "dimensions" : [ { "name" : ”kafka_part_key" }, { "name" : ”dim1" }, { "name" : ”dim2" }, { "type" : "double", "name" : ”met1" }, { "type" : "long", "name" : "raw_timestamp" } ] } } }, "granularitySpec" : { "type" : "uniform", "segmentGranularity" : "DAY", "queryGranularity" : "DAY", "intervals" : [ "2017-12-29/2017-12-30" ] }, "transformSpec" : { "transforms": [ { "type": "expression", "name": "raw_timestamp", "expression": "timestamp(timestamp)" } ] } }, "ioConfig" : { "type" : "index", "firehose" : { "type" : "ingestSegment", "dataSource" : "original_datasource", "interval" : "2017-12-29/2017-12-30", "dimensions" : [ ”kafka_part_key", ”dim1", ”dim2", ”met1", "raw_timestamp" ] } }, "tuningConfig" : { "type" : "index", "targetPartitionSize" : 20000000 } } }