[241] Storm과 Elasticsearch를 활용한 로깅 플랫폼의 실시간 알람 시스템 구현

1. 네이버 서비스플랫폼개발센터 이승진 Storm과 Elasticsearch를 활용한 로깅 플랫폼의 실시간 알람 시스템 구현

2. Contents 1. Intro 2. 기존 알람 시스템의 문제점 3. Storm과 Elasticsearch Percolator 소개 및 활용 4. 새로 구현된 알람 시스템

3. 발표자 소개 운동을 즐기고 여행을 사랑하며 프로그래밍은 격하게!

4. 발표자 소개 • 네이버

5. 서비스

6. 플랫폼

7. 개발센터

8. 소속

9. • 전사

10. 로깅

11. 플랫폼

12. 개발

13. • 오픈소스

14. 컨트리뷰션

15. • Storm-elasticsearch

16. 드라이버

17. 등

18. 1. Intro

19. 로깅 플랫폼이란 개발

20. 1팀 로깅

21. 플랫폼

22. 구축해야... 로깅

23. 플랫폼

24. 개발 개발

25. 2팀 로깅

26. 플랫폼

27. 개발 개발

28. 3팀 로깅

29. 플랫폼

30. 개발 중복되는

31. 삽질

32. 로깅 플랫폼이란 개발

33. 1팀 개발

34. 2팀 개발

35. 3팀 공용

36. 로깅

37. 플랫폼 효율적인

38. 운영

39. 알람의 필요성 A

40. 서비스 A

41. 서비스

42. 개발자

43. B군

44. 알람의 필요성 A

45. 서비스 A

46. 서비스

47. 개발자

48. B군

50. 서비스 A

51. 서비스

52. 개발자

53. B군 알람의 필요성

55. 서비스 A

56. 서비스

57. 개발자

60. 서비스 A

61. 서비스

62. 개발자

64. 1. 기존 알람 모듈의 문제점

65. 네이버 사내 로깅 플랫폼 • NELO2

66. • Elasticsearch

67. 기반

68. • 검색,

69. 대시보드,

70. 크래시

71. 분석,

72. 알람

73. 등의

74. 기능

75. 수집

76. 서버

80. 룰

81. 매칭

85. 5분

86. 주기

87. 규칙

88. 동기화 기존 알람 모듈의 문제점 구조적인 문제점 알람

89. 서버

90. Node.js

91. 기반

95. 알람

96. 집계

100. 1분

101. 주기

102. 알람

103. 발송 유입

104. 로그 • 기존

105. 알람

106. 모듈

107. 아키텍쳐 확장성

108. 제약 주기적인

109. 동작

110. 방식 이원화

111. 된

112. 알람

113. 처리

114. 기존 알람 모듈의 문제점 구조적인 문제점 주기적인

115. 동작

116. 방식 • 알람

117. 발송의

118. 실시간성이

119. 보장되지

120. 않음

121. • 사용자의

122. 갱신행위

123. 반영시점도

124. 명확하지

125. 않음

126. 기존 알람 모듈의 문제점 구조적인 문제점 확장성

127. 제약 • 수집서버

128. -

129. 알람서버가

130. 직접

131. 메세지를

132. 주고

133. 받음

134. • 알람서버

135. 노드

136. 추가시

137. 수집서버도

138. 재시작

139. 되어야

140. 하는

141. 문제

143. 기존 알람 모듈의 문제점 구조적인 문제점 이원화

144. 된

145. 알람

146. 처리 • 하나의

147. 알람

148. 관련

149. 기능을

150. 두

151. 컴포넌트에서

152. 나눠서

153. 처리

154. • 버그

155. 리포트

156. 시

157. 문제원인

158. 파악의

159. 어려움

160. 기존 알람 모듈의 문제점 UX측면에서의 문제점 검색 알람

161. 등록이상

162. 로그

163. 확인 Elasticsearch

164. 쿼리 자체

165. 정의

166. 쿼리

167. 규칙 • 사용자의

168. 알람

169. 기능

170. 활용

171. 패턴 검색

172. /

173. 알람

174. 문법

175. 불일치

176. 확장성

177. 제약 주기적인

178. 동작

179. 방식 기존 알람 모듈의 문제점 검색

180. /

181. 알람

182. 문법

183. 불일치 이원화

184. 된

185. 알람

186. 처리

187. 2. Storm과 Elasticsearch Percolator 소개 및 활용

188. Storm Intro • 분산

189. 스트리밍

190. 처리

191. 프레임워크

192. • Java

193. /

194. Clojure

195. • 메세지

196. 전송

197. 보장

198. • at

199. least

200. /

201. at

202. most

203. /

204. exactly

205. once

206. Storm 아키텍쳐 Supervisor Nimbus Zookeeper Worker Supervisor Supervisor Supervisor Worker Executor Task Task Worker 마스터노드 클러스터

207. 관리 워커

209. 구동

210. /

211. 관리 프로세스

212. 수행

213. Storm Cluster • nimbus(마스터)와

214. supervisor(슬레이브)로

215. 구성

216. • supervisor는

217. worker

218. 프로세스를

219. 관리

220. • worker는

221. 실제

222. topology를

223. 구동

224. • 주키퍼를

225. 통한

226. 코디네이션

227. • 데이터

228. 처리

229. 흐름을

230. 나타나내는

231. DAG

232. • Spout

233. :

234. 데이터

235. 소스

236. • Bolt

237. :

238. 개별

239. 데이터

240. 처리

241. 로직

242. • Tuple

243. :

244. 단위

245. 데이터

246. • 워커

247. 프로세스

248. 들에

249. 의해

250. 분산

251. 구동

252. • Sub-second

253. latency Storm Topology Spout Bolt Bolt Bolt Spout Bolt tuple

254. Storm Rebalancing : executor parallelism control Bolt

255. A Bolt

256. B Bolt

257. C Spout Spout Storm

258. Topology Input

259. Storm Rebalancing : executor parallelism control Bolt

260. A Bolt

261. B Bolt

263. Topology Input storm

264. rebalance

265. myTopology

266. -e

267. BoltB=4

269. Storm Bolt

270. A Bolt

271. B Bolt

273. Topology Input Rebalancing : intra worker parallelism control

274. Storm Input Spout Spout Bolt

275. C Bolt

276. C Bolt

277. C Topology Rebalancing : worker parallelism control storm

278. rebalance

279. myTopology

280. -n

281. 3

282. Storm Spout Spout Bolt

283. C Bolt

284. C Bolt

285. C Topology Spout Spout Bolt

286. C Bolt

287. C Bolt

288. C Topology Spout Spout Bolt

289. C Bolt

290. C Bolt

291. C Topology Input Rebalancing : worker parallelism control

292. Storm High availability • Nimbus

293. 데몬이

294. 죽는

295. 경우

296. • Worker

297. 프로세스

298. 자체에는

299. 영향이

300. 없음,

301. • 이후

302. 리밸런싱은

303. 일어나지

304. 않음

305. • 적절한

306. 관리

307. 프로세스가

308. 필요

309. • SPOF(Single

310. Point

311. Of

312. Failure)

313. • Nimbus

314. 이중화

315. 논의/PR

316. 진행

317. 중

318. Storm High availability • Supervisor

319. 데몬이

320. 죽는

321. 경우

322. • Worker

323. 프로세스

324. 자체에는

325. 영향

326. 없음

327. • 이후

328. 해당

329. 노드에서

330. 리밸런싱은

331. 일어나지

332. 않음

333. • 적절한

334. 관리

336. 필요

337. Storm High availability • Worker

339. 죽는

340. 경우

341. • 수차례

342. 해당

343. 노드에서

344. 재시작

345. 시도

346. • 실패할

347. 경우

348. 다른

349. 노드로

350. 리밸런싱

351. • Storm

352. UI

353. /

354. Storm

355. rest

356. API

357. • 토폴로지

358. 메트릭

359. 조회(throughput,

360. latency

361. 등)

362. • Custom

363. metric

364. • IMetricsConsumer

365. 인터페이스

366. 상속하여

367. 커스텀

368. 구현

369. • Graphite를

370. 통한

371. 시계열

372. 메트릭

373. 시각화

374. • Central

375. logging

376. platform Storm monitoring

377. • 5

378. Elasticsearch

379. nodes,

380. 2

381. Storm

382. worker

383. nodes

384. • 2

385. cpu

386. cores,

387. 4gb

388. mem

389. • 평균

390. 1kb

391. 로그

392. 사이즈

393. • 초당

394. 평균

395. 처리량

396. 30k,

397. latency

398. 150ms

399. 이내 Storm 성능테스트

400. Storm 기존 알람의 문제점 해결 주기적인

401. 동작

402. 방식 확장성

403. 제약 검색

404. /

405. 알람

406. 문법

407. 불일치 이원화된

408. 알람

409. 처리 유연한

410. 확장성 실시간

411. 메세지

412. 처리

413. Elasticsearch Intro • Lucene

414. 기반

415. 분산

416. 검색

417. 엔진

418. • JSON

419. 형태로

420. 문서를

421. 저장

422. :

423. schema

424. free

425. • 기능

426. • Search

427. • Aggregation

428. • Percolator

429. •

430. etc..

431. Elasticsearch Elasticsearch RDBMS Index database Type table Mapping schema Document row Field column Glossary

432. Elasticsearch Glossary • Shard

433. • 인덱스

434. 데이터의

435. 횡적

436. 분할

437. • Primary

438. /

439. Replica로

440. 구분

441. Elasticsearch Percolator API 검색 역검색vs

442. • 검색 Elasticsearch Percolator message : 나는 신청 못함 ㅠ message : 커피가 부족해요 message : 데뷰 세션들 최고 Step

443. 1.

444. 문서를

445. 저장 데뷰 AND 최고 message : 데뷰 세션들 최고 Step

446. 2.

447. 질의어로

448. 문서를

449. 탐색

450. Elasticsearch Percolator • Percolator

451. API id

452. :

453. 1

454. query

455. :

456. 데뷰

457. AND

458. 최고 id

459. :2

460. query

461. :

462. 커피 Step

463. 1.

464. 질의어를

465. 저장 message

466. :

467. 커피

468. 부족해요 message

469. :

470. 데뷰

471. 세션들

472. 최고 message

473. :

474. 나는

475. 신청

476. 못함

477. ㅠ [{id

478. :

479. 1

480. }] [{id

481. :

482. 2

483. }] [] Step

484. 2.

485. 문서와

486. 매치되는

487. 질의어를

488. 탐색

489. Elasticsearch Percolator 적용 아이디어 로그유입 Percolator

490. +

491. Stream

492. processing 실시간

493. 알람

494. • Routing Elasticsearch Percolator 성능 최적화 Shard 1 Shard 2 Shard 2 Shard 3 Shard 3 Shard 1 percolate

495. req

496. • Routing Elasticsearch Percolator 성능 최적화 Shard 1 Shard 2 Shard 2 Shard 3 Shard 3 Shard 1 percolate

497. req routing

498. :

499. s2 응답시간

500. 단축 리소스

501. 사용

502. 감소

503. • Load

504. balancing Elasticsearch Percolator 성능 최적화 Shard 1 Shard 2 Shard 2 Shard 3 Shard 3 Shard 1 percolate

505. req

506. 1

507. routing

508. :

509. s2 percolate

510. req

511. 2

512. routing

513. :

514. s2 부하

515. 분산

516. • Filtering Elasticsearch Percolator 성능 최적화 Shard 1 Shard 2 percolate

517. req

518. project query deview2015 데뷰

519. AND

520. 커피 deview2014 롯데

521. 호텔

522. 오는

523. 길 deview2014 데뷰

524. 날짜 deview2015 암표

525. 팔아요

526. • Filtering Elasticsearch Percolator 성능 최적화 Shard 1 Shard 2 percolate

527. req

528. filter

529. :

530. {

535. project

536. :

537. deview2015

538. } project query deview2015 데뷰

539. AND

540. 커피 deview2014 롯데

541. 호텔

542. 오는

543. 길 deview2014 데뷰

544. 날짜 deview2015 암표

545. 팔아요 타겟

546. 질의어

547. 범위

548. 축소

549. Elasticsearch Percolator 도입에 따른 이점 • Elasticsearch

550. 쿼리를

551. 알람

552. 질의어로

553. 사용

554. • projectName:deview

555. AND

556. (body:/.*securityfailexception|.*sessionfailexception/)

557. • (project:deview-2014

558. OR

559. project:deview-2015)

560. AND

561. body:exception

562. NOT

563. source:session-request 검색

564. /

565. 알람

566. 문법

567. 일치 다양한

568. 알람

569. 질의어

570. 지원

571. Elasticsearch 기존 알람의 문제점 해결 주기적인

572. 동작

574. 제약 유연한

576. 메세지

577. 처리 검색

578. /

579. 알람

580. 문법

582. 알람

583. 처리 검색

584. /

585. 알람

586. 문법

587. 일치

588. 4. 새로 구현된 알람 시스템

589. 새로 구현된 알람 시스템 • 하나의

590. Storm

591. topology

592. • 한

593. 모듈에서

594. 알람

595. 관련

596. 모든

597. 기능을

598. 처리

599. • 실시간

600. 알람

601. 발송

602. 및

603. 캐시

604. 동기화

605. 새로 구현된 알람 시스템 실시간 알람 발송 순서도 해당

606. 로그와

607. 매치되는

608. 알람

609. 규칙이

610. 있는가? 알람

611. 발생

612. 조건

613. (임계값+시간간격)이

614. 충족되는가? Percolate

615. Request 알람

616. 규칙

617. 집계 각각의

618. 유입

619. 로그에

620. 대하여 실시간

621. 알람

622. 발송 LogSpout PercolationBolt AggregationBolt NotificationBolt True True

623. 새로 구현된 알람 시스템 실시간 캐시 동기화 • 사용자

624. 정보

625. 및

626. 알람

627. 규칙

628. 갱신

629. 시

630. Kafka에

631. 메세지

632. 전송

633. • 알람

634. 서버는

635. 이를

636. 읽어

637. 관련된

638. 캐시를

639. 즉시

640. 동기화

641. 새로 구현된 알람 시스템 로그유입

642. :

643. 4건 알람

644. 미발송 10:15:00.000 10:30:00.000 10:30:00.000 10:30:00.000 실시간 알람 롤링 윈도우 집계 title 이상한

645. 일이다!! threshold 5 interval 10분 query 데뷰

646. AND

647. 최고 rule:87 alert:87

648. 로그유입

649. :

650. 5건

651. 시간간격

652. :

653. 16분 알람

654. 미발송 10:15:00.000 10:31:00.000 10:30:00.000 10:30:00.000 10:30:00.000 rule:87 alert:87 title 이상한

656. AND

657. 최고 실시간 알람 롤링 윈도우 집계 새로 구현된 알람 시스템

658. 10:30:00.000 10:31:00.000 10:32:00.000 로그유입

659. :

660. 5건

661. 시간간격

662. :

663. 2분 알람

664. 발송 10:30:00.000 10:30:00.000 rule:87 alert:87 title 이상한

666. AND

667. 최고 실시간 알람 롤링 윈도우 집계 새로 구현된 알람 시스템

668. 새로 구현된 알람 모듈 변화된 아키텍처 Elasticsearch Redis 수집 서버 API 서버 Kafka Log

669. topic Update

670. topic LogSpout Update Spout CacheUpdateBolt PercolationBolt AggregationBolt NotificationBolt 외부

671. 컴포넌트 메세징

672. 큐 Storm

673. Topology 실시간

674. 알람

675. 발송

676. 및

677. 동기화

678. 새로 구현된 알람 모듈 기존 알람의 문제점 해결 주기적인

679. 동작

681. 제약 유연한

683. 메세지

684. 처리 검색

685. /

686. 알람

687. 문법

689. 알람

690. 처리 검색

691. /

692. 알람

693. 문법

694. 일치 알람

695. 처리의

696. 일원화

697. 마치며 오늘 다룬 내용들 • 기존

698. 알람시스템의

699. 문제점

700. • Storm을

701. 통한

702. 유연한

703. 확장성

704. 및

705. 실시간

706. 메세지

707. 처리

708. • Elasticsearch

709. Percolator를

710. 알람의

711. 룰

712. 매칭

713. 기능으로

714. 활용

715. • 새로

716. 구현된

717. 알람시스템의

718. 동작

719. 방식,

720. 아키텍쳐

721. 소개

722. • 실시간

723. 알람

724. 발송

725. 및

726. 캐시

727. 동기화

728. 전략

729. 감사합니다.

[241] Storm과 Elasticsearch를 활용한 로깅 플랫폼의 실시간 알람 시스템 구현

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Destacado

Destacado (20)

Similar a [241] Storm과 Elasticsearch를 활용한 로깅 플랫폼의 실시간 알람 시스템 구현

Similar a [241] Storm과 Elasticsearch를 활용한 로깅 플랫폼의 실시간 알람 시스템 구현 (20)

Más de NAVER D2

Más de NAVER D2 (20)

[241] Storm과 Elasticsearch를 활용한 로깅 플랫폼의 실시간 알람 시스템 구현