파이썬으로 실시간 데이터 처리를 시도해보자

카테고리: 파이썬 라이브러리 (Python Library)
난이도: 초급
발표 시간: 15분
언어: 한국어

설명

지난 몇 년간 실시간 데이터 처리 및 분석 시스템 개발에 관한 내용이 많이 소개 됐습니다. 특히 아파치 카프카(Apache Kafka)를 활용한 데이터 파이프라인 개발 되고 있습니다. 실시간 위협 분석이라는 시스템 개발 과정을 통해 파이썬을 활용해서 아파치 카프카 컨슈머를 개발한 경험을 공유하고자 합니다. 해당 발표를 통해서 실시간 데이터를 아파치 카프카에게 수집하고 파이썬으로 빠르게 컨슈머를 개발해서 데이터를 처리하는 서비스를 개발해 보고 싶은 분들에게 도움이 되고자 합니다. 본 발표의 주요 내용은 다음과 같습니다. - 데이터 파이프라인 개발에 필요한 개념 - 파이썬 카프카 클라이언트 라이브러리 소개 - 실시간 데이터 처리 파이프라인 개발 경험 질문 및 문의 사항은 rlaxoghd91@gmail.com으로 부탁드립니다. 또한 발표에 사용된 코드는 https://github.com/kimtaehong/pycon2022 에서 확인 할 수 있습니다.

발표자 소개

김태홍
김태홍

현재 보안 제품 개발 스타트업에서 백엔드 개발을 하고 있으며, 주로 데이터 수집, 처리, 분석을 위한 데이터 파이프라인 개발에 관심이 많습니다.

후원사 목록

키스톤

  • 위대한상상

파트너

  • KSTEC
  • 메리츠화재해상보험주식회사
  • 버드뷰 (화해)
  • 브레이브모바일
  • 에이블리코퍼레이션
  • 에잇퍼센트
  • 엘라스틱서치코리아
  • 원티드랩
  • 코드박스

스타트업

  • 닷슬래시대시
  • 아이엠디티

커뮤니티

  • Data Korea
  • 파이토치 한국 사용자 모임
  • 한빛미디어