Programming with Big Data in R 교육 과정

이 과정은 애플리케이션에서 인공 지능을 이해하고 구현하려는 개발자와 데이터 과학자를 대상으로 합니다. 특히 데이터 분석, 분산 인공지능, 자연어 처리에 중점을 두고 있습니다.

Apache Beam은 병렬 데이터 처리 파이프라인을 정의하고 실행하기 위한 오픈 소스 통합 프로그래밍 모델입니다. 이 모델의 장점은 일괄 및 스트리밍 파이프라인을 모두 실행할 수 있는 기능이며, 실행은 Beam에서 지원하는 분산 처리 백엔드 중 하나인 Apache Apex, Apache Flink, Apache Spark, Google Cloud Dataflow에서 수행됩니다. Apache Beam은 다양한 저장 매체와 데이터 소스 간에 데이터를 이동하고, 데이터를 더 바람직한 형식으로 변환하고, 데이터를 새 시스템에 로드하는 것과 같은 ETL(추출, 변환 및 로드) 작업에 유용합니다.

강사가 진행하는 이 실시간 교육(현장 또는 원격)에서 참가자는 Java 또는 Python 애플리케이션에서 Apache Beam SDK를 구현하는 방법을 배우게 됩니다. 이 애플리케이션은 독립적이고 병렬적인 처리를 위해 큰 데이터 세트를 더 작은 청크로 분해하기 위한 데이터 처리 파이프라인을 정의합니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Apache Beam을 설치하고 구성합니다.
• Java 또는 Python 애플리케이션 내에서 일괄 처리와 스트림 처리를 모두 수행하기 위해 단일 프로그래밍 모델을 사용합니다.
• 여러 환경에서 파이프라인을 실행합니다.

과정 형식

• 일부 강의, 일부 토론, 연습 및 집중적인 실습

메모

• 이 과정은 추후에 Scala 제공될 예정입니다. 자세한 내용은 문의해주시기 바랍니다.

대한민국에서 강사가 진행하는 이 실시간 교육에서 참가자는 Data Vault을 빌드하는 방법을 배웁니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Data Vault 2.0의 아키텍처와 디자인 개념, 그리고 Big Data, NoSQL 및 AI와의 상호 작용을 이해합니다.
• 데이터 보관 기술을 사용하여 데이터 웨어하우스의 과거 데이터에 대한 감사, 추적, 검사가 가능합니다.
• 일관되고 반복 가능한 ETL(추출, 변환, 로드) 프로세스를 개발합니다.
• 확장성과 반복성이 뛰어난 창고를 구축하고 배포합니다.

대한민국에서 강사가 진행하는 이 실시간 교육(온라인 또는 현장)에서는 분산 스트림 및 일괄 데이터 처리의 원리와 접근 방식을 소개하고 참가자에게 Apache Flink에서 실시간 데이터 스트리밍 애플리케이션을 만드는 방법을 안내합니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• 데이터 분석 애플리케이션을 개발하기 위한 환경을 설정합니다.
• Apache Flink의 그래프 처리 라이브러리(Gelly)가 어떻게 작동하는지 이해해 보세요.
• Flink 기반의 내결함성 데이터 스트리밍 애플리케이션을 패키징, 실행 및 모니터링합니다.
• 다양한 업무량을 관리합니다.
• 고급 분석을 수행합니다.
• 다중 노드 Flink 클러스터를 설정합니다.
• 성과를 측정하고 최적화합니다.
• 다양한 Big Data 시스템과 Flink를 통합합니다.
• Flink의 기능을 다른 빅데이터 처리 프레임워크의 기능과 비교해보세요.

대한민국에서 강사가 진행하는 이 실시간 교육에서 참가자는 그래프 데이터 처리를 위한 기술 제공 및 구현 방식에 대해 알아봅니다. 목표는 실제 객체, 해당 특성 및 관계를 식별한 다음 이러한 관계를 모델링하고 Graph Computing(그래프 분석이라고도 함) 방식을 사용하여 데이터로 처리하는 것입니다. 광범위한 개요로 시작하여 일련의 사례 연구, 실습 및 실시간 배포를 거치면서 특정 도구에 대해 자세히 알아봅니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• 그래프 데이터가 어떻게 저장되고 탐색되는지 이해합니다.
• 주어진 작업에 가장 적합한 프레임워크를 선택합니다(그래프 데이터베이스부터 일괄 처리 프레임워크까지)
• Hadoop, Spark, GraphX 및 Pregel을 구현하여 여러 머신에서 병렬로 그래프 컴퓨팅을 수행합니다.
• 그래프, 프로세스, 탐색을 통해 실제 빅데이터 문제를 살펴보세요.

대한민국에서 강사가 진행하는 이 실시간 교육(온라인 또는 현장)에서는 Hortonworks Data Platform (HDP)을 소개하고 참가자에게 Spark + Hadoop 솔루션 배포 과정을 안내합니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Hortonworks를 사용하여 대규모로 Hadoop을 안정적으로 실행하세요.
• Spark의 민첩한 분석 워크플로우를 통해 Hadoop의 보안, 거버넌스 및 운영 기능을 통합합니다.
• Hortonworks를 사용하여 Spark 프로젝트의 각 구성 요소를 조사, 검증, 인증하고 지원합니다.
• 구조화된 데이터, 구조화되지 않은 데이터, 전송 중 데이터, 저장 중 데이터를 포함한 다양한 유형의 데이터를 처리합니다.

이 과정은 사용하는 방법에 대해 설명 Hive SQL 언어를 (일명 : Hive HQL, SQL 에 Hive , Hive QL)에서 데이터를 추출하는 사람들을위한 Hive

ClouderaImpala는 ApacheHadoop 클러스터를 위한 오픈 소스 대규모 병렬 처리(MPP)SQL 쿼리 엔진입니다.

Impala을 사용하면 사용자는 데이터 이동이나 변환을 요구하지 않고도 Hadoop 분산 파일 시스템 및 Apache Hbase에 저장된 데이터에 대한 저지연 SQL 쿼리를 실행할 수 있습니다.

청중

본 과정은 Business 인텔리전스 또는 SQL 도구를 통해 Hadoop에 저장된 데이터에 대한 분석을 수행하는 분석가 및 데이터 과학자를 대상으로 합니다.

이 과정을 마친 후 대의원들은 다음을 수행할 수 있습니다.

• Impala을 사용하여 Hadoop 클러스터에서 의미 있는 정보를 추출합니다.
• Impala SQL 방언으로 Business 지능을 촉진하기 위한 특정 프로그램을 작성하십시오.
• 문제 해결 Impala.

대한민국에서 강사가 진행하는 이 실시간 교육(온라인 또는 현장)은 코드를 작성하지 않고 Apache Kafka 스트림 처리를 구현하려는 개발자를 대상으로 합니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Confluent KSQL를 설치하고 구성합니다.
• SQL개의 명령만 사용하여 스트림 처리 파이프라인을 설정합니다(Java 또는 Python 코딩 없음).
• SQL에서 데이터 필터링, 변환, 집계, 조인, 윈도잉 및 세션화를 전체적으로 수행합니다.
• 스트리밍 ETL 및 실시간 분석을 위한 대화형 연속 쿼리를 설계하고 배포합니다.

대한민국(현장 또는 원격)에서 강사가 진행하는 이 실시간 교육에서 참가자는 실시간 랩 환경에서 Apache NiFi을 배포하고 관리하는 방법을 배웁니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Apachi NiFi를 설치하고 구성합니다.
• 데이터베이스와 빅데이터 레이크를 포함한 다양한 분산 데이터 소스에서 데이터를 수집, 변환 및 관리합니다.
• 데이터 흐름을 자동화합니다.
• 스트리밍 분석을 활성화합니다.
• 데이터 수집에 다양한 접근 방식을 적용합니다.
• Big Data을 비즈니스 통찰력으로 변환합니다.

대한민국에서 강사가 진행하는 이 실시간 교육에서 참가자는 Apache NiFi을 사용하여 다양한 데모 확장, 구성 요소 및 프로세서를 개발하면서 흐름 기반 프로그래밍의 기본 사항을 학습하게 됩니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• NiFi의 아키텍처와 데이터 흐름 개념을 이해합니다.
• NiFi와 타사 API를 사용하여 확장 기능을 개발합니다.
• Apache Nifi 프로세서를 자체적으로 맞춤 개발합니다.
• 다양하고 흔하지 않은 파일 형식과 데이터 소스에서 실시간 데이터를 수집하고 처리합니다.

이 강사가 진행하는 대한민국 실시간 교육에서 참가자는 실습을 하면서 Python와 Spark를 함께 사용하여 빅 데이터를 분석하는 방법을 배웁니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Python와 함께 Spark를 사용하여 Big Data을 분석하는 방법을 알아보세요.
• 실제 사례를 모방한 연습을 해보세요.
• PySpark을 사용하여 빅데이터 분석을 위한 다양한 도구와 기술을 사용합니다.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 실시간 데이터 처리 및 분석에 Spark Streaming 기능을 사용하려는 데이터 엔지니어, 데이터 과학자 및 프로그래머를 대상으로 합니다.

이 교육이 끝나면 참가자는 Spark Streaming을 사용하여 데이터베이스, 파일 시스템 및 라이브 대시보드에서 사용할 라이브 데이터 스트림을 처리할 수 있습니다.

MLlib는 Spark의 기계 학습 (ML) 라이브러리입니다. 그 목표는 실용적인 기계 학습을 확장 가능하고 쉽게 만들어주는 것입니다. 분류, 회귀, 클러스터링, 협업 필터링, 차원 감소, 하위 레벨 최적화 프리미티브 및 상위 레벨 파이프 라인 API 등 일반적인 학습 알고리즘과 유틸리티로 구성됩니다.

두 개의 패키지로 나뉩니다.

• spark.mllib는 RDD 위에 구축 된 원래 API를 포함합니다.

• spark.ml은 ML 파이프 라인을 구성하기 위해 DataFrames 위에 구축 된 고급 API를 제공합니다.

청중

이 과정은 Apache Spark 용 내장 라이브러리를 활용하고자하는 엔지니어 및 개발자를 대상으로합니다.

Tidyverse 는 데이터 정리, 처리, 모델링 및 시각화를위한 다목적 R 패키지 모음입니다. 포함 된 패키지 중 일부는 ggplot2, dplyr, tidyr, readr, purrr 및 tibble입니다.

이 강사 주도형 라이브 교육에서 참가자는 Tidyverse 포함 된 도구를 사용하여 데이터를 조작하고 시각화하는 방법을 Tidyverse .

이 교육이 끝나면 참가자는 다음을 수행 할 수 있습니다.

• 데이터 분석 수행 및 매력적인 시각화 생성
• 샘플 데이터의 다양한 데이터 세트에서 유용한 결론 도출
• 탐색 적 질문에 대답하기 위해 데이터를 필터링, 정렬 및 요약
• 처리 된 데이터를 유익한 선 그림, 막대 그림, 히스토그램으로 변환
• Excel , CSV 및 SPSS 파일을 포함한 다양한 데이터 소스에서 데이터를 가져오고 필터링

청중

• R 언어 초보자
• 초보자부터 데이터 분석 및 데이터 시각화

과정의 형식

• 강의, 강의, 연습 및 실습