Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
1: HDFS(17%)
- HDFS 데몬의 기능을 설명하세요
- 데이터 저장 및 데이터 처리 모두에서 Apache Hadoop 클러스터의 일반적인 작동을 설명하세요.
- Apache Hadoop와 같은 시스템을 동기 부여하는 컴퓨팅 시스템의 현재 기능을 식별합니다.
- HDFS 설계의 주요 목표를 분류합니다.
- 시나리오가 주어지면 HDFS 페더레이션에 적합한 사용 사례를 식별합니다.
- HDFS HA-Quorum 클러스터의 구성 요소 및 데몬 식별
- HDFS 보안(Kerberos)의 역할 분석
- 주어진 시나리오에 가장 적합한 데이터 직렬화 선택 결정
- 파일 읽기 및 쓰기 경로 설명
- Hadoop 파일 시스템 셸에서 파일을 조작하는 명령을 식별하세요.
2: YARN 및 MapReduce 버전 2(MRv2)(17%)
- 클러스터를 Hadoop 1에서 Hadoop 2로 업그레이드하는 것이 클러스터 설정에 어떤 영향을 미치는지 이해합니다.
- 모든 YARN 데몬을 포함하여 MapReduce v2(MRv2/YARN)를 배포하는 방법을 이해합니다.
- MapReduce v2(MRv2)의 기본 설계 전략을 이해합니다.
- YARN이 리소스 할당을 처리하는 방식을 결정합니다.
- YARN에서 실행되는 MapReduce 작업의 워크플로 식별
- YARN에서 실행되는 MapReduce 버전 1(MRv1)에서 MapReduce 버전 2(MRv2)로 클러스터를 마이그레이션하기 위해 어떤 파일을 어떻게 변경해야 하는지 결정합니다.
3: Hadoop 클러스터 계획(16%)
- Apache Hadoop 클러스터를 호스팅하기 위한 하드웨어 및 운영 체제를 선택할 때 고려해야 할 주요 사항입니다.
- OS 선택 시 선택 사항 분석
- 커널 튜닝 및 디스크 스와핑 이해
- 시나리오와 작업 부하 패턴이 주어지면 시나리오에 적합한 하드웨어 구성을 식별합니다.
- 시나리오가 주어지면 SLA를 충족하기 위해 클러스터가 실행해야 하는 생태계 구성 요소를 결정합니다.
- 클러스터 크기 조정: 시나리오와 실행 빈도가 주어지면 CPU, 메모리, 스토리지, 디스크 I/O를 포함한 작업 부하에 대한 세부 사항을 식별합니다.
- 클러스터의 JBOD 대 RAID, SAN, 가상화 및 디스크 크기 요구 사항을 포함한 디스크 크기 및 구성
- 네트워크 토폴로지: Hadoop에서 네트워크 사용을 이해하고(HDFS 및 MapReduce 모두에 대해) 주어진 시나리오에 대한 주요 네트워크 설계 구성 요소를 제안하거나 식별합니다.
4: Hadoop 클러스터 설치 및 관리(25%)
- 시나리오가 주어지면 클러스터가 디스크 및 머신 오류를 처리하는 방법을 식별합니다.
- 로깅 구성 및 로깅 구성 파일 형식 분석
- Hadoop 메트릭 및 클러스터 상태 모니터링의 기본 사항을 이해합니다.
- 클러스터 모니터링에 사용 가능한 도구의 기능과 목적을 식별합니다.
- Impala, Flume, Oozie, Hue, Manager, Sqoop, Hive, Pig를 포함하여(이에 국한되지 않음) CDH 5의 모든 생태계 구성요소를 설치할 수 있어야 합니다.
- Apache Hadoop 파일 시스템을 관리하기 위해 사용 가능한 도구의 기능과 목적을 식별하세요.
5: 자원Management (10%)
- Hadoop 스케줄러 각각의 전반적인 디자인 목표를 이해합니다.
- 시나리오가 주어졌을 때 FIFO 스케줄러가 클러스터 리소스를 할당하는 방식을 결정합니다.
- 시나리오가 주어지면 Fair Scheduler가 YARN에서 클러스터 리소스를 어떻게 할당하는지 확인하십시오.
- 시나리오가 주어지면 용량 스케줄러가 클러스터 리소스를 할당하는 방식을 결정합니다.
6: 모니터링 및 로깅(15%)
- Hadoop의 메트릭 수집 기능의 기능과 특징을 이해하세요.
- NameNode 및 JobTracker 웹 UI 분석
- 클러스터 데몬을 모니터링하는 방법을 이해하세요
- 마스터 노드의 CPU 사용량 식별 및 모니터링
- 모든 노드에서 스왑 및 메모리 할당을 모니터링하는 방법을 설명합니다.
- Hadoop의 로그 파일을 보는 방법과 관리하는 방법을 식별하세요.
- 로그 파일 해석
Requirements
- 기본 Linux 관리 기술
- 기본 프로그래밍 기술
35 Hours
회원 평가 (3)
I genuinely enjoyed the many hands-on sessions.
Jacek Pieczatka
Course - Administrator Training for Apache Hadoop
I genuinely enjoyed the big competences of Trainer.
Grzegorz Gorski
Course - Administrator Training for Apache Hadoop
I mostly liked the trainer giving real live Examples.