Flume是一个高可靠且高可用的分布式海量日志采集、聚合和传输的系统,它基于简单而灵活的流式架构,具有可靠性机制及故障转移和恢复机制,且有强大的容错能力,已成为大数据开发工程师必会的框架之一。 在本套视频教程中,你将学习到Flume架构原理、安装配置、拓扑结构、使用Flume搭建监控端口采集数据、监控本地(或HDFS)文件(或文件夹)采集数据、多数据源采集数据、多数据出口收集日志、Flume负载均衡、Flume中的事务、Flume故障转移、自定义组件Source和Sink以及对于Flume监控Ganglia的运用等。 本套新版视频教程的Flume版本由 1.7升级至1.9,针对企业中常用组件做了深入的剖析,用企业的真实案例做演示,增加了Flume监控工具的使用,对Flume核心组件进行了源码阅读,针对企业特殊应用场景做了源码修改。一套教程,轻轻松松让你对Flume从入门到实战! 教程适用于从事数据采集工作的从业者、数仓工程师,以及大数据技术爱好者,学习需具备Java基础及Hadoop基础。
视频目录 01.尚硅谷_Flume-课程介绍02.尚硅谷_Flume-学习任务03.尚硅谷_Flume-概念04.尚硅谷_Flume-架构05.尚硅谷_Flume-安装06.尚硅谷_Flume官网案例-需求说明07.尚硅谷_Flume官网案例 -配置信息08.尚硅谷_Flume官网案例-案例测试09.尚硅谷_Flume监控本地文件上传HDFS-配置信息10.尚硅谷_Flume监控本地文件上传HDFS-案例测试11.尚硅谷_Flume监控目录中新文件-配置&测试12.尚硅谷_Flume动态监控多目录多文件-需求说明&配置信息13.尚硅谷_Flume动态监控多目录多文件-测试&问题提出14.尚硅谷_Flume动态监控多目录多文件-修改源码15.尚硅谷_Flume进阶-事务16.尚硅谷_Flume进阶-架构原理17.尚硅谷_Flume进阶-拓扑结构18.尚硅谷_Flume-课程回顾19.尚硅谷_Flume-课程回顾220.尚硅谷_Flume副本机制channel选择器-需求分析21.尚硅谷_Flume副本机制channel选择器-配置信息22.尚硅谷_Flume副本机制channel选择器-案例测试23.尚硅谷_Flume故障转移案例-需求分析24.尚硅谷_Flume故障转移案例-案例实操25.尚硅谷_Flume负载均衡案例-案例实操26.尚硅谷_Flume聚合案例-需求分析27.尚硅谷_Flume聚合案例-案例实操28.尚硅谷_Flume自定义拦截器-需求分析29.尚硅谷_Flume自定义拦截器-多路复用选择器介绍)30.尚硅谷_Flume自定义拦截器-编码31.尚硅谷_Flume自定义拦截器-打包&配置信息32.尚硅谷_Flume自定义拦截器-案例测试33.尚硅谷_Flume自定义Source-需求分析34.尚硅谷_Flume自定义Source-代码编写35.尚硅谷_Flume自定义Source-打包测试36.尚硅谷_Flume自定义Sink-代码编写37.尚硅谷_Flume自定义Sink-打包测试38.尚硅谷_Flume-事务源码39.尚硅谷_Flume监控-Ganglia安装&配置40.尚硅谷_Flume监控-Ganglia启动41.尚硅谷_Flume监控-Ganglia使用42.尚硅谷_Flume监控-测试WindowsNet8IP成功)