实时_Day01_上午.rar
实时_Day01_下午.rar
实时_Day02_上午.rar
实时_Day02_下午.rar
实时_Day03_上午.rar
实时_Day03_下午.rar
实时_Day04_上午.rar
实时_Day04_下午1.rar
实时_Day04_下午2.rar
实时_Day05_上午.rar
实时_Day05_下午1.rar
实时_Day05_下午2.rar
实时_Day06_上午.rar
实时_Day06_下午.rar
实时_Day07_上午.rar
实时_Day07_下午.rar
正则表达式.mp4.zip
repo
大数据（big data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
大数据学习路线：
文件存储：Hadoop HDFS、Tachyon、KFS
离线计算：Hadoop MapReduce、Spark
流式、实时计算：Storm、Spark Streaming、S4、Heron
K-V、NOSQL数据库：HBase、Redis、MongoDB
资源管理：YARN、Mesos
日志收集：Flume、Scribe、Logstash、Kibana
消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ
查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式协调服务：Zookeeper
集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager
数据挖掘、机器学习：Mahout、Spark MLLib
数据同步：Sqoop
任务调度：Oozie
数据生产
数据的生产方式多种多样，不管你是在服务器上埋点收集日志，还是直接采集数据到数据库，或者通过爬虫爬取数据，调用第三方接口等都可以生产大量的数据。生产数据很简单，但是要保证数据的有效性和可靠性就需要花费大量的精力去维护了。数据的生产是进行各种业务的源头，没有数据就没法进行分析和挖掘。
1.日志埋点收集
日志收集是在集群中每台服务器安装日志收集客户端，最后把日志汇总收集到服务端，注意客户端一定要限制CPU占用率、网络带宽，同时要定期清理日志或者做成滚动日志，日志采用异步的方式传输，一般会有延迟，如果日志堆积，可能面临日志丢失风险。
2.数据采集
由客户行为或者传感器收集数据，上传到服务器并且保存到数据库。
3.爬虫
爬虫会有针对性的抓取互联网上的公共数据。
4.数据接入
可以通过服务访问第三方的数据，接入数据或者提供数据接入的时候一定要评估好容量。避免过多的访问导致服务奔溃。
数据管理
数据管理包括2部分，一部分是对数据的信息进行管理，即对数据的基础信息做存储，方便查找对应的数据，类似图书馆的图书管理系统。另一部分就是根据数据的结构和对应的场景，保存数据到对应的数据库中。
1.元信息管理
MySQL
2.数据库
Hadoop
Hbase [Vedio] – 尚硅谷HBase教程(hbase框架快速入门)
MySQL [Vedio] – MySQL从入门到精通视频教程 (46集全)
Redis [Vedio] – 尚硅谷Redis视频教程
图数据库 [Vedio] – Neo4j图数据库实战
数据处理
数据的处理包括2部分，一部分是离线计算，这部分的数据对实时性的要求不是太高，处理完的数据可以T+1，T+2, T+7上线。另一部分是在线实时计算，对数据实时性要求高的场合，如风控、营销、推荐等场合。
1.离线计算
apache spark [Vedio] – 尚硅谷大数据Spark-2019版最新
2.实时计算
apache flink [Vedio] – 尚硅谷_2019最新 大数据工程师 Flink技术与实战
apache storm
数据可视化
数据可视化分为数据生产的可视化，还有数据展示的可视化，数据的整个流向等。比较典型的例子是数据看板。
1.开源库
d3.js [Vedio] – 数据可视化教程@基于D3.js
2.可视化工具
数据分析
数据分析主要是对上述生成好的数据制定一些测量，可以用统计学的方法，也可以采用机器学习的方法，也可以采用图表进行辅助。数据分析就是为了得出一些结论，或者方法来处理数据，或者指导公司的发展。
1.数据分析工具
python pandas
excel
2.分析结果
规则
模型
