大数据专业要解决的问题
1.数据采集与清洗（ETL，数据的导出，清洗，转换，装入）
2.数据存储与管理
3.数据处理与分析
4.结果展示（可视化技术）
5.资源管理与调度

数据采集的开源工具：
1.Scrapy爬虫框架
2.Flume日志采集系统
3.kafka消息中间件
4.Sqoop工具