大数据开发工程师的技能树

1. 熟悉大数据开发相关的基础知识，如：Hadoop、Spark、Flume、Kafka等技术; 2. 熟悉NoSQL数据库，如：MongoDB、Redis等; 3. 了解分布式存储原理和实现方式; 4. 具备主流数据库的使用能力，如MySQL, Oracle, DB2等; 5. 掌握Java/Python/Scala/Shell/Perl等脚本语言或其他高级语言的开发能力; 6. 理解大数据采集、存储、处理和利用的相关原理与方法; 7. 具备云平台部署能力(AWS/Azure); 8. 拥有优化性能优化和大数据容错处理方面的实战能力。