前言数据分析相关知识点一为什么要做数据分析1.什么是”大数据时代““大数据”时代的概念最早由世界著名的咨询公司麦肯锡提出。麦肯锡说“数据已渗透到今天的每个行业和业务功能领域并已成为重要的生产要素。随着新一轮的生产力增长和消费者盈余浪潮的到来海量数据的挖掘和使用预示着 “大数据”已经存在于物理学生物学环境生态学等领域以及军事金融通信等行业。大数据是互联网发展到一定阶段的必然产物也是互联网的价值体现。随着越来越多的社会资源被网络化和数字化大数据可以承载的价值也将不断被提及和提高大数据的应用范围也将不断扩大。因此在未来的网络时代大数据本身不仅可以代表价值而且大数据本身也可以创造价值。2.大数据能做什么1将实体例如人、车等转换成虚拟标签用一条条标签数据的组合代表了不同的个体。例如蓝色、性能优良、性价比高的XX车。企业可以通过大数据完成产品服务的设计和创新。2为人工智能、机器学习等的发展奠定了基础。无论是机器学习还是深度学习都是基于海量数据去进行计算进而找出相应规律的。二数据分析的一般流程数据分析是在明确分析目的的基础上有目的地收集数据并用适当的分析方法及工具对数据进行处理、统计归类以及探索分析最终将数据中有价值的信息提炼并将关键结论有逻辑地展现。1.需求分析明确分析背景及目的将问题需求转换为业务理解将业务问题转化为数据问题。2.思路框架发散式多角度将需求拆解确定分析方向逻辑清晰地组织分析思路。3.数据准备确定分析用户群、数据维度及指标设计并开发数据模型。4.统计分析用SQL、Excel数据统计探索提炼重点结论。5.数据可视化设计合适图表可视化数据结论。6.报告编写编写数据分析报告内容要观点鲜明、逻辑清晰。三数据分析的思路框架1.自上而下法如果你对业务很熟悉那么首先可以快速地找到问题的中心思想其次列出要解决问题的分析框架多角度分析问题进而确定问题的分析方向最后将收集来的素材放置于对应的框架之下。2.自下而上法如果你对业务不是很熟悉那么首先要从底层收集尽可能多的素材其次根据现有素材搭建初步框架将收集的素材放置于各框架之下最后随着素材量的增加逐步完善框架并补充新的内容。四数据分析的数据准备1.确定统计口径范围1确定分析用户群2定位数据来源3确定分析维度4确定分析指标。2.设计开发数据表模型1对底层数据结构有明确了解2在数据提取效率与深度之间权衡设计数据库模型尽可能设计单用户表3离线数据设计立方体维度指标。3.核对保障数据质量1与统一数据分析系统核对2与其他相似数据需求核对3上层数据与底层数据核对4数据业务逻辑完整性核对。五常用的统计分析工具常用的统计工具有Excel、SPSS、SAS、R、Matlab、Python等。1EXCEL定义EXCLE是Microsoft为使用Windows和Apple Macintosh操作系统的电脑编写的一款电子表格软件。主要功能可以画各种图标做方差分析、回归分析等基础分析。应用领域EXCLE专业性不是很高但完全可以胜任日常工作中简单的数据分析工作。2SPSS定义SPSS是“统计产品与服务解决方案”软件用于统计学分析运算、数据挖掘、预测分析和决策支持任务的软件产品及相关服务。主要功能SPSS的必需基础模块管理整个软件平台管理数据访问、数据处理和输出并能进行很多种常见基本统计分析在进行数据处理时除了基本的数据分析外如果还想建立分析过程数据就需要使用此模块。Advanced Statistics为分析结果建立更灵活、更成熟的模型在处理嵌套数据时以得到更精确的预测模型可以分析事件历史和持续时间数据主要用于回归分析。Regression提供大量的非线性建模工具、多维尺度分析以帮助研究人员进行回归分析。它将数据从数据约束中解放出来方便地把数据分成两组建立可控制的模型及表达式进行非线性模型的参数估计能够建立比简单线性回归模型更好的预测模型SPSS Conjoint是包含三个相互关联过程的一个系统用于进行全特征联合分析。联合分析使研究人员了解消费者的偏好或在一定产品属性及其水平条件下的产品评定。应用领域包括在经济管理、项目管理、工程质量控制等方面。 就工程管理其可以应用到工程项目管理满意度评估、统计分析特别是在质量控制的统计分析中。还有经济、生物、医学很多领域都能做要具体说的话实在太多了但spss最擅长方差分析。3MATLAB定义MATLAB是美国MathWorks公司出品的商业数学软件用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境。主要功能MATLAB自产生之日起就具有方便的数据可视化功能以将向量和矩阵用图形表现出来并且可以对图形进行标注和打印。高层次的作图包括二维和三维的可视化、图象处理、动画和表达式作图。可用于科学计算和工程绘图。应用领域MATLAB 的应用范围非常广包括信号和图像处理、通讯、控制系统设计、测试和测量、财务建模和分析以及计算生物学等众多应用领域。