统计术语与数据格式分析-市场研究方法

2、数据格式（续） 在WEKA中，每一个横行称作一个实例（Instance），这与统计学中的一个样本或数据库中的一条记录相对应。每个竖行称为一个属性（Attribute），类似于统计学中的变量或数据库中的字段。整个表格也可以称为数据集（Dataset），在WEKA中，数据集呈现了属性之间的一种关系（Relation）。 在上图中，总共有14个实例、5个属性，并且关系名称被定义为“weather”。 WEKA采用的是ARFF（Attribute-Relation File Format）文件格式，这是一种ASCII文件。二维表格形式的数据存储为ARFF文件。以上图数据为例，数据文件可以在WEKA

线性回归的统计检验、判别的使用方法、SPSS 的数据流程……这些在市场研究里啊，都是挺常见也挺实用的套路。蛮推荐你看看《市场研究中的数据方法.ppt》，讲得挺全的，像线性回归、判别这些方法都讲了怎么用。尤其对搞市场调查或用户调研的朋友，思路会打开不少。比如你想用SPSS跑一波问卷数据，不知道从哪下手？可以先瞄一眼里面提到的流程，比较适合刚入门或者想梳理框架的人。想看更详细操作，也可以顺手翻翻这篇：SPSS 11.0 市场研究数据，配合食用更香。再说判别吧，用来区分人群画像那种场景挺合适。比如你想看看“回购用户”和“一次性用户”到底差在哪，就可以用它做点分类实验。这篇文章讲得还不错哦：线性判别概

在 MATLAB 中，数据格式与显示形式至关重要。MATLAB 支持使用传统的 十进制数 和 科学计数法 表达数值，其中用 e 代表 10 的指数形式，i 和 j 则代表虚数。MATLAB 内部的数据格式采用的是 IEEE浮点标准的双精度二进制（64位）。为了提高人机交互的友好性，数据输出的显示格式有 8种，可以通过菜单选项或 format 命令进行选择。需要注意的是，数值的显示精度并不等同于其存储精度。

Talend 提供了一系列操作来处理数据格式，这些操作包括字符串、数值和日期的处理。 字符串操作 连接：concat()、|| 长度：length()、len() 大小写转换：upper()、ucase()、lower()、lcase() 单词首字母大写：initcap() 截取字符：mid() 去除字符：trim()、ltrim()、rtrim() 补位：lpad()、rpad() 子串截取：substr() 子串搜索：instr() 格式化显示：format() 数值操作 四则运算：+、-、*、/ 比较：=、!=、>、>=、<、<= 数学函数：abs()、sqrt()、r

二、线性回归方程的统计检验1、回归方程拟合优度检验2、回归方程的显著性检验3、回归系数显著性检验三、回归分析假设条件的检验1、残差分析2、多重共线性3、误差项的序列相关

在WEKA中，每个横行称为一个实例（Instance），相当于统计学中的一个样本或数据库中的一条记录。每个竖行称为一个属性（Attribute），相当于统计学中的一个变量或数据库中的一个字段。数据集展示了属性之间的关系（Relation）。WEKA使用的数据存储格式是ARFF（Attribute-Relation File Format），这种格式为ASCII文件。例如，图中展示的表格保存在名为“weather.arff”的文件中，位于WEKA安装目录的“data”子目录下。

相似性里的几种经典系数用法，平时做数据推荐、用户画像、市场研究这些场景都能派上用场。余弦相似度、皮尔逊相关系数这两个老熟人基本是入门标配，适合用在向量角度比较相似程度那类问题，是推荐算法里蛮常见。定类数据场景下，就要换思路了，像卡方距离、法方距离这种更适配分类属性。举个例子，比如问卷里“性别、城市、学历”这类，拿欧氏距离就不太合适，得上卡方距离来比较。你要是刚好在研究推荐算法，可以看看这篇用皮尔逊相关系数打造个性化电影推荐，里面讲得还挺通俗，思路也实用。还有像马氏距离，适合变量间存在相关性的高维数据，不少做聚类或模式识别的场景都会遇到，用得对能提高不少精度。可以参考马氏距离在相似性度量中的应用

研究生阶段经常使用MATLAB进行数据处理和作图，但其庞大复杂，不便操作，考虑转向Python。原始数据以16进制形式存储为bin文件。在MATLAB中，以int32格式读取前10个数据，其中红色圈示例代表读取的一个数据。在Python中，尝试使用read()函数读取数据，如图中蓝线圈示例所示。为实现类似MATLAB的数据处理，需要特定格式下的数据读取程序。

SPSS 的输出结果有时候挺让人头大的，尤其数据一多、变量一乱，起来就容易晕。不过用 SPSS11.0 跑出来的结果其实还蛮清晰的，尤其适合做一些市场研究的基础。 SPSS11.0 的输出界面不花哨，重点都挺明确，是交叉表、频数分布这些东西，一眼就能看出来结果。用来市场调研问卷数据，比如客户满意度调查、品牌认知度，效果还不错。 顺手附几个你会用得上的资源。SPSS 的输出格式、数据步骤、SPSS16 的教程也都有整理好，建议你都点进去看看，对初学和进阶都挺有的。 如果你是第一次用 SPSS 市场数据，别忘了先做变量定义和数据清洗，不面输出的结果会误导你。哦对了，输出后记得保存成.sav格式，方