【干货】Alibaba数据分析师实习试题解析

【干货】Alibaba 数据分析师（实习）试题解析 一、异常值是指什么请列举一、异常值是指什么请列举1 1 种识别连续型变量异常值的方法种识别连续型变量异常值的方法 异常值（Outlier） 是指样本中的个别值，其数值明显偏离所属样本的其余观测值。 在数理统计里一般是指一组观测值中与平均值的偏差超过两倍标准差的测定值。 Grubbs’ test（是以 Frank E.Grubbs 命名的），又叫 maximumnormed residual test，是一种用于单变量数据集异常值识别的统计检测，它假定数据集来自正态分布的总 体。 未知总体标准差σ，在五种检验法中，优劣次序为t 检验法、格拉布斯检验法、峰度检验 法、狄克逊检验法、偏度检验法。 二、什么是聚类分析聚类算法有哪几种请选择一种详细描述其计算原理和步骤。二、什么是聚类分析聚类算法有哪几种请选择一种详细描述其计算原理和步骤。 聚类分析clusteranalysis是一组将研究对象分为相对同质的群组clusters的统计分 析技术。 聚类分析也叫分类分析classification analysis或数值分类numerical taxonomy。聚类与分类的不同在于，聚类所要求划分的类是未知的。 聚类分析计算方法主要有 层次的方法（hierarchical ）、划分方法 （partitioning ）、基于密度的方法（density-based ）、基于网格的方 法（grid-based ）、基于模型的方法（model-based ）等。其中，前 两种算法是利用统计学定义的距离进行度量。 k-means 算法的工作过程说明如下首先从n 个数据对象任意选择 k 个对象作为初始聚 类中心；而对于所剩下其它对象，则根据它们与这些聚类中心的相似度（距离），分别将 它们分配给与其最相似的（聚类中心所代表的）聚类；然后再计算每个所获新聚类的聚类 中心（该聚类中所有对象的均值）；不断重复这一过程直到标准测度函数开始收敛为止。 一般都采用均方差作为标准测度函数. k 个聚类具有以下特点各聚类本身尽可能的紧凑， 而各聚类之间尽可能的分开。 其流程如下 （1）从 n 个数据对象任意选择 k 个对象作为初始聚类中心； （2）根据每个聚类对象的均值（中心对象），计算每个对象与这些中心对象的距离；并 根据最小距离重新对相应对象进行划分； （3）重新计算每个（有变化）聚类的均值（中心对象）； （4）循环（2）、（3）直到每个聚类不再发生变化为止（标准测量函数收敛）。 优 点本算法确定的 K 个划分到达平方误差最小。当聚类是密集的，且类与类之间区别 明显时，效果较好。对于处理大数据集，这个算法是相对可伸缩和高效的，计算的复杂度 为 ONKt，其中 N 是数据对象的数目，t 是迭代的次数。一般来说，KN，tN 。 缺点1. K 是事先给定的，但非常难以选定；2. 初始聚类中心的选择对聚类结果有较大 的影响。 三、根据要求写出三、根据要求写出 SQLSQL 表 A 结构如下 Member_ID （用户的 ID，字符型） Log_time （用户访问页面时间，日期型（只有一天的数据）） URL （访问的页面地址，字符型） 要求提取出每个用户访问的第一个URL（按时间最早），形成一个新表（新表名为B， 表结构和表 A 一致） create table B as select Member_ID,minLog_time, URL from A group by Member_ID ; 四、销售数据分析四、销售数据分析 以下是一家 B2C 电子商务网站的一周销售数据，该网站主要用户群是办公室女性，销售额 主要集中在 5 种产品上，如果你是这家公司的分析师， a 从数据中，你看到了什么问题你觉得背后的原因是什么 b 如果你的老板要求你提出一个运营改进计划，你会怎么做 表如下一组每天某网站的销售数据 a 从这一周的数据可以看出，周末的销售额明显偏低。这其中的原因，可以从两个 角度来看站在消费者的角度，周末可能不用上班，因而也没有购买该产品的欲望；站在 产品的角度来看，该产品不能在周末的时候引起消费者足够的注意力。 b 针对该问题背后的两方面原因，我的运营改进计划也分两方面一是，针对消费者周末 没有购买欲望的心理，进行引导提醒消费者周末就应该准备好该产品；二是，通过该产品 的一些类似于打折促销等活动来提升该产品在周末的人气和购买力。 五、用户调研五、用户调研 某公司针对 A、B、C 三类客户，提出了一种统一的改进计划，用于提升客户的周消费次 数，需要你来制定一个事前试验方案，来支持决策，请你思考下列问题 a 试验需要为决策提供什么样的信息 c 按照上述目的，请写出你的数据抽样方法、需要采集的数据指标项，以及你选择的统计 方法。 a 试验要能证明该改进计划能显著提升A、B、C 三类客户的周消费次数。 b 根据三类客户的数量，采用分层比例抽样； 需要采集的数据指标项有客户类别，改进计划前周消费次数，改进计划后周消费次数； 选用统计方法为分别针对A、B、C 三类客户，进行改进前和后的周消费次数的，两独立 样本 T-检验（two-samplet-test）。 摘录一段 企业面对海量数据应如何具体实施数据挖掘，使之转换成可行的结果企业面对海量数据应如何具体实施数据挖掘，使之转换成可行的结果/ /模型模型 首先进行数据的预处理，主要进行数据的清洗，数据清洗，处理空缺值，数据的集 成，数据的变换和数据规约。 请列举您使用过的各种数据仓库工具软件（包括建模工具，请列举您使用过的各种数据仓库工具软件（包括建模工具，ETLETL 工具，前端展现工工具，前端展现工 具，具，OLAP ServerOLAP Server、数据库、数据挖掘工具）和熟悉程度。、数据库、数据挖掘工具）和熟悉程度。 ETL 工具Ascential DataStage ，IBM warehouse MANAGER、Inatica 公 司的 PowerCenter、Cognos 公司的 DecisionStream 市场上的主流数据仓库存储层软件有SQL SERVER、SYBASE、ORACLE、DB2、 TERADATA 请谈一下你对元数据管理在数据仓库中的运用的理解。请谈一下你对元数据管理在数据仓库中的运用的理解。 元数据能支持系统对数据的管理和维护，如关于数据项存储方法的元数据能支持系统 以最有效的方式访问数据。具体来说,在数据仓库系统中，元数据机制主要支持以下五类系 统管理功能 （１）描述哪些数据在数据仓库中； （２）定义要进入数据仓库中的数据和从数据仓库中产生的数据； （３）记录根据业务事件发生而随之进行的数据抽取工作时间安排； （４）记录并检测系统数据一致性的要求和执行情况； （５）衡量数据质量。 数据挖掘对聚类的数据要求是什么数据挖掘对聚类的数据要求是什么 （1）可伸缩性 （2）处理不同类型属性的能力 （3）发现任意形状的聚类 （4）使输入参数的领