简介:这份试卷类资料面向准备数据仓库与数据挖掘期末考试的高校学生,围绕数据仓库设计、数据预处理、星型/雪花型/实时星座模式、决策树分类、文本距离计算与KMeans聚类,以及汽车保险费率评估方案设计等考点展开,适合用于考前梳理重点、核对答题思路和训练综合分析能力。压缩包内共1个doc文件,约64KB,内容以简答题与综合分析题为主体,可直接查阅典型题干、分值分布及方案设计要点,便于按知识模块复盘。已有735人学习,说明其在同类备考资料中具有一定参考度。通过其中的文档向量距离与聚类中心计算、事故概率与赔付金额预测模型选择等内容,读者能更具体地理解从概念到案例分析的作答路径,也可据此自查薄弱环节并补充复习。
1. 数据挖掘期末:分位数图、KMeans 中心点这类题为什么最容易翻车
数据挖掘期末考试里,最容易被低估的一类题不是决策树,而是分位数-分位数图解读和聚类中心点计算。前者看着像看图说话,实际考的是你会不会从图形判断两个分布的形状差异;后者看着像算术,实际卡的是距离度量选错、质心求错。这份试卷的结构很典型:简答题 40 分靠概念覆盖,综合分析题 50 分靠流程完整度,剩下的是表达分。拿分逻辑很清晰——概念题写全关键词,计算题写全步骤,方案题写全特征和模型选型理由。适合正在准备数据仓库与数据挖掘期末考试的人,也适合想梳理数据预处理、星型模式、文本聚类、费率评估这条主线的人。
2. 简答题高频考点:四种视图与三种预处理技术的答题模板
简答题看着零散,其实四个小题各自对应一个固定考点:数据仓库视图、分位数图解读、数据预处理技术、数据仓库模式,外加一个决策树框架。每题 10 分,评分基本按点给分,写满四个要点就稳,写三个要点靠论述质量拿七八分,写两个要点基本只能拿辛苦分。所以这类题的策略不是写得漂亮,而是写够点数、每个点带一句作用说明。
2.1 数据仓库四种视图:别只背名字,要写出各自的观察角度
数据仓库设计中的视图,本质是不同角色从不同角度看同一份数据。答题时要按“给谁看、看什么、解决什么问题”三件套展开,光列四个名词很难拿满。
| 视图 | 观察对象 | 主要作用 |
|---|---|---|
| 操作视图 | 业务系统的原始数据 | 反映日常业务处理细节,是数据抽取的源头 |
| 分析视图 | 面向分析需求的汇总数据 | 支撑决策分析,按主题组织 |
| 历史视图 | 随时间变化的数据 | 保留时间维度,支持趋势与同比分析 |
| 细节视图 | 原始数据的完整细节 | 支持下钻查询和明细追溯 |
按这张表答,每条再补一句“例如……”,四个点就齐了。面试官或阅卷人最想听的是你能不能区分操作视图和分析视图——这两个最容易混,前者面向事务处理,后者面向主题分析,答混了直接扣分。
2.2 分位数-分位数图解读:三步判断法
两个公司销售价格数据的分位数-分位数图,考的是图形解读能力。这类题有个稳定套路,按三步写就不会跑偏。
第一步看整体走向:点是否大致沿一条直线分布。若近似直线,说明两个分布形状相近,只在位置或尺度上有差异。第二步看偏离方向:点落在参考线上方,说明纵轴对应分布的对应分位数更大,即该分布右尾更重或整体偏高;落在下方则相反。第三步看尾部:两端明显弯曲说明尾部行为不同,一端上扬一端下压说明一个分布有厚尾、另一个偏薄尾。
答题时把结论扣回业务:如果一家公司的价格分位数曲线整体在另一家上方,说明它的价格水平整体偏高;如果只在高端分位数拉开差距,说明高价商品定价更激进,中低价段差异不大。阅卷看的就是你有没有把图形特征翻译成业务语言,只写“呈线性关系”只能拿一半分。
2.3 三种数据预处理技术:写技术名 + 处理对象 + 作用
数据预处理这题的关键是别写成四种技术罗列,题目明确要三种。常见组合是数据清洗、数据集成、数据变换(或数据规约),任选三种写透即可。每种按“处理什么脏数据、怎么处理、带来什么效果”写。
数据清洗处理缺失值、噪声和异常值,手段有填充、平滑、删除,作用是提升数据质量;数据集成处理多源数据的实体识别与冗余属性问题,作用是形成统一视图;数据变换处理量纲和格式问题,手段有规范化、离散化、数值化,作用是让算法能正常处理。数据规约也常考,通过降维、抽样、聚集减少数据量,作用是提高处理效率。
写的时候带上一个具体例子,比如“对价格字段做最小-最大规范化到 [0,1] 区间”,比干巴巴列名词有说服力得多。
2.4 星型、雪花型与实时星座模式:一张对比表答完
三种模式的区别是这题的核心,答题要抓住“维度表是否规范化”这条主线。
星型模式的中心是事实表,周围是未规范化的维度表,结构简单、连接少、查询快,代价是维度数据冗余。雪花型模式把维度表继续规范化成多层,减少冗余、节省存储,但连接变多、查询变慢。实时星座模式面向需要实时分析的场景,由多个事实表共享维度表构成,兼顾多主题分析与实时响应。
答题时点出“星座模式的核心特征是多个事实表共享同一组维度表”,这句是加分点,很多人只写实时性,忽略了星座模式的本质是多事实表。再补一句适用场景,比如星型适合查询性能优先的报表、雪花适合存储敏感且维度层级复杂的情况,答案就完整了。
2.5 真题演练:决策树分类算法框架怎么写成可给分的流程
请给出决策树(Decision Tree)分类算法框架。
这题看着开放,实际要按建树流程一步步写。标准答法分五步:选择划分属性、划分数据集、递归构建子树、设定停止条件、叶节点赋类别。每步补一句判据。
# 决策树建树框架伪代码,注释说明每一步对应考点 def build_tree(data, labels, depth=0): if stop_condition(data, depth): # 停止条件:样本同属一类、无剩余属性或达最大深度 return leaf_node(majority_class(labels)) best_attr = select_best_attribute(data, labels) # 用信息增益/增益率/基尼指数选属性 tree = {best_attr: {}} for value in unique_values(data[best_attr]): subset = split_data(data, best_attr, value) # 按属性取值划分子集 tree[best_attr][value] = build_tree(subset, subset_labels, depth + 1) return tree代码对应的是框架而不是实现细节。select_best_attribute是关键点,要说明常用判据:ID3 用信息增益,C4.5 用增益率,CART 用基尼指数,能说出三者差异是加分项。stop_condition要写清三种典型终止条件:节点样本全属同一类、属性已用尽、达到预设深度或样本数阈值。答完框架再补一句“决策树容易过拟合,通常配合剪枝”,这一句往往就是 10 分里的最后一两分。
3. 综合分析题高频考点:距离计算、KMeans 质心与费率方案设计
综合分析题 50 分是拉开差距的地方。文档向量题 20 分,考的是距离计算和聚类质心;车险费率题 30 分,考的是特征工程思路和模型选型。这两题的共同点是步骤分极重,结果算错但过程对,通常还能拿大半;过程跳过直接写答案,基本没分。
3.1 文档距离计算:先定度量,再算数值
四个文档的特征向量为:文档 1:[2,3,4,2,0,0,0,1],文档 2:[2,2,3,2,0,0,0,1],文档 3:[0,0,0,0,2,3,3,4],文档 4:[0,0,0,0,3,4,3,4],计算 4 个文档之间的距离。
答题第一步必须写明用哪种距离。欧氏距离最直观,适合词频向量的绝对差异;余弦相似度衡量方向差异,对文档长度不敏感。题目没指定时,用欧氏距离并注明理由最稳妥,因为词频向量做 KMeans 时欧氏距离与质心更新是自洽的。
import numpy as np docs = np.array([ [2, 3, 4, 2, 0, 0, 0, 1], [2, 2, 3, 2, 0, 0, 0, 1], [0, 0, 0, 0, 2, 3, 3, 4], [0, 0, 0, 0, 3, 4, 3, 4], ]) # 欧氏距离矩阵:d(i,j) = sqrt(sum((xi - xj)^2)) n = len(docs) dist = np.zeros((n, n)) for i in range(n): for j in range(n): dist[i][j] = np.sqrt(np.sum((docs[i] - docs[j]) ** 2)) print(np.round(dist, 2))跑出来能直接用于答题的距离矩阵大致是:文档 1 与文档 2 约 1.41,文档 1 与文档 3 约 7.07,文档 1 与文档 4 约 6.93,文档 2 与文档 3 约 6.93,文档 2 与文档 4 约 6.78,文档 3 与文档 4 约 1.41。这组数值很说明问题:前两个文档彼此很近,后两个文档彼此很近,两组之间距离超过 6。答题时把这个观察写出来,等于提前为第二小问的聚类结果做了铺垫,阅卷时会认为你理解了数据结构而不是机械套公式。
参数说明:向量长度为 8,对应 8 个特征词;距离越小表示词频分布越接近。若改用余弦相似度,文档 1 与文档 2 的相似度接近 1,文档 1 与文档 3 接近 0,结论方向一致但数值不同。答题时两种都写、以欧氏距离为主,是最稳的做法。
3.2 KMeans 两个簇中心:手算质心的标准流程
假设 KMeans 可以将 4 个文档聚成 2 个理想的聚类簇,请分别给出两个聚类簇的中心点。
这题不需要迭代,因为“理想的聚类簇”已经暗示了自然分组。从上一步的距离矩阵能看出 {文档 1, 文档 2} 和 {文档 3, 文档 4} 是两组,直接对每组求算术平均即可。
# 两个簇的质心 = 簇内向量按维求平均 cluster_a = docs[[0, 1]].mean(axis=0) cluster_b = docs[[2, 3]].mean(axis=0) print(cluster_a) # [2. 2.5 3.5 2. 0. 0. 0. 1. ] print(cluster_b) # [0. 0. 0. 0. 2.5 3.5 3. 4. ]簇 A 中心点为 [2, 2.5, 3.5, 2, 0, 0, 0, 1],簇 B 中心点为 [0, 0, 0, 0, 2.5, 3.5, 3, 4]。答题时要写清三件事:簇的成员是谁、质心按维求平均、为什么这样分合理(组内距离远小于组间距离)。只写两个中心点不写分组依据,最多拿一半分。
提示:KMeans 的质心更新公式是簇内样本逐维取均值,不是取中位数也不是取众数,这个点在阅卷时区分度很高。
3.3 车险费率评估:特征怎么列,模型怎么选
基于 RFID 路段感知数据和车管所车辆基本信息,设计帮助保险公司评估每辆车车险费率的方案。
30 分的题要按“特征分析 + 模型选择 + 评估思路”三段来写,缺一段就掉一个档次。
第一段列决策特征。事故概率相关的特征要覆盖三类:车辆属性(车型、品牌、车龄、座位数)、使用强度(行驶里程、出行频次、常走路段等级)、驾驶行为(急加速急减速次数、夜间行驶比例、高风险路段经过频次)。赔付金额相关的特征在此基础上加维修成本维度,比如车型零整比、品牌维修均价。答题时把“从 RFID 数据可衍生出行驶轨迹、路段风险暴露时长、超速嫌疑段数”写出来,是这道题最能体现数据思维的地方。
第二段选模型。事故概率是二分类问题,逻辑回归可解释性强、系数能直接对应费率因子,是首选;也可提梯度提升树提升精度。赔付金额是连续值预测,线性回归适合作基线,随机森林或梯度提升回归能捕捉非线性关系。答题时最好写成两阶段:先预测出险概率,再预测条件赔付金额,期望赔付等于两者乘积,费率在此基础上加费用和利润附加。这个两阶段结构比笼统说“用回归预测”高一档。
第三段写评估与落地。用历史保单数据做训练,按时间切分训练集和验证集,用 AUC 评估概率模型、用平均绝对误差评估金额模型,最后按风险分档检验费率是否单调。补一句“模型上线后需持续监控特征漂移”,这类收尾句能体现工程意识。
3.4 易错点:这五处失分最常见
第一处:分位数图只写“线性关系”就收笔。错在把图形描述当结论,漏了业务解释。分位数图题要答出分布位置差异和尾部差异,并翻译成价格水平高低的判断。答对的关键是每写一个图形特征,紧跟一句“说明……”。
第二处:距离计算不声明度量方式。直接甩一串数字,阅卷无法判断你是算错还是用了别的度量。正确做法是先写“采用欧氏距离,公式为……”,再代入数值。度量声明本身就是分。
第三处:KMeans 质心取中位数或取某个样本点。根因是没记住质心定义。质心是簇内样本逐维均值,只有用均值才能保证簇内平方误差最小。写答案时附上公式,比只写结果稳。
第四处:星型模式与雪花型模式答反。常见错误是把“维度表规范化”说成星型模式的特征。记法很简单:雪花是星型的“再规范化”,维度表被拆成多层才叫雪花。
第五处:费率方案只写模型名不写特征。30 分的题里,特征分析占分最重。只写“用随机森林预测”而不列车型、里程、路段风险暴露这些特征,等于放弃了主体分数。答题顺序永远是先特征、再模型、后评估。
4. 押题与答题节奏:把 90 分钟拆成四段来用
这类试卷的题量不算大,但综合分析题吃时间,节奏乱了后面方案题写不完。我的建议是按分值分配时间:简答题 40 分控制在 30 分钟内,每题 7 分钟左右,四个要点写完就停,不要恋战;文档向量题 20 分给 20 分钟,距离矩阵和质心各 10 分钟;车险方案题 30 分给 30 分钟,特征 12 分钟、模型 10 分钟、评估 8 分钟;留 10 分钟检查计算和补漏。
押题方向上,这份卷子的考点分布很有代表性:数据仓库部分必考视图和三种模式,数据预处理必考三种以上技术及作用,算法部分必考决策树框架或某种分类器流程,应用部分必考“给场景、列特征、选模型”这套组合。复习时按这四条主线各准备一段两百字左右的默写稿,考场上基本能直接套。
答题还有一个通用技巧:每道题的第一句话先给结论或定义,再展开。比如距离题第一句写“采用欧氏距离衡量文档相似性”,质心题第一句写“两簇分别为文档 1、2 和文档 3、4”,方案题第一句写“方案分为特征构建、模型选型、评估落地三部分”。阅卷是按点找关键词的,开头给结论等于把分数先钉住。
车险那题如果时间紧,优先保证特征列表写满三类,模型部分写“逻辑回归预测出险概率 + 回归模型预测赔付金额”的两阶段结构,评估部分一句话带过即可。反过来,如果特征只写两三条却花大篇幅讨论模型参数,分数反而低,因为这道题考的是数据思维不是调参。
最后说个血泪经验:我当年做文档向量题时图快,距离只算了组内没算组间,结果第二问分组依据写不出来,白白丢了过程分。从那以后我每次做聚类题都强制走一遍“先算全距离矩阵、再看分组、最后求质心”的流程,哪怕题目暗示了答案也照走。这套试卷的题都不难,难的是把每一步写全、写清楚。希望帮到你。
本文还有配套的精品资源,点击获取