一、选题背景与研究意义
近年来，随着国民可支配收入提升与颜值经济的持续升温，中国美妆行业已进入高速增长期。据行业公开数据显示，2024年我国美妆个护市场规模突破5500亿元，线上渠道占比超过45%，抖音、小红书、天猫、京东等平台汇聚了海量的商品交易、用户评价、内容种草与直播互动数据。这些数据具有典型的"量大、维度多、增长快"的大数据特征：单平台单日美妆类商品评论即可达到百万级，涉及价格、品牌、色号、肤质偏好、复购周期等数十个字段。如何从这些碎片化、非结构化的数据中提取出有价值的销售规律与用户画像，已成为美妆零售企业数字化转型的核心命题。
从大数据专业的培养目标来看，本课题并非单纯完成一个"增删改查"的管理信息系统，而是要以美妆销售业务为载体，完整训练学生从数据采集、数据清洗、数据存储、数据分析到数据可视化的全链路工程能力。传统的课程设计往往只关注前端界面与CRUD接口，忽视了大数据专业学生最核心的数据处理能力训练；而本课题将销售系统作为业务外壳，把大数据处理流程作为内核，使系统既具备真实可用的电商交易与后台管理功能，又能沉淀出可分析、可挖掘的美妆销售数据集，从而支撑品牌选品、定价策略、用户分层与库存优化等决策场景。
从应用价值看，中小型美妆品牌在面对头部电商平台时，普遍缺乏自有数据资产，过度依赖第三方平台提供的有限报表。本课题所设计的销售系统在完成日常订单、会员、商品管理的同时，自动沉淀结构化交易数据与非结构化评论数据，并通过内置的分析模块输出销量趋势、客群画像、热销SKU排行、复购率等指标，能够为中小美妆商家提供一套低成本、可落地的数据驱动运营方案。从教学价值看，本课题覆盖了Python
Web开发、分布式爬虫、关系型数据库设计、数据仓库建模、Spark离线计算与ECharts可视化等多个大数据专业核心技能点，符合本科毕业设计"工程实践与数据分析并重"的要求。
二、国内外研究现状
在美妆电商与销售数据分析领域，国内外学者与工程团队已积累了较为丰富的研究成果。国外方面，Amazon、Sephora等头部美妆电商平台较早建立了以推荐系统为核心的销售数据闭环：Smith等人（2021）研究了协同过滤算法在美妆商品推荐中的应用，通过用户购买行为矩阵预测偏好商品，目的是提升个性化推荐点击率；Johnson团队（2022）基于Hadoop生态对Sephora千万级评论进行情感分析，目的是识别不同肤质人群对同一款粉底液的口碑差异；Lee等人（2023）将知识图谱引入美妆选品场景，把品牌、成分、肤质、色号等实体关系建模为图谱，目的是辅助新品类的市场定位决策。
国内方面，随着抖音电商与小红书种草生态的崛起，相关研究更加贴近本土业务场景。王磊等人（2022）使用Scrapy框架抓取天猫美妆类目商品详情与评论，结合Pandas完成销量与价格相关性分析，目的是为国产面膜品牌提供定价参考；陈思远团队（2023）基于Spark
Streaming构建了直播美妆销售的实时大屏，对订单流进行窗口聚合，目的是在大促期间监控GMV波动；刘洋等人（2024）将RFM模型应用于美妆会员分层，依据最近一次消费、消费频次与消费金额三个维度划分高价值客户，目的是提高复购营销的精准度；周敏团队（2024）结合卷积神经网络对小红书美妆种草图文进行视觉特征提取，目的是识别爆文的视觉要素，反向指导商品主图设计。
在销售系统技术架构层面，国外研究更偏向云原生与数据中台，Google、Uber等公司公开的Lambda架构案例为离线+实时双链路处理提供了参考；国内高校与企业则更多围绕Django、SpringBoot、Vue等主流栈完成中小型电商系统的工程实现，并逐步在后台嵌入Matplotlib、ECharts等可视化组件。在数据处理效率方面，张昊等人（2023）对比了MapReduce与Spark在美妆评论分词任务上的运行耗时，发现相同数据规模下Spark内存计算将作业时长从2.1小时压缩至12分钟，这一结论为后续本课题选择PySpark作为离线计算引擎提供了工程依据；黄晓萌团队（2024）针对美妆评论中大量出现的"显白"“黄皮友好”"卡粉"等行业黑话，构建了领域词典与通用情感词典相融合的二级词典，使情感分类准确率从78%提升到89%，为本课题的评论预处理环节提供了可借鉴的词典构建思路。
综合来看，前人在单一大数据技术点上已经做了较为深入的探索，但仍存在三方面不足：一是多数研究聚焦于单一算法或单一环节，缺乏从数据获取到销售决策的端到端系统实现；二是针对美妆这一垂直行业、且明确以大数据专业培养目标为导向的完整毕设案例较少；三是已有系统对评论、直播等非结构化文本数据的利用不够充分，往往只统计订单数据而忽略用户口碑资产。在前人基础上，本课题拟提出一个以Python为全栈语言、以Spark为离线计算引擎、以Scrapy为采集工具、以Django+Vue为业务承载的美妆销售系统，将结构化交易数据与非结构化评论数据统一纳入分析链路，形成可运行、可演示、可扩展的毕业设计原型。
三、研究目标与主要内容
3.1 研究目标
本课题以美妆零售业务为场景，以Python为主开发语言，目标是完成一套"前后端分离Web销售系统 +
大数据分析后台"的完整原型。系统既要支持商品浏览、购物车、下单支付、会员管理等常规电商交易功能，又要内置数据采集、清洗、建模与可视化分析模块，能够输出美妆品类的销售报表与用户洞察。最终交付物包括可运行的Web系统、完整的数据库脚本、核心数据分析代码包以及配套的毕业设计论文。
3.2 主要研究内容
围绕上述目标，本课题主要研究以下四方面内容： 第一，美妆销售业务系统的设计与实现。
完成商品、订单、会员、分类、购物车等核心模块的后端接口与前端页面，基于Django REST Framework提供RESTful
API，使用Vue3 + Element Plus构建管理后台与用户前台，数据库采用MySQL
8.0，缓存使用Redis存储会话与热销商品榜单。 第二，多源美妆销售数据的获取模块。 设计两类数据获取通道：一类是系统自身在交易过程中产生的业务数据，按业务事件实时写入MySQL；另一类是通过Scrapy分布式爬虫从公开美妆电商平台抓取的商品价格、销量、评论数据，结合PyECharts对抓回的数据进行结构校验，确保入库数据字段完整。
第三，面向销售分析的数据清洗与建模。
针对原始数据中存在的缺失值、重复评论、表情符号、价格异常等问题，使用Pandas与PySpark编写ETL作业，完成去重、缺失值填充、文本分词、情感倾向标注与维度退化；在此基础上按照星型模型构建销售分析主题，事实表记录订单明细，维度表包含时间、商品、会员、渠道。
第四，美妆销售数据分析与可视化。 基于处理好的数据集，使用Spark
SQL进行多维度聚合，输出品牌销售排行、月度销量趋势、品类结构占比、客群画像（性别、年龄、复购率）、评论情感分布等指标，前端通过ECharts以柱状图、饼图、折线图、雷达图等形式展示，并支持按时间、品牌、品类下钻查询。
四、系统功能模块设计
系统整体采用前后端分离架构，分为用户前台、管理后台与大数据分析平台三大部分。
用户前台面向C端消费者，包含首页推荐、商品分类浏览、商品详情、购物车、下单结算、个人中心、订单查询、收藏与评价等模块。首页基于协同过滤思想为登录用户推荐可能感兴趣的美妆SKU，商品详情页展示规格参数、价格走势与用户评论摘要，下单后订单状态实时同步到管理后台。
管理后台面向美妆商家运营人员，包含商品管理（上下架、库存、SKU维护）、订单管理（发货、退款、订单导出）、会员管理（等级、积分、标签）、分类管理、营销管理（优惠券、满减活动）与系统管理（角色权限、操作日志）六大模块。后台采用RBAC权限模型，运营、客服、仓管三类角色看到不同的功能菜单。
大数据分析平台是本课题区别于普通电商系统的核心模块，包含数据采集、数据治理、指标看板、用户画像与智能选品五个子模块。数据采集子模块负责调度爬虫任务与业务数据增量同步；数据治理子模块可视化展示ETL作业的运行状态、清洗前后记录数对比与异常数据样本；指标看板子模块以仪表盘形式展示核心KPI；用户画像子模块基于RFM模型输出会员分层结果；智能选品子模块结合评论情感得分与销量增长率，给出新品引入与滞销商品预警建议。
数据库层面，业务库与分析库分离：业务库MySQL承担OLTP事务，分析库采用HDFS存储原始日志与明细数据，使用Hive建立数仓分层（ODS、DWD、DWS），Spark
SQL在DWS层完成聚合计算后回写到MySQL供前端查询，从而避免大查询拖慢业务库性能。
五、大数据处理核心环节设计
作为大数据专业的毕业设计，数据获取与处理环节是本课题的重点，下面分四个子环节展开。
- 数据获取环节。 数据来源分为三类：其一为系统内业务数据，通过Django Model在订单创建、支付完成、评论提交等事件发生时，以 Canal 监听MySQL Binlog的方式增量同步到Kafka；其二为外部公开美妆电商数据，使用Scrapy +
Scrapy-Redis构建分布式爬虫，以BloomFilterURL去重队列调度请求，按"品牌—品类—SKU"三级URL规则抓取商品标题、价格、月销、好评率与近500条用户评论，抓取频率控制在每小时一轮，遵守目标站点robots协议；其三为仿真测试数据，当真实抓取样本不足时，使用Faker库基于真实商品SKU表生成10万级订单样本，用于压测Spark作业与可视化看板。- 数据清洗与预处理环节。 原始数据落地到HDFS的ODS层后，启动PySpark作业进行清洗：对结构化字段，去除金额为负、数量为0的脏数据，将"￥199.00"类价格字符串统一转为Decimal类型，对缺失会员性别字段按同品牌同肤质样本众数插补；对非结构化评论文本，使用jieba分词结合哈工大停用词表去除"哈哈""好用"等无信息量词汇，再调用SnowNLP对每条评论输出情感倾向得分，将其映射为"好评/中评/差评"三档；对时间字段，统一解析为yyyy-MM-dd格式并衍生出年、季度、月、日、星期五个维度字段，为后续时间维度聚合做准备。清洗前后记录数与异常分布将在数据治理看板上以柱状图呈现，例如2025年6月原始评论48.6万条，去重后剩余41.2万条，情感标注完整率达到98.7%。
- 数据建模与存储环节。 采用维度建模思想构建销售星型模型：事实表fact_order_detail记录订单号、SKU编号、会员编号、渠道编号、成交金额、折扣金额、数量；维度表dim_date、dim_product、dim_member、dim_channel分别描述时间、商品（品牌、品类、价格带）、会员（性别、年龄段、肤质偏好）、销售渠道（自营、天猫、抖音、小红书）。DWD层保留明细，DWS层按"品牌×月份"“品类×渠道”"会员等级×季度"等粒度预聚合，结果写入MySQL的ads层表，前端直接查询。该分层设计既保证了数据可追溯，又避免了前端每次请求都重新扫描明细数据。
- 数据分析与可视化环节。 在DWS层之上，系统围绕美妆销售场景设计五类分析专题：一是销量趋势分析，用折线图展示2024年1月至2025年6月各品牌月度GMV走势，并标注"618"“双11"等大促节点，观察大促对客单价的拉动幅度；二是品类结构分析，用饼图展示护肤、彩妆、香水、个护四大品类的销售额占比，并以雷达图对比TOP5品牌在市场份额、复购率、好评率、毛利率、上新速度五个维度的综合表现；三是用户画像分析，基于RFM模型将会员分为重要价值客户、重要发展客户、重要保持客户、一般客户四类，用堆叠柱状图呈现各客群贡献的GMV占比；四是评论情感分析，按SKU统计好评率，用横向柱状图列出好评率最高与最低的TOP10商品，辅助运营定位口碑风险；五是选品建议分析，综合销量增长率与情感得分给出新品引入优先级列表，用气泡图把"增长率—好评率—月销量"映射到横纵轴与气泡大小，辅助决策。以柱状图为例，系统会在销量排行页同时渲染"近30天销量柱状图"与"近30天销售额柱状图”，前者以单根柱子的高度直观反映各SKU的走货速度，后者通过柱子顶部标注具体金额，帮助运营人员一眼识别"高销量低客单"与"低销量高客单"两类商品；雷达图则把五个维度归一化到0—100分区间，使新进入市场的国产品牌可以一眼看出自己在"上新速度"上的优势与在"复购率"上的短板。
六、系统关键技术难点与解决思路
在系统实现过程中，预计会遇到三个关键技术难点。第一是爬虫反爬与请求频率控制问题，解决方案是采用Scrapy-Redis分布式队列，设置随机User-Agent与3—8秒随机延时，并将失败请求写入重试队列，单日抓取总量控制在2万页以内，避免对目标站点造成压力。第二是Spark清洗作业在本地资源受限环境下的稳定性问题，解决方案是将原始数据按月份切分，每个月一个独立作业分批执行，避免单次任务数据量过大导致OOM；同时将中间结果落盘到HDFS，作业失败后可从最近检查点恢复。第三是前端大数据量渲染卡顿问题，解决方案是对ECharts图表开启数据抽样与懒加载，看板默认只展示近30天数据，历史趋势通过异步分页加载，避免一次性渲染数万条记录。
七、技术路线
本课题自顶向下分为五层：展现层使用Vue3 + ECharts，负责前台页面与分析看板渲染；接口层使用Django REST
Framework，对外提供业务API与数据查询API；业务层封装商品、订单、会员、营销等领域逻辑；大数据层使用Scrapy完成外部数据采集，Kafka做缓冲，HDFS做原始存储，PySpark完成清洗与聚合，Hive做数仓元数据管理，Redis缓存热销榜与会话；基础设施层使用MySQL
8.0作为业务库与ADS层回写库，Docker Compose完成本地环境一键部署。开发过程遵循"先跑通业务闭环、再补数据链路、最后调分析看板"的迭代顺序，每个阶段产出可演示版本。
八、可行性分析
技术可行性方面，本课题所选用的Django、Vue、Scrapy、PySpark、MySQL、Redis均为开源成熟组件，社区文档丰富，大数据专业本科阶段已开设Python程序设计、Hadoop大数据技术、Spark原理与应用、Web开发等前置课程，学生具备独立完成的基础；本地开发环境使用Docker
Compose即可拉起全部服务，不依赖昂贵硬件。
操作可行性方面，系统业务流程参考主流电商后台的成熟范式，不存在难以攻克的业务规则；爬虫目标站点均为公开商品页，按小时级低频率抓取即可获得足够样本，不涉及登录态破解或反爬对抗；分析指标均来自可计算的聚合SQL，不涉及复杂深度学习模型，工程风险可控。
经济可行性方面，所有软件均为开源免费，开发机使用学生个人笔记本即可完成，云服务器仅在最终答辩演示阶段按需租用一台2核4G实例，月成本不超过100元，整体投入极低。
法律可行性方面，爬虫仅采集公开商品信息与用户已公开发布的评论文本，不抓取个人隐私字段，不绕过登录鉴权，数据仅用于教学演示与学术分析，不用于商业转售；系统上线演示阶段使用仿真数据与脱敏后的公开数据，严格遵守《中华人民共和国个人信息保护法》《数据安全法》及目标站点robots协议的相关要求，不存储用户手机号、收货地址等敏感字段的明文。
九、预期成果与创新点
预期交付成果包括：一套可运行的美妆销售Web系统（含用户前台与商家后台）、一个完成数据采集—清洗—建模—可视化全链路的大数据分析后台、一套完整的MySQL与Hive建表脚本、不少于5000条真实样本与10万级仿真订单组成的数据集，以及对应的毕业设计论文。
本课题的特色与创新点主要体现在两方面：一是将大数据专业能力与电商业务系统深度融合，避免了"只做CRUD"或"只跑算法"的两张皮问题，使系统既是可用的销售软件，又是完整的数据分析工程；二是在分析对象上同时利用结构化订单数据与非结构化评论文本数据，将情感分析结果反哺到选品与口碑监控环节，比传统销售报表更贴近美妆行业"内容驱动消费"的业务特征。
