Python租房数据分析系统开发全流程解析

1. 项目概述

这个基于Python的租房数据分析系统是我在完成计算机专业毕业设计时开发的一个综合性项目。它整合了机器学习算法、网络爬虫技术和Web可视化展示，能够对二手房市场数据进行深度挖掘和分析。系统采用Django作为后端框架，结合Scrapy爬虫采集房源数据，通过K-means聚类和线性回归算法进行数据分析，最终以直观的可视化图表呈现结果。

对于即将面临毕业设计的同学来说，这个项目具有很高的参考价值。它涵盖了计算机专业多个核心知识点：从数据采集、清洗存储到分析建模，再到Web展示，完整呈现了一个数据分析系统的开发流程。我在开发过程中踩过不少坑，也积累了一些实战经验，下面会详细分享这个项目的技术实现细节。

2. 系统架构设计

2.1 整体技术栈选择

系统采用分层架构设计，主要分为数据采集层、数据处理层、业务逻辑层和展示层：

数据采集层：Scrapy + Playwright 数据处理层：Pandas + NumPy 分析建模层：Scikit-learn Web框架层：Django + Django REST framework 数据存储：MySQL + Redis 前端展示：ECharts + Bootstrap

选择Django作为Web框架主要考虑到它的全栈特性：自带ORM、Admin后台和模板引擎，能快速构建功能完善的管理系统。对于需要处理动态加载内容的房源网站，传统的Scrapy难以应对，因此引入Playwright解决动态渲染问题。

2.2 数据库设计要点

房源数据表设计是系统的核心，主要字段包括：

class House(models.Model): title = models.CharField(max_length=200) # 房源标题 district = models.CharField(max_length=50) # 行政区 address = models.CharField(max_length=200) # 详细地址 price = models.FloatField() # 价格(万元) area = models.FloatField() # 面积(㎡) room = models.CharField(max_length=20) # 户型 floor = models.CharField(max_length=30) # 楼层 build_year = models.IntegerField() # 建造年份 tags = models.JSONField(default=list) # 标签 lat = models.FloatField(null=True) # 纬度 lng = models.FloatField(null=True) # 经度 created_at = models.DateTimeField(auto_now_add=True)

注意：实际开发中建议对价格、面积等数值字段添加校验约束，避免爬虫采集到异常值影响分析结果。

3. 数据采集实现

3.1 Scrapy爬虫配置

针对主流房产网站，需要编写多个Spider处理不同页面结构。以下是基础Spider示例：

class LianjiaSpider(scrapy.Spider): name = 'lianjia' allowed_domains = ['lianjia.com'] def start_requests(self): districts = ['xuanwu', 'haidian', 'chaoyang'] for district in districts: url = f'https://bj.lianjia.com/ershoufang/{district}/' yield scrapy.Request(url, meta={'playwright': True}) def parse(self, response): houses = response.css('.sellListContent li') for house in houses: item = {} item['title'] = house.css('.title a::text').get() item['price'] = float(house.css('.totalPrice span::text').get()) yield item

3.2 动态渲染处理

对于需要执行JavaScript的页面，配置Playwright中间件：

# settings.py DOWNLOAD_HANDLERS = { "http": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler", "https": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler", } TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor" PLAYWRIGHT_BROWSER_TYPE = "chromium"

实战经验：设置适当的DOWNLOAD_DELAY(建议2-5秒)和CONCURRENT_REQUESTS，避免触发反爬机制。遇到验证码时可使用Playwright的page.screenshot()保存图片供人工识别。

4. 数据分析模块

4.1 数据预处理流程

原始数据需要经过以下处理步骤：

1. 缺失值处理：删除关键字段缺失的记录
2. 异常值过滤：剔除价格/面积超出合理范围的极端值
3. 特征工程：
   • 计算单价(price/area)
   • 提取楼层类型(低层/中层/高层)
   • 计算房龄(当前年份-build_year)

def clean_data(df): # 删除缺失关键字段的记录 df = df.dropna(subset=['price', 'area', 'district']) # 过滤异常值 df = df[(df['price'] > 30) & (df['price'] < 2000)] df = df[(df['area'] > 20) & (df['area'] < 300)] # 特征工程 df['unit_price'] = df['price'] / df['area'] df['floor_type'] = df['floor'].apply(categorize_floor) df['house_age'] = datetime.now().year - df['build_year'] return df

4.2 K-means聚类分析

对房源进行聚类可以发现价格相似区域：

from sklearn.cluster import KMeans from sklearn.preprocessing import StandardScaler def cluster_houses(df): # 选择特征：单价、面积、房龄 X = df[['unit_price', 'area', 'house_age']] # 标准化 scaler = StandardScaler() X_scaled = scaler.fit_transform(X) # 肘部法则确定最佳K值 distortions = [] for k in range(1, 10): kmeans = KMeans(n_clusters=k) kmeans.fit(X_scaled) distortions.append(kmeans.inertia_) # 根据肘部位置选择k=3 optimal_k = 3 kmeans = KMeans(n_clusters=optimal_k) df['cluster'] = kmeans.fit_predict(X_scaled) return df, kmeans.cluster_centers_

注意事项：不同城市的房价差异较大，实际应用中应该按城市分别建模。聚类前务必进行特征标准化，避免量纲影响。

4.3 线性回归预测模型

建立房价预测模型：

from sklearn.linear_model import LinearRegression from sklearn.model_selection import train_test_split def train_price_model(df): # 准备特征和标签 features = ['area', 'house_age', 'floor_type', 'district'] X = pd.get_dummies(df[features], columns=['floor_type', 'district']) y = df['price'] # 划分训练测试集 X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42) # 训练模型 model = LinearRegression() model.fit(X_train, y_train) # 评估 score = model.score(X_test, y_test) print(f'模型R2得分: {score:.3f}') return model

5. Django系统实现

5.1 核心功能开发

系统主要功能模块：

• 房源数据管理（CRUD）
• 数据分析任务调度
• 可视化展示
• 预测接口

# views.py class HouseListView(LoginRequiredMixin, ListView): model = House paginate_by = 20 template_name = 'house/list.html' def get_queryset(self): queryset = super().get_queryset() district = self.request.GET.get('district') if district: queryset = queryset.filter(district=district) return queryset.order_by('-created_at') class AnalyzeView(LoginRequiredMixin, View): def post(self, request): # 获取当前城市所有房源 houses = House.objects.filter(city=request.user.city) df = pd.DataFrame(list(houses.values())) # 执行聚类分析 df_result, centers = cluster_houses(df) # 保存分析结果 AnalysisResult.objects.create( user=request.user, data=df_result.to_dict('records'), centers=centers.tolist(), analysis_type='cluster' ) return redirect('analysis_result')

5.2 可视化展示

使用ECharts实现交互式图表：

// 价格分布直方图 function initPriceChart(data) { const chart = echarts.init(document.getElementById('price-chart')); const option = { title: { text: '价格分布' }, tooltip: {}, xAxis: { type: 'category', data: ['<100', '100-200', '200-300', '300-500', '500-800', '>800'] }, yAxis: { type: 'value' }, series: [{ name: '房源数量', type: 'bar', data: data }] }; chart.setOption(option); } // 聚类结果散点图 function initClusterChart(data) { const chart = echarts.init(document.getElementById('cluster-chart')); const option = { title: { text: '房源聚类分析' }, tooltip: { formatter: params => { return `单价: ${params.value[0]}<br> 面积: ${params.value[1]}<br> 房龄: ${params.value[2]}`; } }, xAxis: { name: '单价(元/㎡)' }, yAxis: { name: '面积(㎡)' }, series: [{ symbolSize: 10, data: data, type: 'scatter' }] }; chart.setOption(option); }

6. 部署与优化

6.1 生产环境部署

推荐使用Docker容器化部署：

# Dockerfile FROM python:3.9 WORKDIR /app COPY requirements.txt . RUN pip install -r requirements.txt COPY . . EXPOSE 8000 CMD ["gunicorn", "--bind", "0.0.0.0:8000", "core.wsgi"]

配套的docker-compose.yml：

version: '3' services: web: build: . ports: - "8000:8000" depends_on: - redis - db environment: - DJANGO_SETTINGS_MODULE=core.settings.prod redis: image: redis:alpine db: image: mysql:5.7 environment: MYSQL_ROOT_PASSWORD: ${DB_PASSWORD} MYSQL_DATABASE: house volumes: - db_data:/var/lib/mysql volumes: db_data:

6.2 性能优化技巧

1. 数据库优化：

   • 为常用查询字段添加索引
   • 使用select_related/prefetch_related减少查询次数
   • 对大数据量表考虑分表

2. 缓存策略：

   • 使用Redis缓存分析结果
   • 对静态资源设置长期缓存
   • 实现视图级缓存

# 使用缓存装饰器 from django.views.decorators.cache import cache_page @cache_page(60 * 15) # 缓存15分钟 def price_distribution(request): # ...

3. 异步任务： 耗时的分析任务使用Celery异步处理：

# tasks.py @app.task def analyze_houses_task(user_id, city): try: user = User.objects.get(id=user_id) houses = House.objects.filter(city=city) df = pd.DataFrame(list(houses.values())) # 执行分析... return {'status': 'success', 'result_id': result.id} except Exception as e: return {'status': 'error', 'message': str(e)}

7. 常见问题与解决方案

7.1 爬虫被封禁

现象：请求返回403或验证码页面
解决方案：

1. 增加随机User-Agent
2. 使用代理IP池
3. 降低请求频率
4. 使用Playwright模拟人类操作

# middlewares.py class RandomUserAgentMiddleware: def process_request(self, request, spider): request.headers['User-Agent'] = random.choice(USER_AGENTS)

7.2 数据分析不准确

现象：聚类结果不合理或预测误差大
排查步骤：

1. 检查数据清洗是否彻底
2. 验证特征选择是否合理
3. 尝试不同标准化方法
4. 调整模型参数

7.3 Django性能瓶颈

现象：页面加载缓慢
优化方案：

1. 使用django-debug-toolbar定位慢查询
2. 添加数据库索引
3. 实现分页加载
4. 启用Gzip压缩

# models.py class House(models.Model): class Meta: indexes = [ models.Index(fields=['district']), models.Index(fields=['price']), ]

8. 项目扩展方向

这个基础系统还可以进一步扩展：

1. 多城市支持：建立城市维度分析，比较不同市场特征
2. 价格预警：监控异常价格波动，发现投资机会
3. 房源对比：允许用户收藏房源并生成对比报告
4. 移动端适配：开发响应式界面或独立App
5. 增强预测：引入更多特征和复杂模型(XGBoost、神经网络)

# 使用XGBoost改进预测 from xgboost import XGBRegressor def train_xgboost_model(X_train, y_train): model = XGBRegressor( n_estimators=100, max_depth=5, learning_rate=0.1 ) model.fit(X_train, y_train) return model

开发这个系统的过程中，我最大的体会是真实世界的数据远比课堂示例复杂。数据质量决定分析上限，因此在数据采集和清洗阶段投入足够时间非常必要。另一个关键点是合理设置分析粒度，比如按行政区划分后再聚类，结果会比全局聚类更有意义。