Python数据抓取与可视化实战：构建音乐榜单追踪分析工具

这次我们来看一个音乐榜单数据可视化项目，它聚焦于追踪和分析流行歌手 Olivia Rodrigo 的单曲《Good 4 u》在 Spotify 全球日榜和 Billboard Hot 100 榜单上的排名变化。对于音乐行业从业者、数据分析爱好者或歌迷来说，手动追踪一首歌的榜单走势既繁琐又难以形成直观认知。这个项目通过数据抓取、处理和可视化，将复杂的榜单数据转化为清晰的图表，让你能一眼看清歌曲的“冲榜”轨迹和生命周期。

本文的核心是带你从零开始，复现一个类似的榜单追踪分析工具。我们将重点关注几个实用问题：数据从哪里来（合规的公开数据源）、怎么自动化获取（避免手动复制）、如何处理和存储、以及最终如何用图表呈现其位次推移。整个过程不涉及复杂算法，重点在于数据流程的构建和可视化技巧的应用，适合有一定 Python 和数据分析基础的读者实践。

1. 核心能力速览

2. 适用场景与使用边界

这个工具主要适合以下几类人群：

• 音乐行业从业者：A&R、市场宣传人员可以量化评估单曲的打榜效果，为宣传策略调整提供数据支持。
• 数据分析和可视化爱好者：作为一个完整的数据工程项目进行练手，涵盖数据获取、清洗、分析和展示全流程。
• 歌迷与乐评人：希望超越感性认知，用数据图表客观记录和展示喜爱歌曲的商业成绩轨迹。

使用边界与注意事项：

1. 数据合规性：所有数据应来自公开、合法的渠道。严禁攻击、爬取受严格反爬机制保护的平台非公开数据，或进行高频请求干扰对方服务器。
2. 版权与隐私：本项目分析的是已公开的聚合榜单数据，不涉及未公开的用户隐私信息或受版权保护的音频内容本身。
3. 分析局限性：榜单排名受平台算法、市场活动、突发事件等多重因素影响，可视化结果展示的是相关性而非因果性，解读时需结合行业背景知识。
4. 工具性质：本项目生成的分析图表可用于个人研究、内部汇报或公开讨论，但若用于商业报告，建议对数据源和计算方法进行标注说明。

3. 环境准备与前置条件

在开始构建之前，请确保你的开发环境满足以下基础要求：

• 操作系统：Windows 10/11, macOS, 或 Linux 发行版均可。
• Python 环境：推荐使用 Python 3.8 及以上版本。使用conda或venv创建独立的虚拟环境是良好的实践。
• 必备工具：代码编辑器（如 VS Code、PyCharm）和命令行终端。
• 网络环境：需要能够正常访问 Spotify Charts 和 Billboard 官网（或其提供数据的第三方镜像站）。
• 磁盘空间：很小，仅用于存储代码、少量配置文件和生成的图表。

4. 项目结构与数据流程设计

我们先规划整个项目的骨架。一个清晰的结构有助于后续开发和维护。

spotify_billboard_tracker/ │ ├── config.yaml (或 .env) # 配置文件，存放API密钥（如果需要）、目标歌曲、日期范围等 ├── main.py # 主程序入口 ├── requirements.txt # Python依赖列表 │ ├── src/ # 核心源代码目录 │ ├── __init__.py │ ├── data_fetcher.py # 数据抓取模块 │ ├── data_processor.py # 数据清洗与处理模块 │ ├── visualizer.py # 数据可视化模块 │ └── utils.py # 通用工具函数（如日志、日期处理） │ ├── data/ # 数据存储目录 │ ├── raw/ # 原始抓取数据（JSON/CSV） │ └── processed/ # 清洗后的结构化数据 │ ├── outputs/ # 输出目录 │ └── charts/ # 生成的图表文件（PNG/HTML） │ └── logs/ # 日志文件目录

核心数据流程：

1. 抓取 (Fetch)：从目标数据源获取原始榜单HTML或JSON数据。
2. 解析 (Parse)：从原始数据中提取出歌曲名、艺人、排名、日期等关键字段。
3. 存储 (Store)：将解析后的结构化数据保存到本地文件（如CSV）或数据库。
4. 处理 (Process)：对历史数据进行整合、排序、计算变化（如排名升降）。
5. 可视化 (Visualize)：利用处理后的数据生成排名随时间变化的折线图等。
6. 调度 (Schedule，可选)：配置定时任务（如cron job），自动执行抓取和分析。

5. 数据抓取模块实现

这是项目的基石。我们以 Billboard Hot 100 和 Spotify Global Daily Top 200 为例。请注意：直接爬取网站需遵守robots.txt并设置合理请求间隔。更推荐使用官方API（如Spotify Web API，需注册开发者账号获取密钥）或已获授权的第三方数据服务。

5.1 Billboard Hot 100 数据获取（示例：通过网页解析）

Billboard官网结构可能变化，以下代码为原理演示，实际使用时需检查页面结构。

# src/data_fetcher.py import requests from bs4 import BeautifulSoup import pandas as pd import time from datetime import datetime, timedelta import logging logging.basicConfig(level=logging.INFO) logger = logging.getLogger(__name__) class BillboardFetcher: def __init__(self, start_date, end_date): self.start_date = start_date self.end_date = end_date self.base_url = "https://www.billboard.com/charts/hot-100/{date}/" self.headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' } def fetch_chart_for_date(self, chart_date): """抓取指定日期的Hot 100榜单""" url = self.base_url.format(date=chart_date) try: resp = requests.get(url, headers=self.headers, timeout=10) resp.raise_for_status() # 添加延迟，避免请求过快 time.sleep(1) return resp.text except requests.RequestException as e: logger.error(f"Failed to fetch Billboard chart for {chart_date}: {e}") return None def parse_html_to_df(self, html_content, chart_date): """解析HTML，提取排名、歌曲、艺人信息""" if not html_content: return pd.DataFrame() soup = BeautifulSoup(html_content, 'html.parser') records = [] # 注意：以下CSS选择器需要根据Billboard官网实际结构调整，此处为示例 chart_items = soup.select('ul.o-chart-results-list-row') # 示例选择器 for item in chart_items[:100]: # Hot 100 try: rank = item.select_one('span.c-label').text.strip() song = item.select_one('h3.c-title').text.strip() artist = item.select_one('span.c-label.a-no-trucate').text.strip() records.append({ 'date': chart_date, 'rank': int(rank), 'song': song, 'artist': artist, 'chart': 'Billboard Hot 100' }) except AttributeError as e: logger.warning(f"Parsing error for an item on {chart_date}: {e}") continue return pd.DataFrame(records) def run(self): """执行一段日期范围内的抓取任务""" all_data = [] current_date = self.start_date date_format = "%Y-%m-%d" while current_date <= self.end_date: date_str = current_date.strftime(date_format) logger.info(f"Fetching Billboard Hot 100 for {date_str}") html = self.fetch_chart_for_date(date_str) if html: df = self.parse_html_to_df(html, date_str) if not df.empty: all_data.append(df) current_date += timedelta(days=7) # Billboard每周更新 if all_data: final_df = pd.concat(all_data, ignore_index=True) return final_df else: return pd.DataFrame()

5.2 Spotify 榜单数据获取（示例：概念性说明）

Spotify Charts 网站 (https://charts.spotify.com) 提供每日、每周榜单数据，通常以 CSV 或 JSON 格式直接提供下载链接，比解析HTML更友好。你可以通过分析其网络请求找到数据文件的直接链接。

更规范的方式是使用Spotify Web API。你需要：

1. 在 Spotify Developer Dashboard 创建应用，获取Client ID和Client Secret。
2. 通过 API 获取访问令牌。
3. 调用Get Several Tracks或Get Track端点获取歌曲详情，但注意：Web API 主要提供音乐元数据和音频特征，不直接提供历史榜单数据。历史榜单数据通常需要通过其他合规渠道获取。

因此，对于 Spotify 全球日榜，一个可行的方案是定期从charts.spotify.com的公开数据文件下载。这需要你编写脚本自动发现和下载每日更新的 CSV 文件。

# 概念性代码：下载Spotify Charts的CSV数据 import requests import pandas as pd def fetch_spotify_daily_csv(target_date): """尝试下载指定日期的Spotify全球日榜CSV""" # 日期格式需要匹配Spotify Charts的URL模式，例如：2023-10-01 date_str = target_date.strftime("%Y-%m-%d") # 此URL模式仅为示例，实际URL需通过分析网站获得 url = f"https://charts.spotify.com/charts/view/regional-global-daily/{date_str}" # 或者可能是某个固定的数据端点 # url = "https://spotifycharts.com/regional/global/daily/latest/download" headers = {'User-Agent': 'Your User Agent'} try: # 有时需要先访问一个页面，再获取CSV链接，这里简化处理 response = requests.get(url, headers=headers, stream=True) # 如果响应内容是CSV if response.headers.get('Content-Type', '').lower() == 'text/csv': df = pd.read_csv(io.StringIO(response.text)) df['date'] = date_str df['chart'] = 'Spotify Global Daily' return df except Exception as e: print(f"Error fetching Spotify data for {date_str}: {e}") return pd.DataFrame()

重要提醒：在实施抓取前，务必仔细阅读目标网站的robots.txt文件和服务条款，尊重网站的爬虫协议，设置合理的请求间隔（如time.sleep(2-5)），避免对对方服务器造成负担。

6. 数据处理与存储模块

抓取到的原始数据需要被清洗、整合并存储起来，以便后续分析。

# src/data_processor.py import pandas as pd import os from pathlib import Path class DataProcessor: def __init__(self, raw_data_dir='./data/raw', processed_data_dir='./data/processed'): self.raw_data_dir = Path(raw_data_dir) self.processed_data_dir = Path(processed_data_dir) self.processed_data_dir.mkdir(parents=True, exist_ok=True) def load_raw_data(self, source): """从原始数据目录加载指定数据源的CSV文件""" data_files = list(self.raw_data_dir.glob(f"*{source}*.csv")) dfs = [] for file in data_files: try: df = pd.read_csv(file) dfs.append(df) except Exception as e: print(f"Error reading {file}: {e}") if dfs: return pd.concat(dfs, ignore_index=True) return pd.DataFrame() def filter_track(self, df, track_name, artist_name): """从数据框中筛选出特定歌曲的记录""" # 实现简单的模糊匹配，因为榜单上的歌曲名或艺人名可能有细微差别 mask = df['song'].str.contains(track_name, case=False, na=False) & \ df['artist'].str.contains(artist_name, case=False, na=False) filtered_df = df[mask].copy() return filtered_df def calculate_rank_change(self, df): """计算排名变化（与前一次排名比较）""" if df.empty: return df df = df.sort_values('date') df['previous_rank'] = df['rank'].shift(1) df['rank_change'] = df['previous_rank'] - df['rank'] # 正数表示上升 df['rank_change'] = df['rank_change'].fillna(0).astype(int) return df def save_processed_data(self, df, filename): """保存处理后的数据""" output_path = self.processed_data_dir / filename df.to_csv(output_path, index=False) print(f"Processed data saved to {output_path}") def process_for_visualization(self, billboard_df, spotify_df, track_info): """整合两个数据源，为目标歌曲生成用于可视化的数据集""" # 1. 分别筛选目标歌曲 bb_track = self.filter_track(billboard_df, track_info['name'], track_info['artist']) sp_track = self.filter_track(spotify_df, track_info['name'], track_info['artist']) # 2. 统一列名和格式 bb_track = bb_track[['date', 'rank', 'chart']].copy() sp_track = sp_track[['date', 'rank', 'chart']].copy() # 3. 合并 combined_df = pd.concat([bb_track, sp_track], ignore_index=True) combined_df['date'] = pd.to_datetime(combined_df['date']) combined_df = combined_df.sort_values(['chart', 'date']) # 4. 按数据源分别计算排名变化 final_dfs = [] for chart_name in combined_df['chart'].unique(): chart_df = combined_df[combined_df['chart'] == chart_name].copy() chart_df = self.calculate_rank_change(chart_df) final_dfs.append(chart_df) final_df = pd.concat(final_dfs, ignore_index=True) return final_df

7. 数据可视化模块实现

这是将数据转化为洞察的关键一步。我们将使用matplotlib和seaborn生成静态图表，也可以使用plotly生成交互式图表。

# src/visualizer.py import pandas as pd import matplotlib.pyplot as plt import seaborn as sns from pathlib import Path import matplotlib.dates as mdates class ChartVisualizer: def __init__(self, output_dir='./outputs/charts'): self.output_dir = Path(output_dir) self.output_dir.mkdir(parents=True, exist_ok=True) # 设置中文字体（如果需要显示中文标签） # plt.rcParams['font.sans-serif'] = ['SimHei', 'Arial Unicode MS'] # plt.rcParams['axes.unicode_minus'] = False sns.set_style("whitegrid") def plot_rank_trend(self, df, track_name, artist_name, save_path=None): """ 绘制排名趋势图。 df 应包含列：date, rank, chart, rank_change """ if df.empty: print("No data to visualize.") return fig, axes = plt.subplots(2, 1, figsize=(14, 10), sharex=True) fig.suptitle(f'{track_name} by {artist_name} - Chart Performance', fontsize=16, y=1.02) colors = {'Billboard Hot 100': 'royalblue', 'Spotify Global Daily': 'coral'} # 子图1：排名折线图（排名越低越好） ax1 = axes[0] for chart_type, group in df.groupby('chart'): color = colors.get(chart_type, 'gray') ax1.plot(group['date'], group['rank'], marker='o', label=chart_type, color=color, linewidth=2) ax1.invert_yaxis() # 让排名1在顶部 ax1.set_ylabel('Chart Rank (Lower is Better)') ax1.set_title('Rank Position Over Time') ax1.legend() ax1.grid(True, linestyle='--', alpha=0.7) # 格式化X轴日期 ax1.xaxis.set_major_formatter(mdates.DateFormatter('%Y-%m-%d')) ax1.xaxis.set_major_locator(mdates.WeekdayLocator(interval=2)) plt.setp(ax1.xaxis.get_majorticklabels(), rotation=45) # 子图2：排名变化柱状图 ax2 = axes[1] # 为每个数据源绘制变化 for chart_type, group in df.groupby('chart'): color = colors.get(chart_type, 'gray') # 使用条形图显示每日变化，正值（上升）用绿色，负值（下降）用红色 bars = ax2.bar(group['date'], group['rank_change'], width=0.8, label=f'{chart_type} Change', color=color, alpha=0.6) # 可选：在条形上标注变化值 # for bar, change in zip(bars, group['rank_change']): # if change != 0: # ax2.text(bar.get_x() + bar.get_width()/2, bar.get_height(), # f'{change:+d}', ha='center', va='bottom' if change>0 else 'top', fontsize=8) ax2.axhline(y=0, color='black', linewidth=0.8, linestyle='-') ax2.set_xlabel('Date') ax2.set_ylabel('Rank Change (Positive = Improved)') ax2.set_title('Daily/Weekly Rank Change') ax2.legend() ax2.grid(True, linestyle='--', alpha=0.7, axis='y') ax2.xaxis.set_major_formatter(mdates.DateFormatter('%Y-%m-%d')) ax2.xaxis.set_major_locator(mdates.WeekdayLocator(interval=2)) plt.setp(ax2.xaxis.get_majorticklabels(), rotation=45) plt.tight_layout() if save_path: save_path = self.output_dir / save_path plt.savefig(save_path, dpi=300, bbox_inches='tight') print(f"Chart saved to {save_path}") else: plt.show() plt.close(fig)

8. 主程序与配置示例

将各个模块串联起来，并提供一个配置文件。

# config.yaml track: name: "Good 4 u" artist: "Olivia Rodrigo" date_range: start: "2021-05-01" # 歌曲发行日期附近 end: "2021-12-31" # 追踪一段时间 data_sources: - name: "Billboard Hot 100" enabled: true # 可能需要配置URL模板或API端点 - name: "Spotify Global Daily" enabled: true output: chart_filename: "olivia_rodrigo_good4u_chart_trend.png"

# main.py import yaml import pandas as pd from datetime import datetime from src.data_fetcher import BillboardFetcher from src.data_processor import DataProcessor from src.visualizer import ChartVisualizer # 假设有一个SpotifyFetcher类 # from src.spotify_fetcher import SpotifyFetcher def load_config(config_path='config.yaml'): with open(config_path, 'r', encoding='utf-8') as f: config = yaml.safe_load(f) return config def main(): config = load_config() track_info = config['track'] start_date = datetime.strptime(config['date_range']['start'], '%Y-%m-%d') end_date = datetime.strptime(config['date_range']['end'], '%Y-%m-%d') print(f"Starting chart analysis for: {track_info['name']} by {track_info['artist']}") print(f"Date Range: {start_date.date()} to {end_date.date()}") # 1. 抓取数据 (这里以Billboard为例，Spotify需类似实现) print("\n[Step 1] Fetching Billboard Hot 100 data...") bb_fetcher = BillboardFetcher(start_date, end_date) bb_raw_df = bb_fetcher.run() if not bb_raw_df.empty: bb_raw_df.to_csv('./data/raw/billboard_hot100_raw.csv', index=False) print(f"Fetched {len(bb_raw_df)} records from Billboard.") # 2. 处理数据 print("\n[Step 2] Processing data...") processor = DataProcessor() # 加载原始数据（这里简化，实际中可能直接使用bb_raw_df） bb_df = pd.read_csv('./data/raw/billboard_hot100_raw.csv') if not bb_raw_df.empty else pd.DataFrame() # 假设我们也有Spotify数据 sp_df = pd.read_csv('./data/raw/spotify_global_daily_raw.csv') # 需要提前抓取并保存 combined_processed_df = processor.process_for_visualization(bb_df, sp_df, track_info) if combined_processed_df.empty: print("No data found for the specified track. Please check the track name and date range.") return processor.save_processed_data(combined_processed_df, 'processed_chart_data.csv') # 3. 可视化 print("\n[Step 3] Generating visualization...") visualizer = ChartVisualizer() output_filename = config['output'].get('chart_filename', 'chart_trend.png') visualizer.plot_rank_trend( combined_processed_df, track_name=track_info['name'], artist_name=track_info['artist'], save_path=output_filename ) print("\nAnalysis complete!") if __name__ == "__main__": main()

9. 部署与自动化运行

项目本地运行成功后，你可以考虑将其自动化。

• 本地定时任务：在 Linux/macOS 上使用cron，在 Windows 上使用“任务计划程序”，定期（如每周一）执行main.py脚本，自动抓取最新数据并更新图表。
• 部署到云服务器：将代码部署到云服务器（如 AWS EC2、Google Cloud VM），同样配置定时任务，并可以通过简单的 Web 服务器（如 Flask）将最新图表展示在网页上。
• 依赖管理：确保生产环境安装了所有依赖。

  # requirements.txt pandas>=1.3.0 requests>=2.26.0 beautifulsoup4>=4.10.0 matplotlib>=3.4.3 seaborn>=0.11.2 pyyaml>=6.0

  安装命令：pip install -r requirements.txt

10. 常见问题与排查方法

11. 最佳实践与扩展建议

1. 数据备份与版本控制：定期备份抓取的原始数据 (data/raw/) 和处理后的数据。使用 Git 管理代码，但将data/和outputs/目录加入.gitignore。
2. 错误处理与日志：为每个关键步骤（网络请求、文件读写）添加完善的try...except错误处理，并使用logging模块记录运行日志，便于排查问题。
3. 配置化：将所有可配置项（如歌曲名、日期范围、数据源开关、图表样式）放入config.yaml文件，避免硬编码。
4. 扩展更多数据源：本项目框架易于扩展。你可以添加其他榜单，如 Apple Music 排行榜、YouTube Music 排行榜等，只需实现对应的Fetcher类。
5. 丰富可视化：除了排名趋势，还可以计算并可视化歌曲在榜周数、最高排名、排名稳定性等指标。使用plotly库可以创建交互式图表，支持缩放和悬停查看详情。
6. 构建简单看板：使用Flask或Streamlit快速构建一个本地Web应用，在一个页面上展示多首歌曲的榜单表现对比。
7. 合规与伦理：始终将数据抓取行为控制在合理、合法的范围内。对于商业用途或大规模抓取，优先考虑购买官方API服务或授权数据。

通过这个项目，你不仅能得到一份关于《Good 4 u》或其他任何歌曲的直观榜单分析报告，更重要的是掌握了一套从数据获取到可视化呈现的完整自动化流程。这套方法可以迁移到任何你感兴趣的、数据公开可得的分析场景中。