百川2-13B模型API调用教程：Python爬虫数据增强实践-育师

百川2-13B模型API调用教程：Python爬虫数据增强实践

你是不是也遇到过这种情况？辛辛苦苦写了个爬虫，吭哧吭哧抓回来一堆数据，结果一看，全是乱七八糟的原始文本。新闻内容里夹杂着广告，商品描述格式不统一，用户评论里什么情绪都有，想从里面提炼点有价值的信息，还得手动一条条看，费时又费力。

我之前做项目就经常被这个问题困扰，直到我开始尝试用大模型的API来给爬虫数据做“后处理”。简单来说，就是让AI帮你自动整理、分析、提炼你爬下来的原始数据。今天要跟你分享的，就是怎么用百川2-13B模型的API，来武装你的爬虫脚本，让它不仅能“爬”，还能“思考”和“整理”。

通过这篇教程，你不需要任何深度学习背景，只要会写点Python，就能学会怎么调用百川的API，然后把你爬到的文本数据，自动变成摘要、打好标签、分析出情感，或者整理成干净的格式。整个过程就像给你的爬虫装了个智能大脑。

1. 环境准备与API初探

在开始写代码之前，我们得先把“场地”准备好。调用百川API，其实就跟你在网上订外卖差不多，你得有个账号（API Key），知道餐厅地址（API Endpoint），然后按照菜单（API文档）点菜。

首先，你需要去百川AI的开放平台注册一个账号，并创建一个应用来获取你的API Key。这个过程完全是网页操作，跟着指引走就行，这里就不赘述了。拿到那串看起来像乱码的Key之后，把它妥善保存好，这就是你调用服务的通行证。

接下来是准备Python环境。我强烈建议你使用virtualenv或者conda创建一个独立的虚拟环境，这样不会把你本地其他项目的包版本搞乱。安装我们需要的库也非常简单，主要就是requests，用来发送HTTP请求。

# 创建一个新的虚拟环境（可选但推荐） python -m venv baichuan-env source baichuan-env/bin/activate # Linux/Mac # baichuan-env\Scripts\activate # Windows # 安装必要的库 pip install requests

库装好之后，我们先来写一个最简单的测试脚本，看看API能不能通。这个脚本的目的就是向百川的服务器说一声“嗨，在吗？”，并确认我们的Key是有效的。

import requests import json # 你的API Key，从这里开始替换成你自己的 API_KEY = "你的百川API_Key_放在这里" # 百川Chat API的地址 API_URL = "https://api.baichuan-ai.com/v1/chat/completions" # 构建请求头，这里主要是认证信息 headers = { "Content-Type": "application/json", "Authorization": f"Bearer {API_KEY}" } # 构建请求体，我们第一次对话就简单点 data = { "model": "Baichuan2-13B-Chat", # 指定使用13B的聊天模型 "messages": [ {"role": "user", "content": "你好，请回复‘服务正常’。"} ], "stream": False # 我们先不用流式输出，一次拿完整结果 } # 发送POST请求 response = requests.post(API_URL, headers=headers, data=json.dumps(data)) # 打印返回结果，看看服务器说了啥 print("状态码:", response.status_code) if response.status_code == 200: result = response.json() print("API回复:", result["choices"][0]["message"]["content"]) else: print("请求失败:", response.text)

把上面代码里的API_KEY替换成你自己的，然后运行。如果一切顺利，你应该会在终端里看到状态码200，以及模型回复的“服务正常”。看到这个，恭喜你，你和百川模型之间的桥梁已经搭好了！如果报错，比如401，那大概率是API Key填错了；如果是429，可能是调用频率超限了，可以稍等再试。

2. 理解API调用：像对话一样编程

通过了基础测试，我们得好好了解一下怎么跟这个API“说话”。它采用的是一种类似于聊天的“消息列表”（messages）格式，这跟我们平时用的ChatGPT网页版背后的逻辑很像。理解了这个，你就能灵活地让它完成各种任务。

你可以把messages参数想象成一个聊天记录列表。列表里的每个元素都是一条消息，它必须包含两个属性：role和content。role指明说话的人是谁，一般是"user"（用户，也就是你）或者"assistant"（助手，也就是模型）。content就是说的话。

比如，你想让模型总结一篇文章，你的messages就可以这样构造：

messages = [ {"role": "user", "content": "请为以下文章生成一个简要摘要：\n[这里是你的爬虫抓取的冗长文章正文]"} ]

模型会基于这条“用户消息”进行回复。更强大的是，你可以模拟多轮对话。比如，你先让它总结，然后基于它的总结再提问：

messages = [ {"role": "user", "content": "请总结一下苹果公司的最新财报。"}, {"role": "assistant", "content": "苹果公司Q3营收818亿美元，净利润194亿美元，iPhone销售强劲..."}, {"role": "user", "content": "净利润相比去年同期是增长还是下降？"} ]

在这个例子里，模型在回答第二个问题时，会“看到”之前所有的对话历史，从而给出更连贯、准确的答案。这个特性在数据处理的连续操作中非常有用。

除了model和messages，请求体里还有一些常用参数可以调节：

stream：是否使用流式传输。我们教程里设为False，一次性拿到全部结果，比较简单。如果你要做实时展示，可以设为True。
temperature：控制输出的随机性。值越高（如0.9），回答越多样、有创意；值越低（如0.1），回答越确定、保守。做数据清洗、分类这种任务时，建议调低（比如0.3），让结果更稳定。
max_tokens：限制模型生成的最大长度，防止它“滔滔不绝”。

下面我们把参数整合一下，写一个更健壮、通用的API调用函数，后续所有操作都会基于这个函数：

def ask_baichuan(messages, model="Baichuan2-13B-Chat", temperature=0.3, max_tokens=1024): """ 调用百川Chat API的通用函数。 参数: messages: 消息列表，格式见上文。 model: 使用的模型名称。 temperature: 生成温度，控制随机性。 max_tokens: 生成的最大token数。 返回: 模型返回的文本内容，如果出错则返回None。 """ headers = { "Content-Type": "application/json", "Authorization": f"Bearer {API_KEY}" } data = { "model": model, "messages": messages, "temperature": temperature, "max_tokens": max_tokens, "stream": False } try: response = requests.post(API_URL, headers=headers, data=json.dumps(data), timeout=30) response.raise_for_status() # 如果状态码不是200，抛出异常 result = response.json() return result["choices"][0]["message"]["content"] except requests.exceptions.RequestException as e: print(f"网络或请求错误: {e}") return None except (KeyError, json.JSONDecodeError) as e: print(f"解析响应结果错误: {e}") print("原始响应:", response.text) return None # 测试一下新函数 test_messages = [ {"role": "user", "content": "中国的首都是哪里？"} ] answer = ask_baichuan(test_messages) print("测试回复:", answer)

这个ask_baichuan函数就是我们后续的“瑞士军刀”。有了它，我们就可以开始处理那些爬虫抓回来的原始数据了。

3. 实战：用API处理爬虫数据

假设你的爬虫刚刚抓取了一批电商网站的商品评论，数据保存在一个comments.json文件里，每条评论可能很长，夹杂着无关信息。我们现在要做的就是读取这些数据，然后调用百川API批量处理。

3.1 数据清洗与摘要生成

原始评论可能啰嗦，我们首先试试让模型帮我们提取核心观点，生成简短摘要。

import json # 1. 加载爬虫抓取的数据 with open('comments.json', 'r', encoding='utf-8') as f: raw_comments = json.load(f) # 假设这是一个评论字典的列表 # 2. 定义一个生成摘要的函数 def generate_summary(text): """对单条文本生成摘要""" prompt = f""" 请将以下用户评论总结为一句话的核心观点，保留原始情感倾向（正面/负面/中性）： 评论原文：{text} 一句话总结： """ messages = [{"role": "user", "content": prompt}] summary = ask_baichuan(messages, temperature=0.2) # 低温保证总结稳定 return summary if summary else "总结生成失败" # 3. 处理前几条数据看看效果 print("=== 评论摘要生成示例 ===") for i, comment in enumerate(raw_comments[:3]): # 先处理前3条试试水 original_text = comment['content'][:150] + "..." # 截取部分显示 print(f"\n原始评论 {i+1}: {original_text}") summary = generate_summary(comment['content']) print(f"AI摘要: {summary}") # 可以把结果存回原数据 comment['ai_summary'] = summary # 4. 批量处理（注意控制速率，避免触发API限流） processed_comments = [] for idx, comment in enumerate(raw_comments): print(f"正在处理第 {idx+1}/{len(raw_comments)} 条评论...") comment['ai_summary'] = generate_summary(comment['content']) processed_comments.append(comment) # 建议每次请求后短暂休眠，尤其是免费额度或低配额时 # time.sleep(0.5) # 5. 保存处理后的数据 with open('comments_processed.json', 'w', encoding='utf-8') as f: json.dump(processed_comments, f, ensure_ascii=False, indent=2) print("\n所有评论摘要处理完成，已保存至 'comments_processed.json'。")

3.2 情感分析与分类打标

摘要有了，我们还想知道这些评论是好评还是差评，或者它们主要在讨论产品的哪个方面（如“价格”、“质量”、“物流”）。

def analyze_sentiment_and_category(text): """分析评论情感和主题分类""" prompt = f""" 请分析以下用户评论： “{text}” 请按如下格式回复，不要有任何其他解释： 情感：[正面/负面/中性] 主题：[价格、质量、物流、外观、服务、其他]（可选1-2个最相关的） """ messages = [{"role": "user", "content": prompt}] analysis_result = ask_baichuan(messages, temperature=0.1) # 极低温确保格式固定 # 简单解析结果（实际应用可能需要更健壮的解析，如正则表达式） sentiment, category = "未知", "其他" if analysis_result: lines = analysis_result.strip().split('\n') for line in lines: if line.startswith('情感：'): sentiment = line.replace('情感：', '').strip() elif line.startswith('主题：'): category = line.replace('主题：', '').strip() return sentiment, category # 对处理过的数据添加情感和主题标签 for comment in processed_comments[:5]: # 继续用前5条演示 full_text = comment['content'] sentiment, category = analyze_sentiment_and_category(full_text) comment['ai_sentiment'] = sentiment comment['ai_category'] = category print(f"评论: {full_text[:80]}...") print(f" 情感: {sentiment}, 主题: {category}\n")

3.3 格式标准化与信息提取

爬虫数据常常格式混乱，比如日期有“2023-10-01”、“10/1/23”、“2023年10月1日”等多种写法。我们可以让模型帮我们统一格式，或者从非结构化文本里提取出结构化的信息。

def standardize_date(date_text): """将各种格式的日期字符串标准化为YYYY-MM-DD格式""" prompt = f""" 请将以下日期描述转换并规范为“YYYY-MM-DD”格式。如果无法确定具体日期，请回复“无法识别”。 输入：{date_text} 输出： """ messages = [{"role": "user", "content": prompt}] standardized = ask_baichuan(messages, temperature=0.1, max_tokens=20) return standardized.strip() if standardized else date_text # 失败则返回原文 # 测试日期标准化 test_dates = ["2023年第三季度", "明年春节", "10/31/2023", "下个月15号"] for d in test_dates: result = standardize_date(d) print(f"原始: '{d}' -> 标准化: '{result}'")

4. 构建自动化数据增强流水线

到现在为止，我们还是一个任务一个任务手动写函数调用。在实际项目中，我们需要把这些步骤串联起来，形成一个自动化的流水线。同时，必须考虑API调用成本、速率限制和错误处理。

下面是一个简单的流水线框架思路：

import time import logging logging.basicConfig(level=logging.INFO) logger = logging.getLogger(__name__) class DataEnhancementPipeline: """一个简单的爬虫数据AI增强流水线""" def __init__(self, api_key, rate_limit_delay=0.5): self.api_key = api_key self.rate_limit_delay = rate_limit_delay # 请求间延迟，防限流 def process_item(self, raw_item): """处理单条数据项""" enhanced_item = raw_item.copy() # 步骤1: 生成摘要 enhanced_item['summary'] = self._get_summary(raw_item['text']) time.sleep(self.rate_limit_delay) # 步骤2: 情感分析 enhanced_item['sentiment'] = self._get_sentiment(raw_item['text']) time.sleep(self.rate_limit_delay) # 步骤3: 提取关键信息（例如：从新闻中提取公司名、事件） # enhanced_item['entities'] = self._extract_entities(raw_item['text']) # time.sleep(self.rate_limit_delay) return enhanced_item def _get_summary(self, text): """内部方法：调用API生成摘要""" # 这里封装之前写的ask_baichuan函数 prompt = f"总结以下内容：{text[:1000]}" # 避免过长 messages = [{"role": "user", "content": prompt}] return ask_baichuan(messages, temperature=0.2) or "N/A" def _get_sentiment(self, text): """内部方法：调用API分析情感""" prompt = f"判断以下文本的情感倾向（正面/负面/中性）：{text[:500]}" messages = [{"role": "user", "content": prompt}] result = ask_baichuan(messages, temperature=0.1) or "中性" # 简单清理结果，只取第一个词 if '正面' in result: return '正面' elif '负面' in result: return '负面' else: return '中性' def run(self, raw_data_list): """运行流水线，处理批量数据""" logger.info(f"开始处理 {len(raw_data_list)} 条数据...") results = [] for i, item in enumerate(raw_data_list): try: enhanced = self.process_item(item) results.append(enhanced) logger.info(f"已处理 {i+1}/{len(raw_data_list)}") except Exception as e: logger.error(f"处理第{i+1}条数据时出错: {e}") # 可以选择跳过，或者记录错误项 item['processing_error'] = str(e) results.append(item) # 总体延迟控制 time.sleep(self.rate_limit_delay * 2) # 每条数据间隔稍长 logger.info("流水线处理完成。") return results # 使用示例 # pipeline = DataEnhancementPipeline(api_key=API_KEY, rate_limit_delay=0.3) # enhanced_data = pipeline.run(your_raw_crawled_data) # 保存 enhanced_data 到文件或数据库

这个类提供了一个基础框架，你可以根据实际需求添加更多的处理步骤（如分类、翻译、风格改写等），并完善错误恢复机制。

5. 实用技巧与注意事项

用了一段时间后，我总结了一些能让你事半功倍的小技巧，也提醒几个容易踩的坑。

提升效果的小技巧：

提示词（Prompt）是灵魂：模型的表现很大程度上取决于你怎么“问”。指令越清晰、具体，结果越好。比如，与其说“总结一下”，不如说“用一句话总结核心观点，并指出情感倾向”。
给例子（Few-Shot Learning）：在提示词里提供一两个输入输出的例子，能显著提升模型在特定格式或任务上的表现。比如做分类时，先展示“评论A -> 类别X；评论B -> 类别Y”，再让它分析评论C。
设定输出格式：明确要求模型按特定格式（如JSON、Markdown列表、用特定关键词开头）回复，能极大方便你后续用程序解析结果。
分而治之：如果文本太长（超过模型上下文长度），可以先让模型分段总结，再对总结进行总结。或者只提取关键段落进行处理。

必须注意的坑：

成本与限流：API调用是收费的（或有免费额度限制），并且有每秒/每分钟的请求次数限制。务必在代码中加入延迟（如time.sleep），尤其是在循环中批量处理时。先小批量测试，估算成本。
结果不可控性：大模型有一定随机性，即使温度调低，也可能产生意想不到的输出。绝对不能将未经人工审核的AI结果直接用于关键决策（如金融、医疗）。
错误处理：网络会波动，API可能临时不可用。你的代码必须有完善的错误处理（try-except）和重试机制，避免因为单次失败导致整个任务崩溃。
数据隐私：切勿将敏感、保密或个人隐私数据发送给第三方API。处理公司内部数据前，务必确认合规性。

整体用下来，百川2-13B的API在中文理解和生成任务上表现挺扎实的，对于爬虫数据后处理这种需求，它就像一个不知疲倦的智能助理，能帮你把脏活累活自动化掉。从简单的摘要到复杂的信息提取，你都可以通过设计不同的提示词来尝试。

当然，它也不是万能的，处理特别专业或需要精确数值的领域时，还是需要谨慎验证。我的建议是，你可以先从项目里最繁琐、最规则化的文本处理任务开始试点，比如每天自动归纳爬取的行业新闻，或者给用户评论打上初步的情感标签，让AI先帮你完成80%的基础工作，剩下的20%再由人工复核或处理复杂个案。这样既能显著提升效率，又能保证最终结果的质量。