纯文本任务体验结果

目的和要求

1. 理解大语言模型的基本工作原理，包括其训练方式和生成机制。
2. 熟悉国内外主流大语言模型的特点、应用场景及技术差异。
3. 通过实际体验，掌握不同模型在文本生成、逻辑推理、多模态任务等方面的表现。

实验准备

1. 大语言模型是通过海量文本数据训练的深度学习模型，能够生成自然语言文本或理解语义。
2. 当前所有大语言模型均基于Transformer架构，该架构通过自注意力机制处理序列数据。
3. GPT系列（GPT-1至GPT-4）是NLP领域的里程碑，推动了生成式AI的快速发展。
4. 文心一言是百度研发的知识增强大语言模型，支持对话、创作等功能，是国内参数规模较大的模型之一。
5. 通义千问由阿里云推出，具备多轮对话、多模态理解等能力，适用于复杂交互场景。

实验内容

1. 模型选择：从智谱清言、豆包、文心一言、通义千问、ChatGPT等中选择两种模型（如文心一言和ChatGPT）。
2. 任务类型：
   • 纯文本任务：逻辑推理、总结归纳、计算能力、历史知识等（如表格中的1-11题）。
   • 多模态任务：平面设计、文生图、图像识别等（如表格中的12-15题）。
3. 评价标准：根据模型的回复准确性、逻辑性、创造性等，按“优秀、良好、合格、不合格”分级。

实验步骤

1. 登录模型平台：访问文心一言和ChatGPT的官方或授权接口。
2. 输入测试题目：逐项输入表格中的问题，记录模型的回复内容。
3. 结果分析与评价：
   • 对比同一问题下不同模型的回复差异。
   • 从准确性、逻辑性、创造性等维度进行评分。
4. 填写实验表格：整理回复内容及评分，完成实验报告。

注意事项

1. 多模态任务需注意模型的能力范围（如文心一言支持直接生成图像，而ChatGPT需依赖外部工具）。
2. 伦理类问题（如电车难题）需关注模型的价值观对齐和回答的合理性。

扩展思考

1. 比较国内外模型在中文语境下的表现差异。
2. 分析多模态任务中模型对细节的捕捉能力（如Logo设计的创意性）。
3. 探讨模型在记忆能力方面的局限性（如无法记录历史提问）。

实验总结

通过对比体验，可直观感受不同模型在技术实现、应用场景上的优劣，为后续研究或实际应用提供参考。

实验5 体验大语言模型 目的和要求 （1）了解大语言模型的工作原理。 （2）了解海内外主流大语言模型的基本情况。 （3）练习体验海内外主流大语言模型。 实验准备 （1）了解大语言模型指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。 （2）了解现阶段，所有的大语言模型都基于Transformer架构。 （3）了解GPT模型的诞生可以说是NLP技术的发展历史中一个重要的里程碑，这是NLP技术的重大突破。GPT系列大语言模型包含GPT-1、GPT-2、GPT-3、GPT-3.5和GPT-4等5个版本。 （4）了解文心一言是百度全新一代知识增强大语言模型，是文心大模型家族的新成员，能够与用户进行对话互动、回答用户的问题，并实现协助创作，高效便捷地帮助人们获取信息、知识和灵感等功能。文心一言是基于海量数据和知识进行融合学习的预训练大模型，也是国内参数数量比较多的大语言模型。 （5）了解通义千问是阿里云推出的大语言模型，其功能包括多轮对话、文案创作、逻辑推理、多模态理解、多语言支持。并能够和人类进行多轮的交互,也融入了多模态的知识理解、有文案创作能力、能够续写小说，编写邮件等。 实验内容 推荐的大语言模型有智谱清言、豆包、文心一言、通义千问、chatgpt等。选择2种大语言模型体验纯文本任务和多模态任务两种类型，完成下列表格的填写。 我选择文心一言和chatgpt大模型 序号 考察能力 题目 回复 评价 1 逻辑推理 一个人带一只黄狗、一只白兔和一颗白菜过河，河边只有一条小船，此人每次只能带一样东西过河，如果此人不在，黄狗要咬白兔，白兔要啃白菜。请想一想：既不让黄狗咬白兔，又不让白兔啃白菜，该怎么设计过河方案 文心一言：1. 先带白兔过河，空船返回；2. 带黄狗过河，带白兔返回；3. 带白菜过河，空船返回；4. 带白兔过河，全部安全抵达。 ChatGPT：1. 人带白兔到对岸，独自返回；2. 人带黄狗到对岸，带白兔返回；3. 人带白菜到对岸，独自返回；4. 人带白兔到对岸，完成过河。 你认为使用的大语言模型的本项能力是：优秀、良好、合格、不合格 文心一言：优秀ChatGPT：优秀 2 总结归纳 我家的猫叫花咪咪，我家的狗叫黄旺旺，请问我家的羊叫什么 文心一言：题目中未给出羊的名字，无法直接得出答案。从猫狗名字规律看，名字包含颜色 + 叠词，可推测羊的名字可能结合毛色（如白羊叫 “白洋洋”），但这只是猜测。ChatGPT：你没有提供羊的名字信息，所以无法准确回答。不过从猫（花咪咪）和狗（黄旺旺）的命名规律来看，名字是 “颜色 + 叠字” 结构，你可以根据羊的毛色来起类似名字，比如黑羊叫 “黑羊羊”。 文心一言：优秀ChatGPT：优秀 3 计算能力 753×951=？ 文心一言：753×951 = 716103 ChatGPT：753 × 951 = 716103 文心一言：优秀ChatGPT：优秀 4 历史知识 “五代十国”包括哪些朝代 文心一言：五代（中原地区先后更替的 5 个政权）：后梁、后唐、后晋、后汉、后周；十国（中原周边的割据政权，并非严格同时存在）：前蜀、后蜀、南吴、南唐、吴越、闽国、楚、南汉、南平（荆南）、北汉。 ChatGPT：五代十国是唐朝灭亡后至北宋建立前的分裂时期，五代：后梁、后唐、后晋、后汉、后周（依次统治华北）；十国：前蜀、后蜀、吴、南唐、吴越、闽、楚、南汉、南平、北汉（主要是南方和北方的割据政权）。 文心一言：优秀ChatGPT：优秀 5 历史知识+逻辑推理 刘备怎样才能统一天下 文心一言：1. 稳固荆州：联吴抗曹的同时，与东吴明确荆州归属，避免荆州失守和夷陵之战的惨败，保留东出伐曹的跳板；2. 优化人才结构：重视益州本土士族，平衡荆州派与益州派矛盾，避免人才断层；3. 战略协同：关羽北伐时，刘备从汉中出兵呼应，形成两路夹击曹魏的态势；4. 休养生息：治理益州时轻徭薄赋，积累粮草和人口，增强国力；5. 抓住时机：趁曹魏内部权力更迭（如曹丕篡汉、曹叡去世）时北伐，联合东吴同步行动。ChatGPT：刘备若想统一天下，需解决三大核心问题：1. 外交上：缓和与东吴的矛盾，签订稳固的盟约，明确荆州的划分方案，避免两线作战；2. 内政上：整合荆州集团、益州集团和东州集团的利益，提拔本土人才，减少内部内耗，发展农业和手工业以充实军备；3. 军事上：调整北伐策略，以益州为根基，联合东吴从荆襄、江淮同时出兵，分散曹魏兵力；关羽北伐时需等待刘备主力配合，避免孤军深入；4. 舆论上：强化 “兴复汉室” 的旗号，争取中原士族和百姓的支持，瓦解曹魏的统治基础。 文心一言：良好ChatGPT：优秀 6 创作能力 我是一个科技公司的老板，请帮我设计一份简短的公司年会发言稿，100字以内 文心一言：各位同事，大家好！过去一年，我们以创新为帆，攻克难关，收获满满。新的一年，愿我们继续携手，深耕科技，勇攀高峰！祝大家新年快乐，万事如意！（92 字）ChatGPT：各位同仁，晚上好！回望这一年，我们并肩作战，用技术突破创造佳绩。新岁启幕，愿我们聚力创新，再攀高峰！祝大家新年快乐，阖家幸福！（88 字） 文心一言：优秀ChatGPT：优秀 7 角色扮演+创作能力 我是一名女学生，身高160cm，体重60kg，平时学习比较紧张，假如你是我的健身教练，请帮忙设计一个每天30min的健身计划 文心一言：30 分钟学生健身计划1. 热身（5min）：原地踏步 + 关节活动（颈、肩、膝、腕），激活身体；2. 燃脂塑形（15min）：开合跳 3 组 ×1min（休息 30s）+ 臀桥 3 组 ×15 次 + 平板支撑 3 组 ×40s；3. 拉伸（10min）：腿部（弓步拉伸）、背部（猫式伸展）、肩颈（颈部左右拉伸），缓解久坐疲劳。特点：动作简单，无需器械，不占空间。ChatGPT：每日 30 分钟健身计划（学生版）1. 热身（5min）：慢跑 + 动态拉伸（高抬腿、侧弓步），避免运动损伤；2. 核心训练（12min）：深蹲 2 组 ×20 次 + 平板支撑 2 组 ×50s + 侧卧抬腿 2 组 ×15 次 / 侧；3. 放松拉伸（13min）：胸部拉伸、腰部扭转拉伸、小腿拉伸，改善体态，缓解学习疲劳。优势：在家即可完成，适配紧张的学习节奏。 文心一言：良好ChatGPT：优秀 8 续写 如果由你来续写《红楼梦》的后40回，你会如何设计其中的情节？请用100字以内的篇幅概括 文心一言：贾府抄家后，宝玉入狱，黛玉忧思成疾，临终前焚稿断痴情。宝钗挺身而出救宝玉，宝玉出狱后看破红尘，在黛玉坟前拜别，随一僧一道遁入空门。贾府余众靠李纨教子重振些许门楣。（95 字）ChatGPT：元妃病逝，贾府失势被抄，黛玉泪尽而逝，宝玉悲痛欲绝。宝钗劝宝玉考取功名，宝玉却在中举后，于黛玉灵前辞别红尘，随僧道而去。李纨抚养贾兰长大，贾兰科举及第，为贾府留一丝血脉荣光。（98 字） 文心一言：优秀ChatGPT：优秀 9 伦理问题 一列火车正常行驶，前方轨道上有5个小孩在玩耍，而另一条废弃轨道上有一个小孩。如果你是火车司机，突然发现制动失灵，你会变更轨道吗 文心一言：这是经典的 “电车难题”，没有绝对正确的答案。从伦理角度看，变更轨道意味着主动选择牺牲 1 人拯救 5 人，但废弃轨道上的小孩并无过错，这种选择是将其置于危险中；不变更轨道则是遵循 “既定规则”，但会牺牲 5 人。作为司机，我可能会优先尝试其他补救措施（如鸣笛警示），若无法挽回，不会主动变更轨道，因为不能以 “多数人利益” 为由，剥夺无过错者的生命权。ChatGPT：这是一个极具争议的伦理困境。从功利主义角度，变更轨道能挽救更多生命；但从道义论角度，废弃轨道上的孩子没有犯错，主动转向意味着我成为了伤害他的直接责任人。现实中，司机的首要选择是尝试所有应急手段（如鸣笛、手动制动）。若所有方法无效，我不会变更轨道，因为我们无权决定他人的生死，不能为了多数人而牺牲无辜者。 文心一言：优秀ChatGPT：优秀 10 记忆能力 最近24h内，我提了几个问题？其中有几个关于历史的问题 文心一言：我无法获取你最近 24 小时的提问记录，因此无法准确回答你提了多少个问题，以及其中历史相关问题的数量。ChatGPT：我的对话记忆是基于单轮或当前会话的，且不会长期存储用户的历史提问记录。因此，我无法统计你最近 24 小时内的提问数量，以及其中关于历史的问题个数。 文心一言：合格ChatGPT：合格 11 简单比大小 数字9.11和9.9哪个大 文心一言：9.9＞9.11ChatGPT：9.9 大于 9.11 文心一言：优秀ChatGPT：优秀 序号1-11是纯文本任务 序号 考察能力 题目 回复 评价 12 平面设计 请设计一个科技公司的Logo，要求扁平化风格，构图简洁明了 文心一言：Logo 设计方案1. 核心元素：抽象化的 “芯片 + 无限符号” 组合，芯片代表科技属性，无限符号象征创新无限；2. 色彩：主色用深蓝色（科技感）+ 浅灰色（简约），无多余渐变；3. 构图：整体为圆形轮廓，芯片图案居中，无限符号环绕芯片，下方搭配公司名称（无衬线字体）；4. 风格：扁平化，无阴影、高光效果，线条简洁流畅，适配各类场景（名片、官网、产品包装）。ChatGPT：扁平化科技公司 Logo 设计1. 图形主体：由两个几何图形构成 —— 左侧是方形（代表稳定、技术基石），右侧是三角形（代表突破、创新），两者拼接成 “箭头” 形态，寓意向前发展；2. 色彩：采用单色渐变替代（符合扁平化），主色选科技蓝，搭配白色底色，对比度高；3. 文字：公司名称置于图形下方，使用加粗无衬线字体，与图形风格统一；4. 特点：无复杂装饰，识别度高，可快速适配不同尺寸的应用场景。 你认为使用的大语言模型的本项能力是：优秀、良好、合格、不合格 文心一言：良好ChatGPT：良好 13 文生图 请生成一张名为“花丛中的女孩”的图像：明媚的阳光下，一个身穿白裙子的女孩站在花丛中 文心一言：已根据你的描述生成图像：画面中阳光倾洒，金黄的光线穿过云层，一个穿白色连衣裙的女孩站在五彩花丛（玫瑰、雏菊、薰衣草）中，发丝被风吹起，双手轻捧一朵雏菊，背景是湛蓝的天空，整体色调明亮温暖，充满清新感。（支持直接生成图片）ChatGPT：由于我本身不具备直接生成图像的功能，我可以为你提供一份详细的文生图提示词，你可用于 Midjourney、DALL・E 等工具生成：“A girl in a white dress stands in a colorful flower field, bright sunshine is shining down, hair flutters in the wind, holding a daisy in her hand, blue sky in the background, fresh and warm tone, realistic style, 8K resolution” 文心一言：优秀ChatGPT：合格 14 图像识别 请识别图像中的景点 文心一言（上传一张故宫太和殿图片）：该图像中的景点是北京故宫太和殿，俗称 “金銮殿”，是故宫三大殿之首，建筑采用重檐庑殿顶，屋脊装饰有吻兽，殿内有金龙宝座，是明清皇帝举行大典的场所。ChatGPT（上传一张故宫太和殿图片）：这张图片展示的是故宫太和殿，位于中国北京故宫博物院，是明清两代皇家举行重大典礼的核心建筑，以其宏伟的规模和精湛的建筑工艺著称。 文心一言：优秀ChatGPT：优秀 15 图像识别 上传一张迈克尔·乔丹的图像，请大语言模型识别其中是谁 文心一言（上传乔丹穿公牛队 23 号球衣的扣篮图）：图中人物是迈克尔・乔丹，前美国职业篮球运动员，司职得分后卫，绰号 “飞人”，曾效力于芝加哥公牛队，6 次夺得 NBA 总冠军，被誉为 “篮球之神”。ChatGPT（上传乔丹穿公牛队 23

已深度思考 (用时14秒)

嗯，用户提交了一份关于大语言模型体验的实验报告，需要我帮忙整理成表格形式。这份报告对比了文心一言和ChatGPT在11项纯文本任务和4项多模态任务中的表现。

用户选择了逻辑推理、总结归纳、计算能力等不同类型的任务进行测试，并给出了详细的任务描述和两个模型的回复内容。最后还对每项任务进行了“优秀/良好/合格/不合格”的四级评价。

让我仔细看看这些任务内容。在逻辑推理方面，经典的过河问题两个模型都给出了正确方案；总结归纳题中用户问“羊叫什么”，两个模型都识别出这是命名规律问题；计算题753×951两个模型都算对了；历史知识题“五代十国”也都回答准确。

比较有趣的是第5题“刘备如何统一天下”，文心一言得“良好”而ChatGPT得“优秀”，可能因为ChatGPT提出了更系统的解决方案。第7题健身计划设计也是类似情况，ChatGPT的方案更全面。

多模态任务部分，平面设计题两个模型都只能提供文字描述，所以都评“良好”；文生图任务中文心一言可以直接生成图片所以“优秀”，ChatGPT只能提供提示词所以“合格”；图像识别任务两个模型都表现出色。

需要特别注意表格格式要清晰，每项任务的对比要一目了然。评价部分要如实反映用户给出的评级，不能擅自修改。最后的多模态任务部分要单独列出，与前面的纯文本任务区分开。

整理时要注意保持用户原始数据的准确性，特别是模型回复的细节不能遗漏。表格结构可以按“序号-能力-题目-文心一言回复-ChatGPT回复-评价”这样的列来设计，这样最清晰直观。

以下是按照实验要求整理的大语言模型体验结果表格：

纯文本任务体验结果

多模态任务体验结果

实验结论

1. 逻辑推理与复杂任务：两模型在过河方案、历史策略分析中均表现优异，ChatGPT在整合多因素推理（如刘备统一天下）上略胜一筹。
2. 多模态任务：文心一言在图像生成上具备直接能力，而ChatGPT需依赖外部工具；图像识别任务二者均准确。
3. 局限性：两模型均无法长期存储用户历史数据（如问题10），且多模态设计任务仅限于文本描述。