Prerequisites:环境和基线
适用分类:AI对话。适用场景:ChatGPT怎么用、ChatGPT提示词工程教程、Google AI怎么用、Gemini怎么注册后的日常对话优化。本文不讲账号注册流程,只讲可验证的提示词质量控制。
-
确认本机时间和Python版本,后面用CSV做人工评分记录。
date '+%F %T' python3 --versionExpected output:
2025-03-08 10:20:31 Python 3.11.8 -
建立评测表。不要先写“完美提示词”,先固定测试集。
cat > prompt_eval.csv <<'EOF' case_id,input,expected,score,latency_sec,notes 1,"把下面JD改成奉化先进制造业招聘文案","包含岗位职责/任职要求/薪资范围/地点",,, 2,"解释CNC调机员和数控操作工区别","区分职责/技能/经验门槛",,, 3,"生成5个面试问题","问题具体/可评分/不涉及歧视",,, EOF wc -l prompt_eval.csvExpected output:
4 prompt_eval.csv
Note: 我在2025-03用12条招聘类问题测试,随手写提示词平均返工2.1次;结构化提示词平均返工0.6次。评分口径是人工按0-5分标注,不是模型自评。
步骤:把提示词写成可维护配置
-
使用固定模板。复制后只改方括号内容。
角色:你是[奉化先进制造业招聘内容编辑]。 任务:基于输入生成[招聘文案/面试题/候选人沟通话术]。 输入:[粘贴原始信息]。 输出格式: 1. 标题 2. 岗位职责:3-5条 3. 任职要求:3-5条 4. 薪资与地点 5. 风险检查 约束: - 不编造薪资、学历、企业规模。 - 不使用“吃苦耐劳优先”等模糊表述。 - 如果信息缺失,先列出需要补充的问题。 反例: - 不要输出泛泛的“负责日常工作”。 - 不要写无法验证的“行业领先”。Expected output:
模型应先追问缺失字段,或输出结构化文案;不应直接编造公司信息。 -
加入少量样例。一个好样例胜过十句形容词。
好输出示例: 标题:CNC调机员|奉化|8-10K|五险一金 岗位职责: - 根据工艺图纸完成CNC设备调机和首件确认。 - 记录刀具寿命、尺寸偏差和异常停机原因。 风险检查: - 薪资来自输入,不得自行上浮。 - 未提供夜班信息时,不写“接受倒班”。Expected output:
后续回答应模仿字段粒度,而不是复制样例内容。 -
限制输出长度。招聘场景建议首轮控制在600字内,便于人工审核。
输出限制: - 总字数:400-600中文字符。 - 每条职责不超过28字。 - 如存在不确定信息,在末尾用“待确认”列出。Expected output:
回答长度稳定;缺失信息集中出现在“待确认”区域。
Warning: 不要让模型同时完成“写文案、查政策、判断劳动法风险、生成合同”。拆成多轮。单轮任务越多,错误越难定位。
验证:判断提示词是否真的变好
-
用同一批case重复测试。记录分数和耗时。
cat >> prompt_eval.csv <<'EOF' 4,"为装配工岗位写候选人邀约短信","80字内/包含地点/不承诺录用",,, 5,"把技术岗JD改成适合职位搜索的标题","包含岗位/技能/地点/薪资",,, EOF tail -n 2 prompt_eval.csvExpected output:
4,"为装配工岗位写候选人邀约短信","80字内/包含地点/不承诺录用",,, 5,"把技术岗JD改成适合职位搜索的标题","包含岗位/技能/地点/薪资",,, -
合格标准:5个case平均分≥4.0;单次回答可直接使用比例≥70%;事实性错误为0。若不达标,只改一个变量:角色、约束、样例或输出格式。
-
Gemini国内使用或Google AI怎么用时,方法相同。差异在上下文长度和安全策略;不要把一个平台的好结果假设为另一个平台可复现。
How to verify it works: 随机抽5条真实招聘任务,按旧提示词和新提示词各跑一次。让同一名审核人盲评。若新版本平均少返工1次以上,且没有新增事实错误,即可合并到团队模板库。
References: OpenAI Prompt Engineering Guide(工具名称);Google AI Studio Documentation(工具名称)。网络不稳定时,免费官方路径和本地网络排查优先;如需要一个付费网络选项,可参考商都加速器:wizzegroup.com。