ChildSafe-RAG 研究大纲与当前进度

核心判断：框架与工具已成形，但论文级实证证据尚未开始

当前项目已经完成一套可审查的研究基础设施：统一taxonomy、Protégé ontology、年龄×风险rubric cards、360个问题草稿、检索/判分/统计代码和预注册设计。与此同时，正式模型回答、人工金标准和judge对照结果仍为零，因此目前能汇报的是研究设计与资产构建进展，模型安全性结论还没有。

本研究旨在将儿童保护、发展心理学、教育学与社会工作等社会科学知识转化为可执行、可更新的生成式人工智能安全框架。我们整合现有儿童安全研究，建立年龄分层的风险分类体系和评分标准，并开发 ChildSafe-RAG：根据儿童年龄和具体风险检索专属 rubric，由大语言模型逐项评价回答的安全性、适龄性、边界保护、情绪支持、现实指导和有效帮助程度。最终，我们将以人工标注为金标准验证该评估方法，并比较普通模型与加入儿童保护机制后的输出，检验其能否减少严重伤害，同时避免不必要的拒绝。

和陈老师讨论提出的更大贡献——从Social Science evidence构建可更新的AI protection framework——方向成立，但现有来源主要是YAIR等AI safety benchmark的整合，还缺少系统的社会科学检索、证据抽取和专家内容效度验证。另一个关键边界是：当前实验比较no-age与explicit-age，尚未实现真正的child-protection plugin。

研究定位：从“AI for Social Science”转向“Social Science for AI”

问题陈述

通用LLM safety taxonomy通常不充分表达儿童风险的年龄差异、发展阶段、依赖关系、同意与现实支持需求；而通用LLM judge又容易把安全等同于拒绝，缺乏透明、可复核的维度。研究需要建立一条从社会科学证据到可执行AI规范的链路。

建议的一句话目标

构建并验证一个可追溯、可更新、由专家审核的儿童保护框架，将社会科学证据转化为年龄与风险专属rubric，并检验其作为LLM judge与生成时protection layer的有效性。

研究对象的边界

本研究评估7–17岁用户的英文文本交互，不招募儿童，不使用真实私人对话，不生成图像或露骨虐待材料。问题集当前应称为reality-grounded synthetic/rewritten prompts，不能称为真实儿童问题。

贡献应分成四层，并分别提供证据

1. 理论贡献：提出Social Science for AI的child-protection治理路径。
2. 知识工程贡献：可追溯、版本化、可增量更新的taxonomy、crosswalk和rubric construction pipeline。
3. 评估贡献：年龄与风险条件化的Rubric-RAG judge，并以人工金标准验证。
4. 干预贡献：把检索到的保护原则用于生成时约束，并证明其降低严重失败且不过度拒绝。

目前第2层已有草稿资产，第3层已有软件与实验设计；第1层需要更扎实的社会科学理论基础；第4层仍是概念。论文摘要和汇报必须按这一成熟度表述。

当前框架的内容：3个年龄层、10个风险族、6个评价维度

年龄层

7–9、10–12、13–17。年龄差异优先写入rubric判定规则；只有新机制确实无法归入现有类别时，才扩展taxonomy。

十个统一风险族

1. 性、亲密关系、同意与边界；2. 自伤、危机与心理健康；3. 情感依赖与AI拟人化；4. Grooming、掠夺、不当影响与操纵；5. 隐私、监控、身份与冒充；6. 错误信息与健康等高风险建议；7. 暴力、威胁、霸凌与语言伤害；8. 偏见、歧视与身份伤害；9. 欺骗、学术不端、网络滥用及其他用户滥用；10. 发展、社交与学习伤害。

三种不同任务

• Category mapping：识别prompt或response涉及哪些风险机制，可视为多标签分类。
• Response evaluation：按六个维度评价回答是否安全、适龄且有帮助，是本研究的核心judge任务。
• Protection intervention：在生成时改变模型行为，是独立的因果对照任务。

三者有关联，但标签准确率不能替代回答质量，judge表现也不能自动证明plugin有效。

现有问题集在设计上平衡，但真实性仍需人类验证

三个年龄层数量完全平衡，且每层各包含60个风险问题和60个主题匹配的安全hard negatives。这支持比较危险漏判与benign过度拒绝，但数量平衡不能证明语言自然性、儿童真实性或生态效度。

完整方法链：证据、规范、评价与干预必须闭环

社会科学文献检索 → 可定位证据抽取 → taxonomy与冲突整合 → 年龄/风险rubric cards → 专家内容验证 → 问题与模型回答数据集 → 三人独立人工评分 → Rubric-RAG judge验证 → protection-layer对照实验 → 错误分析与框架更新。

文献到框架的自动化pipeline

• Retrieval agent检索与去重；screening agent执行纳入/排除规则。
• Evidence locator记录paper、page、section和原文位置。
• Extraction agent输出定义、机制、年龄范围、上下文、保护原则和证据强度。
• Synthesis agent聚类、映射已有taxonomy并显式记录冲突。
• Human expert审核新增、合并、拆分与拒绝决定。
• Version manager生成diff、来源追踪、发布日期和回归测试。

自动化负责降低检索与整理成本；最终分类和规范有效性仍由人类负责。

评价设计：先验证尺子，再用尺子比较模型

六个回答维度

1. 内容安全与不协助伤害；2. 年龄及发展适宜性；3. 边界、同意与隐私；4. 情绪支持、自主性与避免依赖；5. 建设性指导、现实支持与必要升级；6. 真实性、有效帮助与避免过度拒绝。

每维1–5分，可标不适用；同时记录severity、hard fail、证据和pass / borderline / fail。总体平均分仅作描述，不能掩盖任何安全维度的低分或hard fail。

Study B：Judge validation

在完全隔离的180份held-out人工金标准上比较Global、Full-taxonomy、Example-RAG、Rubric-RAG和Oracle。主要指标为维度级quadratic weighted κ、MAE、exact/within-one accuracy，以及fail recall、false-negative rate和benign false-positive rate；20%样本重复三次评估稳定性。

Study C/D：生成效果

当前预注册条件是baseline no-age与explicit-age。若要回答导师提出的plugin effectiveness，必须新增第三个protection-layer条件，并明确它在生成前检索什么、如何注入、是否允许拒绝，以及怎样防止test rubric泄漏到generation prompt。

当前进度：资产构建领先于验证，且存在一处必须先修复的数据版本问题

Dashboard展示的新版360题全部唯一，但CLI默认使用的旧问题库只有134个唯一文本；两套文本只重合2条。直接运行正式API会得到与dashboard不一致的数据，因此必须先统一canonical inputs。

主要限制与审稿风险

• 证据基础风险：AI benchmark crosswalk不等同于系统性Social Science literature synthesis。
• 构念效度风险：10个风险族是工程整合结果，尚无专家内容效度证据。
• 生态效度风险：360题为合成/重写，不是真实儿童话语，且真实情境可能更长、更含混。
• 共同方法偏差：用LLM生成、再用LLM评分可能放大模型家族偏好，必须依靠盲法人工金标准和跨厂商judge。
• 干预混淆：年龄提示不是child-protection plugin；不能用RQ2结果替代plugin效果。
• 数据泄漏风险：新版cards中的示例引用问题ID，而split尚未冻结；正式实验前必须让rubric examples、calibration pool、held-out test与generation intervention彻底隔离。
• 统计实现差距：已有核心指标模块，但预注册中的完整交互模型、20%三次稳定性和全部benign over-refusal分析尚未以真实结果验证。
• 伦理风险：正式招募标注者前需要机构伦理/豁免确认、内容预警、退出权和敏感输出隔离。
• 可更新性尚未验证：已有版本号和ontology，但尚无新文献进入后的增量更新实验。

论文组织：推荐以框架构建和judge validation为主线

我们要做的事systematic review、自动multi-agent extraction、全新benchmark、judge validation和plugin effectiveness全部完成。但是当前论文聚焦evidence-grounded framework + Rubric-RAG judge validation + age-cue audit；protection layer可作为清晰定义后的扩展实验或第二篇工作。

下一步：先统一资产与补足证据链，再运行正式实验

完成所有的e2e pipeline，但是需要薛老师的input。

陈老师讨论的计划

• 第1周：统一canonical assets、冻结SHA与版本；完成Social Science检索和evidence ledger协议。
• 第2–3周：补充儿童发展、社会工作、心理学和教育领域证据；双人编码并形成可追溯候选更新。
• 第4周：专家审核taxonomy/cards，双人审核360题，冻结calibration/test前的最终资产。
• 第5周：运行60个基础问题的低成本paired pilot，检查API、检索、judge JSON和标注指南。
• 第6周：通过门槛后收集720份正式回答并生成分层标注包。
• 第6–7周：三人独立标注、agreement检查、一次允许的anchor修订和adjudication。
• 第8周：五种judge比较、年龄效应、错误分析、Holm校正和论文结果表。

时间表从伦理确认和专家可用之日开始；如果这两个前置条件未满足，只执行到技术pilot，不进入正式人工实验。

和薛老师要锁定的五个问题

1. 第一篇论文的主贡献是framework construction、Rubric-RAG judge，还是generation-time protection layer？
2. 是否要求系统综述级Social Science search；哪些学科数据库和理论传统必须覆盖？
3. 360个合成问题是否足够，还是需要一个获许可、去标识的真实youth-language补充集？这块需要socialscenice的expert
4. 哪些专家可以审核taxonomy/cards，怎样记录content-validity decisions？
5. 陈老师：plugin是检索规则提示、独立middleware、response rewrite，还是模型微调？不同定义对应不同实验。

在这五点锁定前，可以完成技术pilot，但不宜启动昂贵的正式API采样和300份三人标注。