期末大作文¶
2025年之前的老作业¶
题目¶
一所民办初中，近年来升学率从90%持续下降到了70%。学校的管理层连续遭到了投资人和学生家长的责难，承受了很大压力。但他们对如何提升升学率并没有太多办法，主要是因为很难梳理出升学率降低的根源。经过再三讨论，管理层决定聘请一家大牌的数据分析公司，通过大数据分析和人工智能技术，帮助提升学生的学习效果和升学率。
公司进入学校后，收集了学校信息管理系统的各种数据，其中包括：学生出入图书馆、宿舍和自习室的数据，学生在学校超市的消费数据，学生使用教学系统时的行为数据，学生的各类作业和考试的成绩等。这些数据充分地刻画了学生在学校里的学习和作息状态。利用这些数据，结合学生在升学考试中的成绩，公司使用深度学习技术构建了预测模型，能够通过初中前两年的数据比较准确地推测出一个学生的升学概率。有了这个模型，学校可以在初二末期就提前介入那些“问题学生”的学习和生活，采用更激进的方式帮助他们在升学考试中过关。此外，公司还构造了一套AI推荐系统，可以根据学生的数据为其提供个性化教学建议。这些建议包括：加强课后练习、拓展阅读、提早起床、增加体育锻炼等等。
在数据分析公司的帮助下，学校发起了“初三冲刺计划”，利用预测模型甄别出“问题学生”，将他们单独放到一个班里，采用AI推荐系统提供的教学建议，对这些学生实施特殊教学。实践证明，这一项计划是有效的。两年后，该民办初中的升学率从70%回升到85%。
两年后，在一次新闻采访中，校方向社会公开了自己的“秘诀”，将利用数据分析辅助教学的过程做了全面的介绍。事情公开后，学校管理层再次遭到了学生家长的质疑。一些往届生的家长认为学校不应该将自己小孩的数据交给数据分析公司。而对正在就读学生的家长，自己的小孩会被“机器人”分类和辅导这件事让他们忧心忡忡。他们纷纷要求学校给出分类和辅导的依据。但由于深度学习模型几乎没有可解释性，校方无法提供依据。学校再次陷入漩涡之中。
请分析这个事件涉及的数据伦理问题，并提出建议：为了避免后面的问题，这所学校一开始应该如何做？（1000字以内）
作者1-2023¶
从整体上来说，即使在采用数据分析和人工智能技术后学校的升学率有明显的提升，但是经过仔细的分析，我们能发现其中存在着的诸多数据伦理问题:
1.使用权利。学生的考试成绩、出入和消费记录、使用教学系统的行为等教学数据的生产者是学生，他们也是这海量数据的所有者，理应拥有知情同意等权利；作为数据收集者的学校和公司，应当履行事务透明等义务。然而学校与公司在使用这些数据之前绕过了学生，并没有同他们签署相关的同意书，明确告知学生们数据使用的目的、方法且不做他用，更没有征得他们的同意就付诸实践了，这显然是不合法的;
2.隐私与安全。学校给公司提供的数据涉及学生们生活的方方面面，这又与学生的隐私权和数据的安全风险密切相关。学校和公司没有在使用这套策略时将其公之于众，更不必说明确阐述与之对应的完善隐私政策、采用数据加密和匿名化方式规避隐私风险了。这里存在着巨大的漏洞，为不法分子侵犯学生隐私提供了可乘之机;
3.功利与教育之间的矛盾。即使这是一个民办学校，学校教育的目的是立德树人，推动学生素质的全面发展。然而就这整个事情而言，学校的投资者与公司显然忘记了这一使命，依托机械化的工具不择手段地提升学生的成绩，体现了利益至上框架下人文关怀的缺失;
4.算法公平。凭借预测模型学校找出了“问题学生”，并将他们放到一个班里区别化管理，这在不同类型的班级内部看起来是公平的，但是在总体上是不公平的，这种不公平性让学生的心理受到了伤害。人为的过度干预，使得学生对这套系统有了更深的抵触心理，长期来看势必会增大结果的偏差和不确定性。
至于我对学校所涉及到的数据伦理问题的建议，接下来我会展开来详细论述，现在先描述一下整体的框架。在尊重学生与家长的权利基础之上，学校应当摈弃功利化的“唯分数论”、回归教育的本心，维护学生的隐私权、确保数据的安全性，并且不断调整、确保公平。与此同时，在各方有所了解的背景下，“家校共建”、各方参与，共同见证孩子们出色茁壮的成长，打消对技术的顾虑。
为了避免后面的问题，学校最初便应该:
1.维护学生及其家长的各项权利。因为这个场景中的学生是初中生，主要是未成年人，在相关权利和义务的沟通时应该与他们的监护人一道进行。在数据使用之前，学校应与学生及其家长在不胁迫的原则下签署相关的知情同意书，明确各方的权利与义务，征得他们的授权;
2.不过度依赖技术，回归教育的初心。学生的学习方案并不完全根据算法的运行结果，学校、家长、老师也根据学生实际的情况分析并优化方案。与此同时，学校应当杜绝功利的教学追求，注重学生的综合素质培养，将各个维度的成长纳入整体的目标;
3.补全安全漏洞，不断调整算法。利用信息加密、数据脱敏等技术补全安全漏洞，最大程度地降低数据泄露的风险和后果。人工智能算法之运行偏差是持续存在的，学校应当成立专业化的团队，恪守教育原则的基础上对相关的模型持续性地进行调整，保证信息精确性的同时维护公平，规范相关的伦理问题;
4.普及技术的细节，引领共同参与。学校可以适当地透露这套系统的细节给学生及其家长，在了解的背景下，通过各方的共同参与，一起见证算法强大的使用效果，不仅消除了对“机器”的疑虑，而且还会在良好的氛围中取得更大的进步。
作者2-2023¶
首先，一项决策必须是要由所有涉及到的利益相关者共同作出的。从最后一段我们可以看到，校方直到两年之后才向社会公开了自己和数据分析公司合作的秘密，说明校方先前决定使用大数据分析和人工智能技术的时候是没有征求家长意见的。但是，家长作为学生的监护人，他们是有权利决定是否要交出自己的孩子的隐私的。校方在决定和数据分析公司合作时应该要求家长的参与，征求家长的意见。像这样单方面的决策会影响到该民办初中的声誉，因为他们并没有尊重学生和父母的隐私。学校在一开始就应该和学生和家长建立有效的沟通渠道，以确保家长和学生的意见能够及时被听到。同时，学校也需要保证决策过程的透明度以及确立相应的问责制度，这样才能方便家长进行监督和评估。
其次，学生的隐私必须得到严格的保护。学校必须对收集到的信息担负起保护的责任，并且要符合法律的要求。并不是说学生和家长都同意参与了，校方就没有义务去保护这些信息了。一旦数据泄露了，校方是要承担相应的法律责任的，因为信息泄露和将数据分享给数据分析公司完全是两码事。原始数据可以采用差分隐私技术，加入噪声，这样即使被泄露，外界也无法知晓某个数据主体的信息是否真实。该方法对最终的统计结果的影响也是有限的，不会使结果产生太大的误差。
接着，不仅仅是学校要承担保护学生隐私的责任，第三方数据分析公司也必须尽到这份责任。一个可行的方法就是：校方和数据分析公司签署一份关于学生隐私数据使用的协议。我觉得这个协议必须要做到以下几点：第一点，限制数据分析公司使用数据的范围。数据分析公司只能将收集的数据用于找出问题学生，提供个性化学习建议和提高升学率，而不能用于其他方面。如果这些数据分析公司还和广告公司有什么合作，而且该数据分析公司并没有多少责任感的话，那就会导致学生隐私的泄露。第二点，数据分析公司也要承担起保护数据的责任。如果该公司泄露了隐私数据，那么该公司也要承担相应的法律责任。如果校方强硬一点的话，甚至可以要求数据分析公司使用完收集的数据之后就立刻删除掉。另外，如果一开始同意的学生和家长在参与的过程中决定不再参与，学校和数据分析公司必须要提供相应的服务，使得那些学生的信息能够彻底被删除。
最后就是公平性的问题了。文本中的预测模型所考虑的因素其实也是相当全面了，它并不仅仅只包括某次考试的成绩，而是囊括了前两年的所有成绩。同时，它还结合了学校信息管理系统里面的各种数据，比如说”学生出入图书馆、宿舍和自习室的数据，学生在学校超市的消费数据，学生使用教学系统时的行为数据，学生的各类作业和考试的成绩。“但是，我们可以设想这么一种情况，有一位学生初一摆烂了一整年，初二开始浪子回头，努力查漏补缺，一切都开始向好发展。结果，预测模型因为这位学生初一的表现而把其划分为了问题学生。这是一件非常非常打击心态的事情。代入一下，假如我认真学习，自我认知为”好学生“，结果有一天我被划为了问题学生，这对我来说真的会是个打击。那些针对问题学生而采取的措施甚至有可能会起到反作用。在这种情况下，学生的家长应该也会非常难受。模型的准确率终究是有限的，是不可能能够到达 100%的准确率的。也就是说，势必会有一些并不是问题学生的人被划分为了问题学生。查准率和查全率是很难同时都能兼顾的。我觉得校方应该要求数据分析公司的预测模型更侧重于查准率一点。因为明明不是问题学生而被判为问题学生显然是一个很大的心理打击，也非常容易招致家长的投诉。如果更侧重于查准率的话，那么也必然会有一些问题学生逃过模型的预测，但这一般来说并不会招来投诉。因为那些逃过一劫的问题学生更有可能感觉到的是庆幸，也不会向学校或是父母抱怨。而且说不定这些问题学生因为这次的侥幸反而开始认真学习了。
还有一个小问题，真的是数据分析公司的介入使得这家民办初中的升学率上升了吗？要知道相关性并不代表因果性，其实还存在着其他的隐藏的可能。有没有这么一种可能，不需要模型，把那些在初二的最后一场考试中表现糟糕的学生挑出来加以额外的指导，也能达成同样的效果？说到底，“加强课后练习、拓展阅读、提早起床、增加体育锻炼”这些建议真的可以被称得上”个性化“吗？我是觉得这些建议是再老生常谈不过的了。我们都知道这些建议是好的，是正确的，但自身能不能做到就完全是另外一件事情了。我觉得学校真的不妨采取上述的方式，看看升学率是否也能得到相同程度的改善。当然，可能单看一场考试太过绝对了，可以综合几场考试一起看。
总之，校方无疑是侵犯了学生的隐私以及学生的权利，因为它将隐私直接分享给了一家商业公司，而没有事先征询过学生的意见。但是在一定程度上，学校的这种行为也可以加以理解。因为学校采取这种种行动的最终目的是为了提高学校的升学率。升学率高对于学校来说是一件好事，别人会认为这是一座好学校，从而招收到更多的学生。但是这对于学生来说也是好事啊，学历高了未来的人生就可能会有更好的发展。希望这所学校在以后做出决策之前可以考虑的再周全一点，多顾及一些可能会涉及到的数据伦理问题。
作者3-2023¶
通过材料，我们可以看出虽然人工智能技术对成绩有提升，但同时也存在伦理风险，主要体现在：
- 使用权利。事件中提到学校直接同意公司来采集了海量学生的教育数据如个人身份信息、行为轨迹、学习偏好、出入图书馆次数等等。但是学生是数据的产生者，拥有权利，但学校公司在使用之前，学生并未签订同意书，是违法的。
- 信息隐私安全。所采集的海量教育数据，若未得以有效保护或被非法使用，则会引发信息安全问题，例如个人隐私资料被恶意泄露及不正当使用、非法电子监控、网络诈骗、数据侵权等，学生的隐私权利在人工智能透视镜下将变得十分脆弱。
- 缺乏技术规约人文化教育。对公司来说，由于商业利益至上的理念根深蒂固，可能会依托人工智能技术工具过度追逐私利，为了提高学生成绩不择手段，欠缺对教育成长的价值关怀；而且将“问题学生”放在一个班里，会对学生造成自尊心的损害、心理问题等。若缺乏有效的技术标准与“强制性”法律手段加以规约，则可能导致人工智能逐渐偏离教育价值与人文立场，适得其反。
- 过度资源依赖。学生可能会对预判的升学结果形成依赖，如果预测结果高，可能学习会懈怠；如果预测结果低，所带来的个性化教育可能会影响学生的学习积极性。这种看似公平的算法，也可能隐含歧视、技术偏向，要是预测结果有偏差会严重影响学生的自身发展规律。而且，教师也可能为节省成本，过度依赖人工智能推送的方案，丧失对教育的独特理解及思考。学校只依靠算法来分班，所以面对质疑并不能说出依据。
为了避免后面产生的问题，应该做如下措施：
- 保证学生和家长知情并参与权。在使用信息前就应该与家长学生沟通，让他们签订知情同意书。学校还应引导家长和学生合理反馈人工智能的伦理、舒适感问题，并构建畅通的信息反馈渠道，以便持续改善人工智能的教育应用成效，让家长不反感人工智能参与教学。
- 不过度依赖人工智能。对学生所制作的方案不仅由算法决定，学校、家长也应该参与方案制定，根据学生的自身情况来分析方案可行性并修改方案，决定出最终的方案。这样在面对家长质疑时，学校也有理由来说明结果。除此之外因为有了老师的参与也避免了方案偏离教育价值与人文立场的问题，更能保证学生心理健康问题。
- 完善教育人工智能算法审查及安全。人工智能算法的运行偏差有可能持续存在，对人工智能算法模型的前提假设进行教育本质层面的剖析，最大限度保障学生数据及信息的精确性以及伦理规范。而且学校应在某项人工智能技术推广应用之前，评估该技术的数据安全情况，考虑数据是否应该经过脱敏处理，避免非法分享和使用数据。
作者4-2024¶
请分析这个事件涉及的数据伦理问题：¶
-
隐私权和知情同意：学校未经学生和家长的知情同意和明确授权，将学生的个人数据交给数据分析公司进行收集和分析，可能侵犯他们的隐私权和数据所有权。
-
数据安全和保护：学校未能确保敏感的学生数据在交给数据分析公司后的安全存储和传输，存在数据泄露和滥用的风险，可能导致数据落入未授权的第三方之手。
-
公平性和歧视问题：使用深度学习技术构建的预测模型可能存在潜在的偏见和歧视，例如基于性别、种族或社会经济背景对学生进行分类和辅导，这可能引发不公平对待的问题。
-
可解释性和透明度：深度学习模型的缺乏可解释性使得学生和家长无法理解分类和辅导的依据，缺乏透明度可能引发不信任和疑虑。
提出建议：为了避免后续的问题，这所学校一开始应该如何做？¶
数据隐私和知情同意：¶
在收集学生数据之前，学校应明确告知学生和家长数据收集的目的、范围以及数据使用方式，并获得他们的明确同意和授权。
学校与数据分析公司之间应签订合同，明确规定数据使用和保护的责任和义务，并限制数据分析公司将数据用于其他目的或与第三方共享。
在共享数据给数据分析公司之前，学校应采取适当的技术措施对学生个人数据进行匿名化或去标识化处理，以降低数据关联到特定个人的风险。
学生应享有选择是否参与数据收集和分析的权利，并随时有权撤回同意并要求删除个人数据。
模型选择和透明度¶
在考虑使用深度学习模型之前，学校应综合考虑算法的可解释性和准确性。可以选择具有较高可解释性的机器学习算法，并在可承受范围的误差前提下使用。
学校应确保分类和辅导的依据是公开透明的，向学生和家长解释模型的工作原理和使用方法，以增强信任和理解。
学校应建立数据审查和监督机制，定期审查数据收集和分析的合规性，并监督数据分析公司的行为，确保其符合伦理和法律要求。
公平性¶
学校应定期审查和评估模型的准确性和公平性，并采取必要的纠正措施，确保分类和辅导的公正性和教育平等。
在甄别"问题学生"时，学校应尽可能追求高查准率（precision）而非查全率（recall），以避免误判，造成其他后果。
教育目标和综合评价：¶
学校应考虑将升学率作为评价学校教育质量的唯一指标可能对教育目标的狭窄化和学生发展的全面性产生负面影响。
学校应采用多维度的评价体系，综合考虑学生的学术成绩、社交能力、创造力等方面，以促进学生的全面发展。
作者5-2024¶
在我看来，这个事件涉及多个数据伦理问题，列举如下：
1. 数据隐私问题：学校将学生的出入记录、消费数据、学习行为数据等敏感信息提供给数据分析公司，这明显侵犯了学生的隐私权。尽管这些数据用于提升教学效果，但学生和家长并未明确知晓数据的用途和范围，也未给予充分的知情同意。数据的使用和存储是否符合《个人信息保护法》等相关法律法规是利用数据的一个重要问题，而学校并未加以重视。
2. 算法公平性问题：深度学习模型虽然能够预测学生的升学概率，但其决策过程缺乏透明性，可能导致不公平的分类。在对学生进行分类的过程中，家庭经济状况、消费习惯等因素都可能导致模型产生隐含的偏见，将学生错误归类为所谓的“问题学生”，从而影响他们的教育机会。这种错误分类无疑会加剧教育的不平等，甚至对学生的心理和未来发展产生负面影响。
3. 透明性与可解释性问题：深度学习模型通常被视为黑箱，这是因为其决策过程难以解释。当家长和学生要求了解分类和辅导的依据时，学校无法提供清晰的解释，这导致了对算法的不信任。缺乏透明性不仅削弱了家长和学生对学校的信任，也可能引发法律和伦理争议。
4. 知情同意与自主权问题：学校在实施数据分析项目时，并未充分征求学生和家长的同意。而家长和学生作为数据的直接相关方，必然有权知晓数据的用途、存储方式以及可能带来的影响。缺乏知情同意不仅违反了伦理原则，也可能导致后续的法律纠纷。
为了避免后面的问题，学校在最初阶段应采取相应的措施，我认为可行的措施如下：
1. 建立透明的数据使用政策：学校应制定明确的数据使用政策，详细说明数据的收集范围、用途、存储方式以及保护措施。该政策应向家长和学生公开，并确保他们能够理解其中的内容。学校可以制作简明的说明文档或举办家长会，解释数据分析的目的和潜在好处。
2. 获取知情同意：在收集和使用学生数据之前，学校应获得家长和学生的明确同意。同意书应详细列出数据的用途、可能的风险以及学生的权利，比如拒绝参与或随时撤回同意等权利。学校还应定期更新同意书，确保家长和学生始终了解数据的使用情况。
3. 确保数据最小化和匿名化：学校应遵循数据最小化原则，仅收集实现目标所必需的数据，并对数据进行匿名化处理，以减少隐私泄露的风险。在收集处理学生数据的过程中，必须对学生数据进行脱敏处理。去除学生的姓名、身份证号等直接标识符，或使用加密技术保护敏感信息。
4. 引入第三方监督与审计：学校可以邀请独立的第三方机构对数据分析项目进行监督和审计，确保数据的合法使用和算法的公平性。第三方机构还可以评估模型是否存在偏见，并提出改进建议。
5. 提高算法的透明性与可解释性：学校应优先选择可解释性较强的算法，而不是完全依赖深度学习模型。如果必须使用深度学习模型，学校可以要求数据分析公司提供模型的简化解释或可视化工具，帮助家长和学生理解分类和辅导的依据。
6. 建立家长和学生的反馈机制：学校应设立反馈渠道，让家长和学生能够表达对数据分析项目的意见和担忧。比如说，学校可以定期举办家长座谈会或在线调查，收集反馈并根据实际情况调整项目内容。
7. 加强伦理教育与培训：学校管理层和教师应接受数据伦理培训，了解数据隐私、算法公平性和透明性的重要性。通过提高伦理意识，学校可以在项目实施过程中更好地平衡效率与公平。
作为教书育人的重要场所，学校不仅是知识的传播者，更是价值观的塑造者和学生成长的守护者。学校在引入数据分析技术的同时，应该最大限度地保护学生隐私、确保算法公平性。数据驱动的教育创新具有巨大潜力，能够通过精准的教学干预和个性化辅导，帮助学生发掘潜能、提升学习效果。然而，技术的应用必须以伦理原则为基石，不能以牺牲学生的隐私权和自主权为代价。教育的本质目标是促进每个学生的全面发展，而不仅仅是追求升学率或分数上的提升。学校在利用技术优化教学的过程中，应始终将学生的利益放在首位，确保技术的使用是透明、公平且负责任的。只有在技术与伦理的平衡中，学校才能真正实现教育的本质目标——培养全面发展的人才，为社会的进步和人类的福祉贡献力量。这不仅是对学生和家长的承诺，更是对教育使命的坚守。
作者6-2024¶
首先，对整个事件进行简要概括，并对其中的涉及的数据伦理问题进行分析。
问题分析¶
该案例要点如下： 一民办初中为了实现提高升学率，收集了学校信息管理系统的各种数据，并将这些数据交给了第三方数据公司，并委托他们训练深度模型预测升学率；同时还根据该数据构造了AI推荐系统，给学生提出相关建议。尽管升学率提高，部分家长却提出质疑，主要内容为两点：学校不应该把自己孩子的数据交给数据分析公司；深度学习模型不能给出自己的孩子被分类和辅导的依据。
我们从数据的生命周期角度来分析该案例，并考察有效性、隐私、公平和权利四个维度。
- 数据收集环节。这个环节学校的做法并没有太大的问题。学校收集学生的个人信息是天经地义的，因为学校必须要使用学生的个人信息对学生留档，并便于学生管理工作。因此，这个环节的隐私、公平和权利都是没有问题的。从有效性来说，这些信息大致都是准确且无遗失的，因此可以认为这些数据有一定有效性。
- 数据分享/整理环节。在这个环节，该学校的做法在数据隐私方面出现了重大问题。因为数据的分享并没有告知家长，而客观上家长（或者说孩子的监护人）对孩子的数据构成所有权，因此这侵犯了家长和孩子的数据隐私，违规地扩大了学校的数据权利。同时，数据分析公司作为第三方，在用户未知情的情况下使用数据进行训练，本身就是违法行为。
- 数据分析/建模环节。在这个环节，数据公平有待商榷。因为深度学习模型基本不具备可解释性，因此深度学习的结果是否公平也无从得知。被一个不透明的“黑盒”决定个人升学率，部分家长很有可能会怀疑模型权重里不仅仅含有成绩因素，也有可能被性别、家庭经济背景、甚至学生的居住地区等因素影响，最终导致给出的升学建议出现失误。一个极端例子：如果一个学生是贫困农村出身的女性，那么这类学生的升学率很可能不太高，从而被分入”问题学生“。而在运用此模型后，这类学生则总是会被给出“不建议升入高中”的建议；若是没有成功升学，则真正地又加深了数据偏见。因此，修改时应考虑数据公平的因素。
- 模型应用/结果展示环节。在这个环节，尽管结果上升学率是好的，但数据的有效性没有得到保障。由于大模型的分类和建议并非100%准确，故部分学生由数据构成的个人画像实际上可能会有偏差——换而言之，该数据模型会存在一定的错判。例如，假设某学生的数学思维非常好，但数学成绩总是低于平均水准。通过人工查阅他的错题，发现他总是出现计算错误，因此他需要训练的是计算能力；然而在当前水平的教育模型眼里，他则是多个基础知识点不达标，应该多学习基础知识。显然，模型的建议并非完全可靠。
解决建议¶
那么，针对上述问题，我为案例中的学校给出以下建议：
总的来说，我认为训练AI模型辅助学生升学规划是非常高效、正确的，但是实现的方式需要改进。
- 首先，针对数据隐私方面，需要事先保障家长的知情权，这可以通过在使用数据之前就签订相关知情协议解决。在该协议中，必须明确指出用于模型训练的个人数据有哪些，并保证数据只用于模型的训练；也需要指出数据公司对该数据并没有所有权而只有使用权，让家长对后续数据的使用安心，方便推进后续工作。当然，为了更好地开展工作，也可以在这之前就请专家召开讲座，并着重普及数据“所有权“和”使用权“的区别，打消家长疑虑，并为后续使用模型打下基础。同时在签订最终协议之前，还可以借集体家长会的契机，用调查问卷调查家长对于AI辅助生涯规划的态度，并与反对态度非常强硬的家长进行单独谈话、家访等，提高家长对于深度学习的认知，并消去家长的偏见。
- 再者，针对数据公平方面，需要保证结果的公平性。考虑到深度学习模型不可解释，并且短时间内也无法通过改进模型提高解释性，因此可以人工介入结果的公平性评定。这件事不能只是交给班主任去做，应该召集公司专家和年级组长、班主任等成立专门的结果评定小组，逐班逐人确认升学概率和AI推荐建议的准确性。再者，应该考虑问题学生的心理健康和人际关系。若被划分为”问题学生“，对于内向的学生而言，很有可能被普通学生孤立排挤，甚至校园霸凌。所以需要教师在班级内宣传”问题学生“不是固化标签，也非人格缺陷，只是AI判断他们需要更多帮助，从而扭转学生固有观念。
- 最后，针对数据有效性，需要保证建议和分类的正确性。因为仅仅凭借模型很难确认这一点，故应在模型中加入学生自评互评、教师点评等因素进行确认，并定时跟踪推荐系统是否给学生成绩带来有效而长期的提升。为了提高学生遵守建议的积极性并便于开展结果跟踪的调查工作，还可以在学生按要求完成建议后给予一定正反馈（颁发奖项或是给予免除扫除等特权），最终提高模型的效用。
作者7-2024¶
感觉这个虽然写的很多，虽然最后分数还行，但是是用大模型生成的，质量并不高，在此作为反面教材。
一、这个事件涉及了众多的数据伦理问题，分别就不同方面的问题进行如下分析讨论：¶
1.1 学生个人隐私是否已被侵犯？¶
“公司进入学校后，收集了学校信息管理系统的各种数据，其中包括：学生出入图书馆、宿舍和自习室的数据，学生在学校超市的消费数据，学生使用教学系统时的行为数据，学生的各类作业和考试的成绩等。这些数据充分地刻画了学生在学校里的学习和作息状态。”
答：由于学校未经家长和学生同意就将关于学生本人的私有信息交给公司，所以学校和公司双方都侵犯了学生的个人隐私权。
文中提到，公司会进入到学校的信息管理系统收集关于学生的各种数据，其中包括学生的学习成绩、生活习惯以及消费数据等等，根据隐私的定义：“隐私权是人决定是否将关于自己的信息告诉他人的权利”，学生个人没有表明意愿将自己的所有行为数据告知他人，那么学校就没有权利将学生的隐私交给第三方。但是由于公司直接从学校得到了数据，因此侵犯了学生的隐私权。
这个案例和上课讲到的“南京环卫工人的智能手表”的伦理问题是相似的，管理层人员没有经环卫工人同意就可获取工人的所有位置信息。这些“监视”行为不仅会侵犯工人或学生的隐私权，严重时还会使人的精神时刻处于被压迫或缩紧的状态，困扰人们的心理，给人的身心健康造成一定程度的负面影响。
1.2 学校在将“升学计划”和“推荐系统”应用到学生身上之前是否已让家长知情并同意？¶
“两年后，在一次新闻采访中，校方向社会公开了自己的“秘诀”，将利用数据分析辅助教学的过程做了全面的介绍。事情公开后，学校管理层再次遭到了学生家长的质疑。一些往届生的家长认为学校不应该将自己小孩的数据交给数据分析公司。”
答：“两年后才公开秘诀”，由此推测，学校在进行模型预测机制时，并没有提前让家长之情同意这些教育干预计划，因此侵犯了问题学生家长的知情权和对学生的监护权。
家长作为学生的直接监护人，有权保护学生的隐私数据，以及对学生的教育方式知情并进行干预或抉择。学校将学生的私人数据告知他人，而且利用这些数据和模型预测出的结果对学生的教育方式进行介入和干扰，并没有让家长知情，反而一直隐瞒，属于典型的侵犯家长知情权的行为。学校在对学生进行问题分类时就应该告知家长自己的孩子的水平，以及现阶段的培养模式，因为家长作为第一责任人，对于学生有监护权和保护权，应当和学校共同参与到对学生的教育方案里，家长也需要对公司的预测模型的好坏进行评估，并决定是否对其孩子进行问题模式的培养，而不是默认家长全都已经同意。如果模型预测的结果不但没有提升学生的水平，反而还将学生的数据隐私泄露了，那么家长有权上诉学校和公司，非法侵犯他们的知情权和隐私保护权。
1.3 对于问题学生的“额外照顾”是否造成了教学资源分配不均？¶
“有了这个模型，学校可以在初二末期就提前介入那些“问题学生”的学习和生活，采用更激进的方式帮助他们在升学考试中过关。”
答：学校投入人力物力来预测问题学生并着重培养，本身就是对非问题学生的一种不公众待遇。
学校将大量的精力和花费投入到问题学生的培养中，对他们实施特殊教学，这不仅需要投入更多资金，也会消耗很多的教师和管理资源。但是对于正常的同学来说，是否创建了与之代价相匹配的拔尖机制来激励原本就不错的学生，进一步提高他们的水平？这都是不得而知的。因此，抛开问题学生培养机制本身的合理性，我认为，学校培养问题学生的目的是提高升学率，提高学校知名度或打造他们自己的荣誉，但是也应该适可而止，将资源做到平均分配，不仅在提高问题学生上下狠力，也要在本就优秀的同学身上着重拔尖培养，让他们的成绩进一步提升。否则，非问题学生就会收到学校不公正的待遇，相当于被学校剥夺了自己本就享有的教学资源和权利，这也是学校做的不合理之处。
1.4 对于问题学生的“额外照顾”是否会加深老师或同学们之间的偏见？¶
“学校发起了“初三冲刺计划”，利用预测模型甄别出“问题学生”，将他们单独放到一个班里，采用 AI 推荐系统提供的教学建议，对这些学生实施特殊教学。”
答：由模型得到的数据本身就是以偏概全的，因为公司并不能从一些表面的数据就准确预测出学生的水平。
由“带偏见的数据→模型的偏见→带偏见的决策→又产生带偏见的数据”的循环中可得，学校利用预测模型是一个带有很大偏见风险的行为。如果一个学生因为一些外界因素没有展示出较好的符号好学生的行为数据，但是实际上有很强的学习能力和水平，当他最终被判定为问题学生时，也会对学生本身造成不可逆的影响。或许他会因此不自信或萎靡不振，或许会打乱他原本的学习节奏，又或许会被班里的问题学生的氛围所影响，都会对学生的学习和生活产生消极影响。还有一种情况，学生的数据一直处于波动之中，只有最近的数据才是最贴合实际的，如果没有及时用数据信息更新模型预测结果，也会对学生分类有所偏差。
当然，对于老师来说，问题学生的概念界定会导致老师对学生带有刻板印象，即使一位问题学生已经有很大的进步，甚至和优秀学生的水平不相上下，但是老师对他的认知很可能还停留在之前的问题学生的刻板印象上，导致教学方法无法因人实施。如果没有问题学生的概念，或许老师认为一个学生的水平还是很有潜力的，那么教学方法也会适时跟进，不会对其一直停留在之前的印象中，这些概念的绝对化定义了妨碍了老师教学方法的实施。
1.5 预测模型的性能是否已有技术上的保障？¶
“而对正在就读学生的家长，自己的小孩会被“机器人”分类和辅导这件事让他们忧心忡忡。他们纷纷要求学校给出分类和辅导的依据。但由于深度学习模型几乎没有可解释性，校方无法提供依据。”
答：学校利用了深度学习技术构建了预测模型，但这些模型缺乏算法可解释性，无法向学生及其家长提供技术上的保障。
学校在选择公司进行模型预测时，对于公司的可靠性、模型性能的有效性以及性能表现的下界等都没有对外界公开，因此我们不得知这些技术是否值得信赖，尤其是对于没有可解释性的算法，因为关乎到学生的教育问题，所以一旦出错，就会造成严重的、不可评估的后果。“机器人”的发展水平目前还不稳定，对于他们的性能测定等都没有技术上的保障，因此，可能会误导学生的学习或价值取向，所以就无法对家长及时保障这些模型和技术的安全与有效。
因为这些不可解释的技术问题，很难将责任归咎划分到学校或公司的任何一方，而且家长也会对此产生质疑，无法信任其中的任何一方，因会产生诸多无法定义的、混乱的数据伦理问题，因此，技术上的保障与可靠依据以及算法的可解释性、公开透明性是极其重要的。
1.6 学校将数据全权交给数据分析公司后，数据是否有泄露的风险？¶
“公司进入学校后，收集了学校信息管理系统的各种数据，其中包括：学生出入图书馆、宿舍和自习室的数据，学生在学校超市的消费数据，学生使用教学系统时的行为数据，学生的各类作业和考试的成绩等。这些数据充分地刻画了学生在学校里的学习和作息状态。”
答：公司进入信息系统拿到各样的数据，并没有向学校或学生本人签订承诺合法使用这些数据的协议，因此会有很大的泄露风险。
虽然学校有权收集学生的各种数据信息，但是管理层需要确保这些数据被得到安全的存储和处理。在将数据交给第三方公司进行分析之前，如果没有签订相关法律上生效的协议，公司在背后很有可能会将这些数据倒卖给一些商家，从而利用这些数据对学生本人投放一些广告等。比如，如果该公司将数据卖给一些辅导机构，那么机构会对成绩相对较差或者消费水平较高的学生以及家长不断推销辅导机构的优势，通过向目标人群宣传从而实现自己的利益，这不仅会侵犯学生本人的隐私，也会家长和学生的私人生活造成困扰。
1.7 校方公开“秘诀”是否会对其他学校造成不良导向？¶
“两年后，在一次新闻采访中，校方向社会公开了自己的“秘诀”，将利用数据分析辅助教学的过程做了全面的介绍。”
答：从数据伦理的角度来看，校方公开“秘诀”前，需要谨慎考虑其对其他学校的潜在影响，以避免引发更广泛的数据伦理问题和教育实践的误解，尤其是在这些实践还未经家长同意的情况下。
公开“秘诀”后，其他学校可能受到这一事件的影响，也希望通过数据分析来提升学校的升学率或其他指标。然而，如果学校为了追求成绩提升而大规模收集学生个人数据并交给第三方分析公司，可能会引发更广泛的数据隐私问题。其他学校可能会效仿，采取类似的做法，导致更多的学生个人隐私权受到侵犯。
此外，如果其他学校将该学校采用的算法应用到自己的教育管理中，但没有充分考虑到该算法的局限性和数据伦理问题，可能会导致学生个性化教育的误解和不适当的应用。例如，将学生简单地分类为“问题学生”或“非问题学生”，并采取相应的教学干预，可能会忽略学生的多样性和个体差异。
当然，更严重的一种后果是数据分析引发的商业化倾向。校方公开“秘诀”可能会助长数据分析在教育领域的商业化倾向。其他学校可能会被市场竞争的压力所驱使，寻求类似的商业化解决方案，导致数据分析成为一种竞争手段，而不是为了真正提升教育质量和学生发展。
二、为了避免后面的问题，这所学校一开始应该如何做？¶
2.1 保护学生隐私权¶
学校应该在收集数据之前征得学生及其监护人的明确同意，并清楚地说明数据收集的目的和将要进行的处理方式。当然，明确禁止公司进入学校的信息系统，而是要求学校管理层内部将公司必须要用来分析的数据进行另外的收集文档，再传达给公司，否则如果公司进入信息系统，很可能将一些额外的数据泄露出去，造成对学生隐私的侵犯。
2.2 与家长签订知情同意书，接收家长的监督¶
学校在进行问题学生的分类并介入学习上的干预时，需要及时告知家长，请求家长签署知情同意书，其中需要说明技术公司、算法模型的可解释性、学生的哪些数据被用来分析、具体培养模式等详细信息，如果家长同意，就按计划实施，否则就按照原来的模式培养，不进行强制要求。当然，对于同意的家长，也应当提供统一的反馈渠道，收集家长的意见，接收家长的监督，对于期间遇到的各种情况或问题，及时反馈给学校并进行相应的处理或完善，毕竟这是一个很新的培养模式，还存在很多教育弊端，需要家长和学校协作来使这种智能教育更好地造福学生。
2.3 平衡分配资源，在培养问题学生的基础上拔尖培养优秀学生¶
对于非问题学生，当然要权衡出适当的资源进行拔尖培养。既然采用了人力物力来培养问题学生，也要有多样性的培养模式去发展不同程度的学生，因材施教，当然，可以扩展更多的可靠模型或算法将优秀的学生分类，进行专门化的培养，这样可以减少教学资源分配的不均衡，从而促进学生群体都有进步，全方面发展。
2.4 成立正当的教育激励机制，不同的教师有不同的培养目标，削减偏见¶
为了解决问题学生的老师的偏见，可以对教师设立不同的教学目标，问题学生群体的老师的主要目标就是解决学生懒散的学习态度，纠正学习习惯，布置适合他们的任务，只要教师达到了相应的指标就可得到相应的激励，而对于正常学生来说，当然需要更高的目标，因为这些学生本身就很自律，需要在他们良好的学习习惯的基础上适时布置具有挑战性的任务或高标准要求，来拔尖培养。这样，目标的不同也会使老师向不同的方向努力，进而减少偏见。
2.5 与公司签订学生的隐私保护协议，公司使用数据需要收到法律的监督¶
学校在将数据交给公司之前，需要签订相关的隐私保护协议。公司应当向学校和学生保证自己拿这些数据的目的和使用场景，而且绝不在其它场景中非法使用，一旦被发现，就要承担相应的惩罚和赔偿。此外，学校也应当明确规定数据的安全使用和保护措施，防止数据泄露或被滥用的风险。
2.6 采用可解释的算法模型，便于及时纠错调整¶
学校利用了深度学习技术构建了预测模型，但这些模型缺乏可解释性，无法向学生及其家长提供分类和辅导的依据。为了建立信任和确保公平性，学校应该考虑采用更加可解释的算法，并向学生及其家长透明地解释模型的工作原理和预测结果的依据。当然，当模型和算法公开后，就可接收公众的监督，家长也会时刻监督此算法的合理性，并将自己的建议和意见及时反馈给学校，适时调整此算法模型的缺陷，调整参数，使得问题被及时解决。
2.7 学校需要用实践充分证明此方法合法合理后，再向大众公开¶
公众讲话当然需要注意此做法的可能导向。由于该学校公开了“秘诀”，而且带来了不错的效果，很可能使其它学校盲目跟风，往往还有健全的机制就开始大规模使用未成熟的算法模型来进行预测分类，不仅滥用学生的隐私，还会有较高的误判率，从而影响学生的学习与生活。因此，学校应该在充分证明了此算法符合数据伦理的基础上再向大众公开，否则会造成一些不良导向，造成更多学生的权利收到侵害。
2.8 求同存异才是最好的解决办法¶
上述是在学校仍使用预测模型的情况时时，面对可能出现的问题的解决方案。下面是我对此教学方法的一些延伸的想法。材料中学校将有问题的学生进行分类，单独培养，虽然这样可以因材施教，“对症下药”，但是这样限制了学生的多样化、个性化发展，可以采用混合制教学的基础上，借助 AI 技术分类提高。比如，在平均分配班级的基础上，不同的学生有不同的学习需求，此时借助 AI 和学生的个人数据帮助每个学生生成一套个性化的学习方案，在原本大班教学的基础上，将晚自习时间设置为小班、走班教学模式，学生可以参考AI 给出的方案来决定自己要去哪个班里学习自己薄弱的地方，对于缺乏自律的同学，AI 也会及时提醒老师哪些学生没有打卡上课，从而督促他们及时上课，求同存异。这样，不仅减少了分类教学的偏见，也利用了 AI 智能技术的优势，两全其美。
三、结语¶
以上便是我对此事件的详细分析与一些个人思考，其中也包括了很多从本学期的数据伦理课上学到的知识运用，在未来的与数据相关的专业道路上，希望会有所帮助。最后，感谢认真敬业的周老师！感谢善良耐心的助教老师！
2025新作业¶
题目¶
“识才智选”是一家创业公司，专注于利用大数据和人工智能为企业提供人力资源和人才招聘服务。它构建了一个在线招聘平台，旨在通过数字化和智能化，提高招聘效率、降低成本，并号称能够帮助用人企业找到“最匹配”的候选人。该平台的核心功能包括：
- 简历筛选与解析：自动读取并分析海量简历，提取关键信息。
- 候选人背景分析：整合公开网络信息，如LinkedIn、GitHub，甚至某些公开的社交媒体账户。
- AI视频面试：平台提供预设的面试问题，候选人录制视频回答。AI会分析视频中的内容（关键词、语速、语音语调）和非语言信息（面部表情、眼神、肢体语言），评估候选人的“软技能”（如沟通能力、抗压能力、积极性等），并生成“行为风险”或“文化契合度”评分。
- 心理测量与性格评估：平台内嵌的心理测验，收集大量个人数据。
- 绩效预测：基于以上所有数据，预测候选人在特定岗位上的未来绩效和留存率。
根据这些AI生成的综合评分，平台为招聘经理提供一个高度排序的候选人短名单，甚至直接拒绝那些评分低于阈值的申请者。其基本盈利模式是向招聘企业收取服务费用和佣金。在运营过程中，该平台会不断收集和积累用户的数据，并使用这些数据去不断优化自己的AI模型，从而实现利润的最大化。
请利用你在本课程学到的数据伦理知识，分析这家创业公司可能面临的风险，并帮助它制定规避风险的策略。
作者1-2025¶
这家创业公司收集和使用了大量用户数据，虽然商业模式看起来很先进，但是实际中却存在不少风险，需要仔细审视并采取相应的规避策略。
首先，在隐私权与知情同意方面公司并没有严格遵守相关法律法规，实际使用过程中也存在安全风险。根据中国《个人信息保护法》，处理个人信息应遵循合法、正当、必要和诚信原则，应当明确处理目的并限于最小范围，确保处理过程公开透明、保证数据质量和安全。1 平台收集的数据涉及求职者的身份信息、工作经历、视频图像、心理测量结果等敏感信息，属于“可识别的自然人信息”，必须取得用户明确同意并支持用户撤回。背景数据是通过LinkedIn、GitHub和公开的社交媒体账户获取到的，但是用户可能并没有明确地授权其中部分内容给公司，存在隐私权的风险；其实大部分求职者只是想在特定时间段内找到一份工作，并不想把自己的数据永久"贡献"给这个平台，但是平台又说要"不断优化AI模型"，这意味着数据会被长期保存和使用，求职者处于信息不对等的弱势地位；而且这么多敏感的个人信息集中在一个平台上本身就是比较危险的，一旦数据泄露后果不堪设想。
为了解决这些问题，公司应当明确数据采集的范围，告知用户数据使用的流程和他们对于数据的控制权，在用户知情同意的前提下通过规范合理的手段获取用户已知公开的、非私人化的数据，严禁搜集评估所需的必要信息以外的数据。同时，公司也应该强化数据安全，通过数据加密、脱敏等方法全方位保护用户的隐私，对于未被录用的候选人，定期删除其敏感数据。
其次，公司所采用的方式存在算法公平性风险。这个平台用AI分析面部表情、语音语调来评估所谓的"软技能"，这个过程中很容易产生系统性的偏见。比如说，因为语音训练数据主要来自英语国家，但是大部分亚洲人的英语发音并不是特别标准，很可能会被模型解读为"国际交流能力弱"，进而在外企面试时对亚洲人群体打低分；还比如，很多公司长期以来男性占据主导，这种历史数据中的偏见会偏向男性候选人入选。 存在偏见的算法加剧了现实的不平等，是赤裸裸的数字歧视。
针对这样的问题，公司应当建立多元化的训练数据集，确保不同性别、种族、年龄段的数据都有充分代表性；并且定期进行算法审计，检测是否存在对特定群体的偏见；还可以在某些关键评估环节屏蔽可能引起偏见的信息。
再次，该平台不断积累用户的数据来优化自己的AI模型形成了数据闭环，涉及到了自我强化的悖论，存在数据有效性和透明度风险。从带有偏见的模型出发，产生了带偏见的选择，然后得到的数据便是有偏差的，再去强化了最初那个有偏见的模型，只会使得偏见不断地累积。一定阶段后很可能会出现这样的情况——一部分人确实能力出色，若公司不存在理应取得心仪的offer，但实际上因为公司的错误模型而落选了。但是公司一方却觉得，自己都积累、优化了这么久的模型，"各种指标遥遥领先"，是求职者而不是模型出了问题。同时，公司的绩效预测也印证了“坎贝尔定律”2，即指标一旦被当作目标，原有的数据关联可能被扭曲。如果在企业绩效指标中，某公司发现员工出差的里程与业绩相关，于是将出差里程纳入考核，结果员工为了拉高指标不断走动，但业绩相关性却消失了。 而且，人是会成长、会变化的，将一个个求职者视作冰冷的数据点，公司很难做到科学合理的预测， 更不用提工作绩效本身就受团队环境等多因素的复杂影响，基于静态数据进行预测可能会错失很多有潜力的候选人。 上述三种闭环偏差使得公司的数据有效性大打折扣，用人单位不清楚AI的评分逻辑，求职者不知道自己为什么被拒绝，面对质疑公司也并没有一个透明可靠的答案。
至于应对策略，公司应当不完全依赖模型的推荐，引入额外的数据打破闭环。预留一部分用户作为特殊样本，追踪后续这些样本在企业中的表现。而且，公司也应开发可解释的AI技术，告诉用户哪些因素影响了评分，向求职者提供反馈，为HR提供详细的评分依据。公司还要建立完善的申诉和复议机制，禁止算法傲慢和公式化的客服回复，允许对AI评分结果进行全面客观的人工审核，全面提升透明度。
最后，其实这个公司在数据归属方面也存在风险。 用户在LinkedIn、GitHub及社交媒体上所产生的数据应当属于各个平台。如果没有明确的商业合作，通过爬虫这样的手段实质上侵犯了这些平台的权利，可能会面对法律诉讼。 因此，公司应与这些平台签订协议，达成商业合作，取得一定的数据使用权。
综上所述， 虽然这家公司的模式看起来还挺创意的，但是在很多方面都有严峻的数据伦理问题。在一定程度上其实他们的想法也可以理解，当今求职难、用人难，求职者希望能尽快找到心仪的工作，而用人单位希望找到更好的应聘者以提升商业效益。希望这家公司在以后可以考虑的再周全一点，真正的技术革新永远指向人性的温度，而非冰冷的参数指标3，构建包容且可持续的人工智能治理生态，真正保障效率和公平的统一。
引用