如果没有机器学习算法来处理数据并从中提取有价值的见解,数据就毫无价值。机器学习在互联网经济中的成功很大程度上与深度学习的出现有关:深度学习是一种强大的技术,它大致模仿了我们大脑神经网络的运作方式,用于识别图像、视频和文本等非结构化数据集中的复杂模式。
互联网公司开创的两个重要数字趋势使得这些算法得到了广泛应用:首先,流行工具(如PyTorch和TensorFlow)发布了开源实现;其次,云计算基础设施的发展提供了训练这些算法所需的存储和处理能力,而无需大量固定资本投资。
希望解决其他领域社会挑战的数据科学家和机器学习研究人员可以利用这些开源成果。但在这样做的同时,他们应该思考,复杂且不透明的深度学习算法(擅长模式匹配)是否适合为医疗和教育等领域的决策提供信息,因为这些领域涉及敏感数据,而了解结果的原因至关重要。
其他基于统计方法(如线性模型或决策树)和因果推理的机器学习技术可能更合适,因为它们分别依赖于更少的预测因子和更简单的算法(使其更易于解释),并且要求数据科学家指定将预测因子与结果联系起来的因果模型(降低在数据中捕获虚假相关性的风险)。这些方法的另一个优点是它们往往需要较少的数据进行训练,并且不太可能“过度拟合”其训练集(学习这些数据的每一个怪癖,但在应用于新情况时会失去稳健性)。
4. 开发框架来比较模型性能
ML 研究人员遵循“通用任务框架”来评估他们开发的技术。在这种方法中,使用捕获模型预测质量的指标,针对同一数据集评估不同的模型。这使得客观地比较不同技术的性能成为可能,并激励 孟加拉国电话号码数据 研究人员改进和结合方法以超越最先进的技术。类似地,结构生物学界设计了指标来评估模型性能和重大挑战,研究团队在这些挑战中竞争预测新蛋白质的结构(AlphaFold 2 最近在其中一个挑战中胜过所有竞争对手)。
以机器学习为导向的预测竞赛越来越少。一个有趣的例子是“脆弱家庭挑战赛”,它由普林斯顿大学的研究人员组织,使用 15 年来收集的调查数据,测试不同的机器学习模型在预测贫困家庭儿童生活结果方面的有效性。“脆弱家庭”团队为数百名研究人员提供了这些数据的安全访问权限,这些研究人员试图使用各种简单和复杂的机器学习模型来预测关键结果,例如孩子 15 岁时的平均成绩以及一个家庭是否会被赶出家门。总体而言,这些模型表现不佳,突显了预测长期个人结果的难度,以及发布负面结果的重要性,以便研究人员和政策制定者认识到这些困难。
在制定和采用新的进步指标时,社会创新者应该意识到沉迷于指标的副作用。以机器学习为例,该领域一心一意地专注于推动最先进的技术,导致人们忽视了那些不太依赖大数据、更易于解释、更环保、更强大的技术。在商业方面,社交媒体平台寻求优化用户参与度等狭隘的价值指标,导致政治两极分化加剧,并助长了错误信息的传播。查尔斯·古德哈特 (Charles Goodhart) 的观察表明,任何用于衡量绩效的指标都会成为操纵和博弈的目标,这一观察既适用于算法系统,也适用于人类组织。