数据是人工智能的命脉。若无高质量、具备代表性的训练数据，机器学习模型将形同虚设。然而，随着神经网络日益庞大，人工智能项目雄心壮志，对数据的需求亦不断攀升，我们正面临一场危机——现实世界的数据收集和标注工作根本无法实现规模化扩展。
本文将探讨现实世界数据所面临的主要挑战，以及为何合成数据对于开发高性能、稳健且符合道德标准的人工智能系统至关重要。此外，我还将分享一些在训练大型语言模型时，生成和使用合成数据的最佳实践。
数据扩展问题
首先，我们来了解为何现实世界的数据会遇到可扩展性问题。现代神经网络对数据如饥似渴——以GPT-4等大型语言模型为例，其训练需依赖数万亿个文本参数。而图像分类模型为达到人类水平性能，亦需数百万个标注样本。随着我们迈向多模态、多任务模型的时代，数据需求将持续激增。
但现实世界的数据并非随手可得。收集足够规模且质量上乘、具备代表性的数据集成本高昂，具体挑战如下：
- 数据收集过程既手动又缓慢——无论是网络抓取、调查还是传感器数据收集，均需大量人力和基础设施支持。在训练过程中，人工智能模型几分钟内即可完成的数据集组装，可能需要数千小时的人力投入。
- 数据标注需要大量人工审查——图像、文本、音频等各种数据在用于监督训练之前，几乎都需要进行某种形式的手动标注或注释。例如，自动驾驶汽车可能需要数百万张精确到像素级的标注图像，这是一项几乎不可能完成的手工劳动。
- 专业数据尤为稀缺——尽管存在诸如ImageNet等通用数据集，但大多数业务应用程序所需的小众、专业数据更难大规模获取和标注。
- 隐私和法律限制导致数据访问受限——从个人身份信息到版权问题，隐私法或专有限制使得现实世界数据往往无法在组织间自由共享和重用，这严重阻碍了人工智能领域的协作和创新机会。
显然，现有的训练数据来源方法已无法适应大型神经网络和雄心勃勃的现实世界人工智能应用的需求。运行更大规模的模型或解决更复杂的问题将需要比当前手动流程实际收集的数据集大出多个数量级的数据集。
若无可扩展的数据问题解决方案，人工智能的进步将在许多关键应用领域遭遇瓶颈。幸运的是，合成数据和模拟为我们指明了一条前进的道路。
合成数据的前景与进展
合成数据是机器生成的数据，旨在模仿现实世界数据的统计特性。我们的目标是通过编程方式自动生成模拟数据集，以取代手动数据收集和标注过程。
生成建模技术的最新进展使得跨图像、文本、语音、视频和传感器数据等模态合成越来越逼真的模拟数据成为可能。证明这些生成合成数据技术不断扩展的能力的论文和项目数量正呈指数级增长。
那么，合成数据在解决人工智能中的数据扩展问题方面究竟具备哪些潜力？
- 自动化——配置完成后，合成数据管道可自动生成任意规模的数据集，无需额外人力投入。这使得数据实际上变得无限可用。
- 可定制性——合成数据的各个方面均可通过编程方式进行控制，从而轻松调整以匹配现实世界分布的统计数据。需要更多罕见或极端案例的样本？只需对数据生成器进行简单调整即可实现。
- 可共享性和可重用性——人工合成数据不受隐私限制，可自由共享、重用和重新混合以促进协作。这还有助于创建整个社区可共同使用并推动进步的基准数据集。
- 多用途性——相同的合成数据生成管道通常可用于针对不同下游问题创建训练数据，而无需进行大量修改。这使得扩展到新的用例变得轻而易举。
- 高速与低成本——大多数合成数据技术的运行速度远超实时处理速度，同时还能充分利用备用计算能力（如GPU）。生成更多数据的边际成本几乎为零。
合成数据的有效性已在多个领域得到验证，包括医学成像、自动驾驶、药物发现、推荐系统、金融、机器人技术以及自然语言处理等。几乎所有因数据稀缺而受阻的行业都将从合成数据中获益匪浅。
随着人工智能整体呈指数级发展，生成模型的创新迅速转化为更强大、更经济的合成数据能力。这是一个正反馈循环，其最终限制仅受计算能力的约束。
因此，合成数据有望在未来几年成为众多人工智能系统训练数据的主要来源。然而，这并非启动生成器即可获得完美训练集那么简单。我们仍需遵循一些最佳实践……
使用合成数据训练大型语言模型（LLM）的最佳实践
像GPT-4、LLaMA-2和Gemini 1.5这样的大型语言模型在训练过程中需要摄取海量的文本数据。在如此规模下跨不同领域收集和标注足够的现实世界训练数据是一项艰巨的任务。因此，合成文本数据显得至关重要，但仍需谨慎行事才能确保其有效性。
以下是训练大型自然语言模型时合成数据的一些核心最佳实践：
- 以真实数据为基准进行测试
合成数据面临的根本挑战在于确保其能够保留真实数据的统计特性。若无法准确模拟诸如长距离依赖等复杂性，当部署到现实世界任务中时，模型性能可能会大打折扣。
因此，我们必须通过在合成数据集上训练模型，并针对来自现实世界的数据进行交叉验证来广泛测试合成数据集的基准性能。若我们能够匹配甚至超越专门基于真实数据训练的模型所达到的指标，则可验证合成数据的质量。随后，数据生成器的改进可集中于提升这些基准性能。
2. 与真实数据混合使用
大多数语言数据管道仍包含至少一部分真实样本。尽管比例有所不同，但根据当前发布的基准来看，20-30%通常是一个有用的大致范围。真实样本为稳定训练提供了基础。
这种混合可以在多个层面上实现，从将真实样本显式混合到最终数据集中，到在大规模合成生成之前使用较小的真实数据集来初始化数据生成器参数。
3. 按元数据分层处理
现代大型语言模型在具备广泛元数据（如作者、主题、日期、标题、网址等）的数据集上进行训练。这些补充数据对统计关系进行编码，对于许多下游应用至关重要。
因此，在进行高质量的合成文本数据时，元数据分层处理显得尤为重要。应尽可能对元数据属性的分布进行基准测试和匹配。生成缺乏上下文的独立段落将限制模型的能力。
至少在处理新闻文章和科学论文等文本时，时间范围等元数据通常是通过合成生成管道进行编码的重要分层变量。
4. 迭代细化模型
数据生成器应根据基准性能和模型训练期间观察到的错误反馈进行迭代更新。当尝试捕获复杂的远程属性时，生成器架构的选择尤为关键。
若我们发现语言模型在反复处理某些类型的人类撰写段落结构时遇到困难，则更新生成器以更好地暴露合成分布中的这些结构将有助于提高下游模型的质量。
这种以编程方式细化数据本身以指导模型功能的能力是合成数据所独有的优势，且非常强大。它创建了一个反馈循环，有助于人们达到原本无法企及的性能水平。
5. 扩大多样性
对合成文本数据持续关注的一个方面是缺乏多样性，这可能导致偏差放大等问题。复杂的生成模型旨在捕获数据分布，但可能会忽略长尾部分的细微差别。
通过积极分析合成数据管道的词汇、语义和句法多样性指标，然后进行迭代调整，有助于避免这些陷阱。我们还可以通过直接调节敏感元数据的生成来在程序上促进多样性，以更好地反映现实世界的异质性。
这些最佳实践共同确保合成文本数据能够在大规模应用中提高而非损害语言模型的质量，同时避免常见陷阱，如过度拟合生成器的统计特性。
通过合成数据释放创新潜力
高质量的合成数据释放了此前因数据稀缺而受阻的人工智能进步的潜力。事实上，每个现代深度神经网络都渴望更多数据——而合成生成技术提供了满足这一需求的无限资源。
除了支持构建更大、更优秀的模型外，随时可用且可定制的训练数据还可以通过加速研究和应用中的原型设计来推动创新。新想法可以快速得到测试和迭代，而无需等待数月来收集和标注现实世界的数据。
合成数据支持创建开放、协作的数据集，进而促进更广泛的参与和创新。与局限在组织内部的孤立现实世界数据集相比，具备可免费使用的训练资源的公共基准更能推动创新和多样性。
我们正站在合成数据革命的门槛上——预计未来十年在模拟数据的支持下，语言、视觉、机器人技术、医疗保健等领域将取得爆炸性进展。可扩展性瓶颈正在消失，人工智能能力将大幅扩展，从而为我们揭开新的可能性。
伟大的进步伴随着巨大的责任。虽然合成数据为人工智能的进步提供了巨大潜力，但它并没有消除道德、隐私、问责制等方面的考量。本文未涉及这些问题，但它们值得在其他地方进行广泛而深入的探讨。我们必须以负责任的态度追求进步。
尽管如此，人工智能在数据基础上正迎来一个转折点。我们必须大力投资合成数据技术，以实现更高水平的机器智能。构建这些无限数据引擎将在未来几年推动各行业的重大突破。现在正是行动起来的时刻。
