大模型训练的数据一般来自于大规模的数据集，例如维基百科、互联网文本、音频和视频数据等。当然，还有一些特定领域的数据集，例如医学、金融等。这些数据集需要经过预处理、清洗和标注等步骤，以达到模型训练的要求。对于一些模型，如GAN，对抗样本和负样本的收集也是必不可少的。

此外，一些大型企业和组织还会从用户行为、用户画像、销售数据等内部数据中获取训练数据，以提高模型的个性化和实际应用价值。