本文详细介绍了如何使用Python、Pandas和NumPy高效生成包含数值和分类数据的虚拟数据集，特别针对在生成多行分类数据时常见的错误进行解析。通过示例代码，教程演示了如何正确利用列表推导式结合random.choice()为DataFrame的分类列生成随机且独立的字符串值，避免了仅生成单一重复值的常见陷阱，并提供了代码优化和最佳实践建议。
在数据分析、机器学习模型开发或软件测试中，经常需要创建包含多种数据类型的虚拟数据集。一个典型场景是生成既有数值型（如面积、价格）又有分类型（如区域、类型）的数据。使用python中的pandas库结合numpy和random模块是实现这一目标的常用方法。然而，在处理分类数据时，初学者常会遇到一个误区，即错误地为整个列生成了单个重复值，而非期望的随机分布。
例如，当尝试为DataFrame的“Borough”列填充来自预定义列表的随机区域名称时，如果代码实现不当，可能会出现以下结果：
上述输出中，“Borough”列被错误地填充了单一的数字5，而非预期的区域名称。这通常是由于对Python中随机数生成函数的工作方式理解不当所致。
造成上述问题的原因在于对random.randrange()或random.choice()的调用方式。在初始的错误实现中，代码可能类似于：
这里的问题在于：
立即学习“Python免费学习笔记（深入）”；
- random.choice(WORDS)只选择了一个单词，并将其赋值给变量word。
- len(word)计算的是这个 单个 单词的长度。
- random.randrange(len(word))则从0到该长度减1的范围内选择一个 整数。
- 最关键的是，这个表达式在DataFrame的列定义中只被评估 一次。这意味着，无论DataFrame有多少行，该列的所有值都将是这个单次评估的结果。
为了为DataFrame的每一行生成一个独立的随机分类值，我们需要一个包含SIZE个随机选择元素的列表，而不是一个单一的标量值。
要正确地为DataFrame的分类列生成随机值，我们需要创建一个与DataFrame行数相同长度的列表，其中每个元素都是从预定义分类列表中随机选择的结果。实现这一目标的最佳方式是使用列表推导式（List Comprehension）。
核心思想：
我们希望对每一行都执行 random.choice(BOROUGHS) 操作，并将所有结果收集到一个列表中。
这个列表推导式会循环SIZE次，每次循环都从BOROUGHS列表中随机选择一个元素，并将其添加到新生成的列表中。最终，这个列表将包含SIZE个随机选择的区域名称，每个名称都是独立的。
以下是修正后的代码，用于生成包含数值和分类数据的虚拟数据集：
代码解释：
- SIZE = 50_000: 将重复使用的数字（如行数）定义为常量，便于修改和维护。
- BOROUGHS = [...]: 明确定义了所有可能的分类值。
- np.random.seed(1): 设置NumPy的随机种子，使得每次运行代码时生成的数值数据都是相同的，这对于调试和结果复现非常重要。
- np.random.randint(low, high, size): 这是NumPy生成指定范围和数量整数的有效方法，适用于“Sq. feet”和“Price”等数值列。
-
[random.choice(BOROUGHS) for _ in range(SIZE)]: 这是解决分类数据生成问题的关键。
- range(SIZE)生成一个从0到SIZE-1的序列。
- _是一个占位符变量，表示我们不关心循环的当前索引值。
- random.choice(BOROUGHS)在每次迭代中都会从BOROUGHS列表中随机选择一个元素。
- 整个表达式构建了一个包含SIZE个随机区域名称的列表，这个列表随后被赋给“Borough”列。
运行上述代码后，data.head()的输出将如下所示，显示“Borough”列已正确填充为随机的区域名称：
- 变量命名： 使用清晰、描述性的变量名（如BOROUGHS而不是WORDS，SIZE而不是直接使用数字）可以显著提高代码的可读性和可维护性。
- 可复现性： 对于数值型数据，使用np.random.seed()可以确保每次运行代码时生成的数据保持一致，这在开发和测试阶段非常有用。对于random模块的随机性，也可以使用random.seed()。
- 列表推导式： 熟练掌握列表推导式是Python编程中的一项重要技能，它能以简洁高效的方式创建列表，尤其适合这种批量生成数据的场景。
- 性能考量： 对于非常大的数据集（例如数百万行），虽然列表推导式通常效率很高，但也可以考虑NumPy的np.random.choice()方法，它可能在某些情况下提供更好的性能，尤其当分类数据可以被映射为整数索引时。例如：np.random.choice(BOROUGHS, size=SIZE)。
生成包含混合数据类型的虚拟数据集是数据科学工作流中的常见任务。通过理解random模块函数的行为以及利用列表推导式等Python特性，我们可以有效地为DataFrame的数值列和分类列生成准确、多样且符合期望的随机数据。遵循良好的编程实践，如使用常量定义重复值和设置随机种子，将进一步提升代码的质量和可维护性。
以上就是利用Python和Pandas生成混合型虚拟数据：数值与分类字段的正确实践的详细内容，更多请关注php中文网其它相关文章！