如何获得机器学习数据集

本文概要

• 什么是数据集？
• 数据集中的数据类型
• 需要的数据集
• 机器学习数据集热门来源

在机器学习领域取得成功或成为伟大的数据科学家的关键是使用不同类型的数据集。但是，为每种机器学习项目发现合适的数据集是一项艰巨的任务。因此，在本主题中，我们将提供源代码的详细信息，你可以从其中根据你的项目轻松获取数据集。

在了解机器学习数据集的来源之前，让我们先讨论一下数据集。

什么是数据集？

数据集是按一定顺序排列的数据集合。数据集可以包含从数组序列到数据库表的任何数据。下表显示了数据集的一个示例

表数据集可以理解为数据库表或矩阵，其中每一列对应一个特定的变量，每一行对应数据集的字段。表格数据集最受支持的文件类型是“逗号分隔文件”或CSV。但是为了存储“类似树的数据”，我们可以更有效地使用JSON文件。

数据集中的数据类型

• 数值数据：比如房价，温度等
• 分类数据：比如是/否，真/假，蓝/绿等。
• 有序数据：这些数据类似于分类数据，但可以比较的基础上进行测量。

注：真实世界的数据集非常大，在初始级别很难管理和处理。因此，为了实践机器学习算法，我们可以使用任何虚拟数据集。

需要的数据集

要处理机器学习项目，我们需要大量的数据，因为没有数据，就无法训练ML/AI模型。在创建ML/AI项目时，收集和准备数据集是最重要的部分之一。

如果数据集没有很好地准备和预处理，任何ML项目背后应用的技术都不能正常工作。

在ML项目的开发过程中，开发人员完全依赖于数据集。在构建ML应用程序时，数据集分为两部分

• 训练数据集
• 测试数据集

注：数据集是大的尺寸，所以下载这些数据集，你必须有快速的互联网在你的电脑。

机器学习数据集热门来源

下面是数据集的列表，这些数据集是免费提供给公众使用的

1. Kaggle数据集

Kaggle是为数据科学家和机器学习者提供数据集的最佳来源之一。它允许用户以一种简单的方式查找、下载和发布数据集。它还提供了与其他机器学习工程师一起工作并解决与数据科学相关的难题的机会。

Kaggle提供不同格式的高质量的数据集，我们可以很容易地找到和下载。

Kaggle数据集的链接是https://www.kaggle.com/datasets。

2. UCI机器学习库

UCI机器学习知识库是机器学习数据集的重要来源之一。这个存储库包含数据库、领域理论和数据生成器，机器学习社区广泛使用它们来分析ML算法。

自1987年以来，它被学生、教授、研究人员广泛用作机器学习数据集的主要来源。

根据回归、分类、聚类等机器学习的问题和任务对数据集进行分类。它还包含一些流行的数据集，如虹膜数据集，汽车评估数据集，扑克手数据集等。

UCI机器学习存储库的链接是https://archive.ics.uci.edu/ml/index.php。

3.AWS数据集

我们可以搜索、下载、访问和共享通过AWS资源公开提供的数据集。这些数据集可以通过AWS资源访问，但由不同的政府组织、研究人员、企业或个人提供和维护。

任何人都可以通过AWS资源使用共享数据分析和构建各种服务。云上共享的数据集帮助用户将更多的时间花在数据分析上，而不是获取数据上。

此源提供了各种类型的数据集以及使用数据集的示例和方法。它还提供了搜索框，我们可以使用它搜索所需的数据集。任何人都可以将任何数据集或示例添加到AWS上的开放数据注册表。

该资源的链接是https://registry.opendata.aws/。

4.谷歌的数据集搜索引擎

谷歌数据集搜索引擎是谷歌于2018年9月5日推出的搜索引擎。这个来源帮助研究人员获得可免费使用的在线数据集。

谷歌数据集搜索引擎的链接是https://toolbox.google.com/datasetsearch。

5.微软数据集

微软发布了“微软研究开放数据”存储库，收集了自然语言处理、计算机视觉和特定领域科学等各个领域的免费数据集。

使用这个资源，我们可以下载数据集在当前设备上使用，也可以直接在云基础设施上使用。

从这个资源下载或使用该数据集的链接是https://msropendata.com/。

6.Awesome公共数据集

Awesome公共数据集提供了高质量的数据集，这些数据集按照农业、生物、气候、复杂网络等主题在列表中以良好的组织方式排列。大多数数据集是免费的，但有些可能不是，所以最好在下载数据集之前检查许可。

Awesome 公共数据集的链接是https://github.com/awesomedata/awesome-public-datasets。

7.政府数据集

获取政府相关数据有不同的来源。各国公布从不同部门收集的政府数据供公众使用。

提供这些数据集的目的是提高人民政府工作的透明度，并以创新的方式使用这些数据。以下是一些政府数据集的链接

• 印度政府数据集
• 美国政府数据集
• 北爱尔兰公共部门的数据集
• 欧盟开放数据门户网站

8.计算机视觉数据集

Visual data提供了多个针对计算机视觉的海量数据集，如图像分类、视频分类、图像分割等。因此，如果你想建立一个项目的深度学习或图像处理，那么你可以参考这个来源。

从这个源下载数据集的链接是https://www.visualdata.io/。

9. Scikit-learn数据集

Scikit-learn是机器学习爱好者的好资源。这个来源提供玩具和真实世界的数据集。这些数据集可以从sklearn获得。数据集包和使用通用的数据集API。

可以使用一些预定义的函数加载scikit-learn上可用的玩具数据集，如load_boston([return_X_y])、load_iris([return_X_y])等，而不必从外部源导入任何文件。但是这些数据集并不适合实际的项目。

从这个源下载数据集的链接是https://scikit-learn.org/stable/datasets/index.html。