一份超级全面的机器学习公共数据集
在机器学习中，设计的算法需要通过数据集来验证。此外，对于标注的数据，在一定程度上驱动着一个个新的算法研究出来，逼近人的识别能力。
本文是用于机器学习的开放数据集的清单。覆盖范围包括财经，计算机视觉，自然语言处理，语音文本处理，情感分析，自动驾驶，人脸识别等领域。
1. 数据集查找器
学习机器学习的最好方法是在不同的项目中练习。你可以使用这些主要的数据集查找器在线搜索和下载免费的数据集。
-
一个数据科学站点，其中包含各种外部贡献的有趣数据集。 您可以在其主列表中找到各种小众数据集，从拉面等级到篮球数据，甚至到西雅图宠物许可证。
Kaggle: https://www.kaggle.com/ -
网络上最古老的数据集来源之一，也是寻找有趣的数据集的绝佳起点。 尽管数据集是用户提供的，因此具有不同的清洁度，但是绝大多数是清洁的。 您可以直接从UCI机器学习存储库下载数据，而无需注册。
UCI Machine Learning Repository: http://mlr.cs.umass.edu/ml/
2. 财经类数据集
事实证明，机器学习对于金融行业来说是千载难逢的机会，记录了数十年的量化金融数据形成了一个非常大的数据集，因此它非常适合于机器学习。实际上，机器学习现在已经开始慢慢改变金融和银行投资业务，包括股市预测，投资分析与决策等。在经济学中，机器学习可以用来建立经济学模型和预测客户行为。
-
一个有助于建立预测经济指标或股票价格模型的数据集
https://www.quandl.com/ -
涵盖全球人口统计数据和大量经济与发展指标的数据集。
https://data.worldbank.org/ -
国际货币基金组织发布有关国际金融，债务利率，外汇储备，商品价格和投资的数据。
https://www.imf.org/en/Data -
来自世界各地的金融市场的最新信息，包括股票价格指数，商品和外汇。
https://markets.ft.com/data/ -
检查和分析有关互联网搜索活动和全球趋势新闻的数据。
https://trends.google.com/trends/?q=google&ctab=0&geo=all&date=all&sort=0 -
查找美国宏观经济数据的良好来源
https://www.aeaweb.org/resources/data/us-macro-regional -
深证创业板日线数据，1999.12.09 至2016.06.08，前复权，510支股票
http://dataju.cn/Dataju/web/datasetInstanceDetail/39 -
深证A股日线数据，1999.12.09至 2016.06.08，前复权，1766支股票
http://dataju.cn/Dataju/web/datasetInstanceDetail/38 -
上证A股日线数据，1999.12.09至 2016.06.08，前复权，1095支股票
http://dataju.cn/Dataju/web/datasetInstanceDetail/37 -
深证创业板日线数据，截止 2017.05.05，原始价、前复权价、后复权价，636支股票
http://dataju.cn/Dataju/web/datasetInstanceDetail/343 -
沪深股票除权除息、配股增发全量数据，截止 2016.12.31
http://dataju.cn/Dataju/web/datasetInstanceDetail/344 -
房地产公司 Zillow 公开美国房地产历史数据
http://dataju.cn/Dataju/web/datasetInstanceDetail/380 -
美国劳工部统计局官方发布数据
http://dataju.cn/Dataju/web/datasetInstanceDetail/139 -
Forex平台外汇交易历史数据
http://dataju.cn/Dataju/web/datasetInstanceDetail/67 -
Airbnb 开放的民宿信息和住客评论数据
http://dataju.cn/Dataju/web/datasetInstanceDetail/309
3. 用于计算机视觉的图像数据集
图像数据集可用于训练各种计算机视觉应用，例如医学成像技术，自动驾驶汽车和面部识别。
-
大量带注释的图片
http://labelme.csail.mit.edu/Release3.0/browserTools/php/dataset.php -
用于新算法的实际图像数据集。根据WordNet层次结构进行组织，其中层次结构的每个节点由成千上万的图像描绘。
http://image-net.org/ -
多辅助场景理解（房间布局估计，显着性预测等）
http://lsun.cs.princeton.edu/2016/ -
一般图像理解和字幕。
http://cocodataset.org/#home -
以360度旋转的每个角度拍摄100个不同的物体。
COIL100：http://www1.cs.columbia.edu/CAVE/software/softlib/coil-100.php -
非常详细的视觉知识库，包含约100K幅图像的字幕
Visual Genome: http://visualgenome.org/ -
共有900万个图片的url，这些图片在Creative Commons下被标注了超过6000个类别的标签
Google’s Open Images: https://research.googleblog.com/2016/09/introducing-open-images-dataset.html -
13000张有标签的人脸图像，用于开发涉及面部识别的应用程序
Labelled Faces in the Wild: http://vis-www.cs.umass.edu/lfw/ -
包含20580张图片和120种不同的狗品种。
Stanford Dogs Dataset: http://vision.stanford.edu/aditya86/ImageNetDogs/ -
包含67个室内类别，共15620个图像
Indoor Scene Recognition: http://web.mit.edu/torralba/www/indoor.html -
Fashion-MNIST风格服饰图像数据集
https://github.com/zalandoresearch/fashion-mnist -
大型(50万)LOGO标志数据集
https://data.vision.ee.ethz.ch/cvl/lld/ -
YouTube MV视频数据集添加链接描述
https://github.com/keunwoochoi/YouTube-music-video-5M -
计算机视觉合成数据集/工具大列表
https://github.com/unrealcv/synthetic-computer-vision -
Pixiv(着色)图片数据集
https://github.com/jerryli27/pixiv_dataset -
大规模日语图片描述数据集
https://github.com/STAIR-Lab-CIT/STAIR-captions -
PyTorch实现的VOC2012数据集Pixel-wise目标分割
https://github.com/bodokaiser/piwise -
Cityscapes街景语义分割数据集
https://github.com/mcordts/cityscapesScripts -
COCO像素级标注数据集
https://github.com/nightrome/cocostuff -
13000 张贴有标签的人脸图像，用于开发涉及人脸识别的应用。
Labelled Faces in the Wild：http://vis-www.cs.umass.edu/lfw/ -
MNIST：手写数字图像。最常用的可用性检查。格式 25×25、居中、黑白手写数字。这是一项简单的任务——仅某部分适用于 MNIST，不意味着它有效
http://yann.lecun.com/exdb/mnist -
CIFAR10 / CIFAR100：32×32 彩色图像，10/100 类。虽然仍有趣却不再常用的可用性检查
http://www.cs.utoronto.ca/~kriz/cifar.htm -
Caltech 101：101 类物体的图片
http://www.vision.caltech.edu/Image_Datasets/Caltech101 -
Caltech 256：256 类物体的图片
http://www.vision.caltech.edu/Image_Datasets/Caltech256 -
STL-10 数据集：用于开发无监督特征学习、深度学习、自学习算法的图像识别数据集。像修改过的 CIFAR-10
http://cs.stanford.edu/~acoates/stl10 -
The Street View House Numbers (SVHN)：Google 街景中的门牌号码。可以把它想象成复现的户外 MNIST
http://ufldl.stanford.edu/housenumbers -
NORB：玩具摆件在各种照明和姿势下的双目图像
http://www.cs.nyu.edu/~ylclab/data/norb-v1.0 -
Pascal VOC：通用图像分割 / 分类——对于构建真实世界图像注释不是非常有用，但对基线很有用
http://pascallin.ecs.soton.ac.uk/challenges/VOC -
Labelme：带注释图像的大型数据集
http://labelme.csail.mit.edu/Release3.0/browserTools/php/dataset.ph -
ImageNet：新算法的客观图像数据集（de-facto image dataset）。许多图像 API 公司都有来自其 REST 接口的标签，这些标签近 1000 类;WordNet; ImageNet 的层次结构
http://image-net.org -
LSUN：具有很多辅助任务的场景理解（房间布局估计，显著性预测（saliency * prediction）等），有关联竞赛。（associated competition）
地址：http://lsun.cs.princeton.edu/2016
MS COCO：通用图像理解 / 说明，有关联竞赛
http://mscoco.org -
COIL 20：不同物体在 360 度旋转中以每个角度成像
地址：http://www.cs.columbia.edu/CAVE/software/softlib/coil-20.ph
COIL100：不同物体在 360 度旋转中以每个角度成像
http://www1.cs.columbia.edu/CAVE/software/softlib/coil-100.ph -
Google 开源图像：有 900 万张图像的网址集合，这些图像通过知识共享（Creative Commons）被标注成 6000 多个类别
https://research.googleblog.com/2016/09/introducing-open-images-dataset.htm
4. 情感分析数据集
情感分析模型需要庞大的专业数据集才能有效学习，以下所列数据集提供了用于情感分析的一些数据。
-
亚马逊商品评价数据集
Multidomain sentiment analysis dataset: http://www.cs.jhu.edu/~mdredze/datasets/sentiment/ -
二元情感分类数据集，包含25000条电影评论
IMDB Reviews: http://ai.stanford.edu/~amaas/data/sentiment/ -
带有情绪注释的标准情绪数据集
Stanford Sentiment Treebank: https://nlp.stanford.edu/sentiment/code.html -
2015年2月美国航空公司推特数据，分为正面、负面和中性推特
Twitter US Airline Sentiment: https://www.kaggle.com/crowdflower/twitter-airline-sentiment -
跨域(Amazon商品评论)情感数据集
http://www.cs.jhu.edu/~mdredze/datasets/sentiment/
5. 地理空间数据
-
OpenStreetMap：免费提供整个星球的矢量数据。它包含（旧版）美国人口普查局的数据
http://wiki.openstreetmap.org/wiki/Planet.os -
Landsat8：整个地球表面的卫星视角图，每隔几周更新一次
https://landsat.usgs.gov/landsat- -
NEXRAD：美国大气层的多普勒雷达扫描图
https://www.ncdc.noaa.gov/data-access/radar-data/nexrad
6. 人工数据集
-
Arcade Universe：一个人工数据集生成器，图像包含街机游戏 sprite，如 tetris pentomino / tetromino。该生成器基于 O. Breleux 的 bugland 数据集生成器
https://github.com/caglar/Arcade-Univers -
以 Baby AI School 为灵感的数据集集合
http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/BabyAISchoo -
Baby AI Shapes Dataset：区分 3 种简单形状
http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/BabyAIShapesDataset -
Baby AI Image And Question Dataset：一个问题 – 图像 – 答案数据集
http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/BabyAIImageAndQuestionDataset -
Deep Vs Shallow Comparison ICML2007：为实证评估深层架构而生成的数据集
http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/DeepVsShallowComparisonICML200 -
MnistVariations：在 MNIST 中引入受控变化
http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/MnistVariation -
RectanglesData：区分宽矩形和垂直矩形
http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/RectanglesDat -
ConvexNonConvex：区分凸形和非凸形状
http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/ConvexNonConve -
BackgroundCorrelation：嘈杂 MNIST 背景下相关度的控
http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/BackgroundCorrelation
7. 人脸数据集
-
Labelled Faces in the Wild：13000 个经过裁剪的人脸区域（使用已经用名称标识符标记过的 Viola-Jones）。数据集中每个人员的子集里包含两个图像——人们常用此数据集训练面部匹配系统
http://vis-www.cs.umass.edu/lfw -
UMD Faces：有 8501 个主题的 367，920 个面孔的带注释数据集
http://www.umdfaces.io -
CASIA WebFace：超过 10，575 个人经面部检测的 453，453 张图像的面部数据集。需要一些质量过滤
http://www.cbsr.ia.ac.cn/english/CASIA-WebFace-Database.htm -
MS-Celeb-1M：100 万张全世界的名人图片。需要一些过滤才能在深层网络上获得最佳结果
https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing-one-million-celebrities-real-world -
Olivetti：一些人类的不同图像
http://www.cs.nyu.edu/~roweis/data.htm -
Multi-Pie：The CMU Multi-PIE Face 数据库
http://www.multipie.org -
Face-in-Action：http://www.flintbox.com/public/project/5486
JACFEE：日本和白种人面部情绪表达的图像
http://www.humintell.com/jacfee -
FERET：面部识别技术数据库
http://www.itl.nist.gov/iad/humanid/feret/feret_master.htm
mmifacedb：MMI 面部表情数据库
http://www.mmifacedb.com -
IndianFaceDatabase：http://vis-www.cs.umass.edu/~vidit/IndianFaceDatabase
耶鲁人脸数据库：http://vision.ucsd.edu/content/yale-face-databas -
Mut1ny 头部 / 面部分割数据集：像素超过 16K 的面部 / 头部分割图
http://www.mut1ny.com/face-headsegmentation-dataset
8. 自然语言处理数据集
自然语言处理是一个广泛的研究领域，以下包括用于不同自然语言处理任务（例如语音识别和聊天机器人）的广泛数据集。
-
来自Enron公司高级管理人员的邮件数据
Enron Dataset: https://www.cs.cmu.edu/~./enron/ -
包含来自亚马逊18年来的3500万条评论。数据包括产品和用户信息，评级以及明文评论。
Amazon Reviews: https://snap.stanford.edu/data/web-Amazon.html -
Google图书中的单词数据集
Google Books Ngrams: https://aws.amazon.com/cn/datasets/google-books-ngrams/ -
从blogger.com收集的681,288个博客帖子集合。每个博客至少包含200个常用英语单词
Blogger Corpus: http://u.cs.biu.ac.il/~koppel/BlogCorpus.htm -
维基百科的全文数据集，包含来自超过400万篇文章的近19亿个单词。 可以按单词，短语或段落本身的一部分进行搜索。
Wikipedia Links data: https://code.google.com/archive/p/wiki-links/downloads -
Groject Gutenberg 中带注释的电子书清单。
Gutenberg eBooks List: http://www.gutenberg.org/wiki/Gutenberg:Offline_Catalogs -
130万对加拿大第36届国会记录中的文字。
Hansards text chunks of Canadian Parliament: https://www.isi.edu/natural-language/download/hansard/ -
测验节目Jeopardy存档了超过20万个问题。
Jeopardy: http://www.reddit.com/r/datasets/comments/1uyd0t/200000_jeopardy_questions_in_a_json_file/ -
由5,574条英文SMS垃圾邮件组成的数据集
SMS Spam Collection in English: http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/ -
Yelp发布的开放数据集包含超过500万条评论。
Yelp Reviews: https://www.yelp.com/dataset -
大型垃圾邮件电子邮件数据集，可用于垃圾邮件过滤。
UCI’s Spambase: https://archive.ics.uci.edu/ml/datasets/Spambase -
机器学习保险行业问答开放数据集
https://github.com/shuzi/insuranceQA -
保险行业问答(QA)数据集
https://github.com/shuzi/insuranceQA -
英语词/句/语义框架框架标注数据集
https://framenet.icsi.berkeley.edu/fndrupal/ -
Quora数据集：400000行潜在重复问题
http://qim.ec.quoracdn.net/quora_duplicate_questions.tsv -
20 newsgroups：分类任务，将出现的单词映射到新闻组 ID。用于文本分类的经典数据集之一，通常可用作纯分类的基准或任何 IR / 索引算法的验证
http://qwone.com/~jason/20Newsgroups -
路透社新闻数据集：（较旧）纯粹基于分类的数据集，包含来自新闻专线的文本。常用于教程
https://archive.ics.uci.edu/ml/datasets/Reuters-21578+Text+Categorization+Collectio -
宾州树库：用于下一个单词或字符预测
http://www.cis.upenn.edu/~treebank -
UCI‘s Spambase：来自著名的 UCI 机器学习库的（旧版）经典垃圾邮件数据集。根据数据集的组织细节，可以将它作为学习私人垃圾邮件过滤的基线
https://archive.ics.uci.edu/ml/datasets/Spambas -
Broadcast News：大型文本数据集，通常用于下一个单词预测
http://www.ldc.upenn.edu/Catalog/CatalogEntry.jsp?catalogId=LDC97S4 -
文本分类数据集：来自 Zhang et al., 2015。用于文本分类的八个数据集合集。这些是用于新文本分类基线的基准。样本大小从 120K 至 3.6M 不等，范围从二进制到 14 个分类问题。数据集来自 DBPedia、亚马逊、Yelp、Yahoo！和 AG
https://drive.google.com/drive/u/0/folders/0Bz8a_Dbh9Qhbfll6bVpmNUtUcFdjYmF2SEpmZUZUcVNiMUw1TWN6RDV3a0JHT3kxLVhVR2 -
WikiText：来自维基百科高质量文章的大型语言建模语料库，由 Salesforce MetaMind 策划
http://metamind.io/research/the-wikitext-long-term-dependency-language-modeling-dataset -
SQuAD：斯坦福问答数据集——应用广泛的问答和阅读理解数据集，其中每个问题的答案都以文本形式呈现
https://rajpurkar.github.io/SQuAD-explorer -
Billion Words 数据集：一种大型通用语言建模数据集。通常用于训练分布式单词表征，如 word2vec
http://www.statmt.org/lm-benchmark -
Common Crawl：网络的字节级抓取——最常用于学习单词嵌入。可从 Amazon S3 上免费获取。也可以用作网络数据集，因为它可在万维网进行抓取
http://commoncrawl.org/the-data -
Google Books Ngrams：来自 Google book 的连续字符。当单词首次被广泛使用时，提供一种简单的方法来探索
https://aws.amazon.com/datasets/google-books-ngrams -
Yelp 开源数据集：Yelp 数据集是用于 NLP 的 Yelp 业务、评论和用户数据的子集
https://www.yelp.com/dataset
9. 推荐和排名系统
-
Movielens：来自 Movielens 网站的电影评分数据集，各类大小都有
https://grouplens.org/datasets/movielens -
Million Song 数据集：Kaggle 上元数据丰富的大型开源数据集，可以帮助人们使用混合推荐系统
https://www.kaggle.com/c/msdchalleng -
Last.fm：音乐推荐数据集，可访问深层社交网络和其它可用于混合系统的元数据
http://grouplens.org/datasets/hetrec-2011 -
Book-Crossing 数据集：来自 Book-Crossing 社区。包含 278,858 位用户提供的约 271,379 本书的 1,149,780 个评分
http://www.informatik.uni-freiburg.de/~cziegler/BX -
Jester：来自 73,421 名用户对 100 个笑话的 410 万个连续评分（分数从 -10 至 10）
http://www.ieor.berkeley.edu/~goldberg/jester-data -
Netflix Prize：Netflix 发布了他们的电影评级数据集的匿名版；包含 480,000 名用户对 17,770 部电影的 1 亿个评分。首个主要的 Kaggle 风格数据挑战。随着隐私问题的出现，只能提供非正式版
http://www.netflixprize.com/
10. 语音和音乐数据集
-
2000 HUB5 English：最近在 Deep Speech 论文中使用的英语语音数据，从百度获取
https://catalog.ldc.upenn.edu/LDC2002T4 -
LibriSpeech：包含文本和语音的有声读物数据集。由多个朗读者阅读的近 500 小时的各种有声读物演讲内容组成，包含带有文本和语音的章节
http://www.openslr.org/12 -
VoxForge：带口音的清晰英语语音数据集。适用于提升不同口音或语调鲁棒性的案例
http://www.voxforge.org -
TIMIT：英语语音识别数据集
https://catalog.ldc.upenn.edu/LDC93S -
CHIME：嘈杂的语音识别挑战数据集。数据集包含真实、仿真和干净的录音。真实录音由 4 个扬声器在 4 个嘈杂位置的近 9000 个录音构成，仿真录音由多个语音环境和清晰的无噪声录音结合而成
http://spandh.dcs.shef.ac.uk/chime_challenge/data.htm -
TED-LIUM：TED 演讲的音频转录。1495 个 TED 演讲录音以及这些录音的文字转录
http://www-lium.univ-lemans.fr/en/content/ted-lium-corpus -
Piano-midi.de: 古典钢琴
http://www.piano-midi.de -
Nottingham : 超过 1000 首民
http://abc.sourceforge.net/NMD -
MuseData: 古典音乐评分的电子图书
http://musedata.stanford.edu -
JSB Chorales: 四部协奏
http://www.jsbchorales.net/index.shtml
11. 自动驾驶数据集
自动驾驶汽车需要使用大量高质量的数据集进行训练，以便他们可以准确地感知其环境和周围物体。
-
当前自动驾驶+AI的最大数据集。 包含超过100,000个视频，这些视频在一天中的不同时间和天气情况下提供1,100个小时以上的驾驶体验。 带注释的图像来自纽约和旧金山地区。
Berkeley DeepDrive BDD100k: https://bdd-data.berkeley.edu/ -
大型图像数据集，定义了26种不同的语义项，例如汽车，自行车，行人，建筑物，路灯等。
Baidu Apolloscapes: http://apolloscape.auto/ -
超过7个小时的高速公路行驶。详细信息包括汽车的速度，加速度，转向角和GPS坐标。
Comma.ai: https://archive.org/details/comma-dataset -
在一年的时间内，通过英国牛津的同一条路线的100多次重复。数据集捕获天气，交通和行人的不同组合，以及诸如建筑和道路工程等长期变化。
Oxford’s Robotic Car: https://robotcar-dataset.robots.ox.ac.uk/ -
记录了50个不同城市中的城市街道场景的大型数据集。
Cityscape Dataset: https://www.cityscapes-dataset.com/ -
该数据集对于自动驾驶车辆的感知和导航很有用。数据集在发达国家发现的道路上严重倾斜。
CSSAD Dataset: http://aplicaciones.cimat.mx/Personal/jbhayet/ccsad-dataset -
来自比利时佛兰德地区数千个物理上不同的交通标志的10000多个交通标志注释。
KUL Belgium Traffic Sign Dataset: http://www.vision.ee.ethz.ch/~timofter/traffic_signs/ -
在AgeLab收集的1,000多个小时的多传感器驾驶数据集的样本。
MIT AGE Lab: https://lexfridman.com/automated-synchronization-of-driving-data-video-audio-telemetry-accelerometer/ -
该数据集包括交通标志，车辆检测，交通信号灯和轨迹模式。
LISA: Laboratory for Intelligent & Safe Automobiles, UC San Diego Datasets: http://cvrr.ucsd.edu/LISA/datasets.html -
使用Python自动驾驶侠盗猎车手
https://github.com/sentdex/pygta5
12. 用于机器学习的政府公共数据集
人口统计数据是重大经济决策的基础，是改善政府和社会的有力工具。 使用公共政府数据进行训练的机器学习模型可以帮助决策者识别趋势，并为与人口减少或增长，老龄化和移民有关的问题做好准备。
-
该站点可以从多个美国政府机构下载数据。数据范围从政府预算到学校成绩。 请注意：许多数据需要进一步研究。
Data.gov: https://www.data.gov/ -
包含有关当地食物选择如何影响美国饮食的数据。
Food Environment Atlas: https://catalog.data.gov/dataset/food-environment-atlas-f4a22 -
美国学校系统财务状况的调查。
School system finances: https://catalog.data.gov/dataset/annual-survey-of-school-system-finances -
Data on chronic disease indicators in areas across the US.
Chronic disease data: https://catalog.data.gov/dataset/u-s-chronic-disease-indicators-cdi-e50c9 -
美国和世界各地有关教育机构和教育人口统计数据。
The US National Center for Education Statistics: https://nces.ed.gov/ -
英国最大的社会，经济和人口数据收集。
The UK Data Service: https://www.ukdataservice.ac.uk/ -
美国公共数据的全面可视化。
Data USA: https://datausa.io/
更多精彩内容请关注微信公众号 “优化与算法”和QQ讨论群1032493483