这是一篇关于无监督学习的综述,里面主要就自监督学习进行了介绍.无监督学习研究的主要目标是预训练一个模型网络，供其他任务(downstream tasks)使用。在无监督方式中产生的通用的特征通常能够用到分类任务中：例如在 ImageNet 上训练会表现出很好的结果，这与监督模型非常接近。 迄今为止，监督模型总是比无监督的预训练模型表现的要好。其主要原因是监督模型对数据集的特性编码的更好。但如果模型运用到其他任务，监督工作是可以减少的。在这方面，希望达到的目标是无监督训练可以提供通用的特征，用于学习并实现其它任务(downstream tasks)。

摘要:

      为了在计算机视觉应用中从图像或视频中获得更好的视觉特征学习性能，通常需要大规模的标记数据来训练深度神经网络。为了避免大规模数据集收集和标注的大量开销.自监督学习作为无监督学习方法的一个子集，在不使用任何人类标注的标签的情况下，从大规模无标记数据中学习图像和视频的通用的特征。本文对基于深度学习的自监督通用视觉特征学习方法进行了广泛的综述。首先，描述了该领域的动机、通用流程(pipeline)和术语。在此基础上，总结了常用的用于自监督学习的深度神经网络体系结构。接下来，回顾了自监督学习方法的模式和评价指标，然后介绍了常用的图像和视频数据集以及现有的自监督视觉特征学习方法。最后，总结和讨论了基于基准数据集的定量性能比较方法在图像和视频特征学习中的应用。最后，对本文的研究进行了总结，并提出了一套具有发展前景的自监督视觉特征学习方法

The Ten Most Powerful Principles for Quality in (Software and) Software Organizations for Dependable Systems

可靠系统软件组织的十大质量原则

摘要

软件知道自己有问题。解决方案比比皆是，但是哪些解决方案有效呢？我们在成功的项目中可以遵守的最基本的基本原则是什么？这篇文章提出了10个没有被广泛传授的强有力的原则。它们基于测量、量化和反馈的思想。众所周知，我们在“数字”方面的成熟度很低。希望随着我们迈向更高的成熟度水平，我们也将开始意识到思想的度量和数字表达的力量。我们现在能做什么呢？我建议第一步是认识到你们所有的质量要求都可以而且应该用数字来规定。我不是在说“数虫子”。我说的是量化质量，如安全性、可移植性、适应性、可维护性、健壮性、可用性、可靠性和性能。决定在您的项目中将它们设置为数字。今天起草一些数字要求，明天给您的团队带来惊喜

Abstract

目前大多数非监督的特征学习的数据集一般都是小且经过精挑细选的,比如说ImageNet,因为评估transfer task的时候使用non-curated的原数据会降低特征的质量.
这篇文章的目的就是去研究在non-curated的数据下的非监督学习的方式.针对这一问题，提出了一种新的无监督方法，即利用自监督和聚类的方法来获取大规模数据中的complementary statistics。我们对来自YFCC100M的9600万张图像进行了验证.在无监督的基准测试方法中取得state of art的效果.
我们还证明，用我们的方法训练一个监督的VGG-16(使用deepercluster得到的卷积层的权重进行对网络进行初始化)，在imagenet的验证集上达到了74.9%的top-1的分类精度，比从头开始训练的网络(vgg-16)提高了+0.8%。

论文地址：Unsupervised Feature Learning via Non-Parametric Instance Discrimination
github代码:NCE代码

摘要:

在有标签数据上训练的神经网络分类器能够很好的捕捉图片间的视觉相似性。文章假设：我们能通过训练基于实例（将每一个样本视为单独的类别）的分类器代替基于类别的分类器，得到可以捕捉视觉相似性的特征表达。我们将其总结为非参数化实例级判别，并且通过噪声对比估计（noise-contrastive estimation）解决大量实例类别引起的计算困难。
我们的实验证明了，在无监督学习的限制下，我们的方法在ImageNet数据集上超越了当前最好方法。采用更多的训练数据和更先进的网络结构，我们的方法能够进一步提高分类准确率。通过微调学习到的特征，我们能观察到与半监督学习和目标检测任务上相当的结果。同时，我们的非参数化模型十分紧致：每张图片仅需要提取128维的特征，百万量级的图片也仅需要600MB存储空间，使得实际运行时能够很快达成近邻检索的目的。