什么是taste？你显然是世界上公认在AI研究方面品味最好的人，你是深度学习历史上许多最重要突破的共同作者，从AlexNet到GPT-3等等。你如何描述自己产生这些想法的过程？

Ilya Sutskever:

我可以就我自己来谈谈这个问题。我认为不同的人有不同的方式。但有一件事在个人层面指引着我，

那就是一种关于AI应有形态的美学——

通过思考人类是怎样的，但要正确地思考。很容易错误地思考人类是怎样的，但正确地思考人类意味着什么呢？

我举几个例子。人工神经元的概念直接受到大脑的启发，这是一个很棒的想法。为什么？因为你会说，当然，大脑有各种不同的器官，有褶皱。但褶皱可能不重要。为什么我们认为神经元重要？因为神经元数量很多，感觉就是对的，所以你需要神经元。是的，你需要某种局部学习规则来改变连接。你需要某种局部学习规则来改变神经元之间的连接。对，这感觉上是大脑可能在做的事情。

分布式表示的概念。大脑对经验做出响应——或者说神经网络应该从经验中学习，不是响应。大脑从经验中学习，神经网络从经验中学习。你会问自己，某些东西是否是根本性的，事物应该是怎样的。

是的，我认为这一直在很大程度上指引着我。

—————
从多个角度思考，追寻某种美感——美、简洁。

丑陋没有容身之地，只有美、简洁、优雅，正确地从大脑获得启发。
——————

所有这些东西需要同时存在，它们越是同时存在，你就越能对自上而下的信念有信心。

然后这种自上而下的信念就是在实验结果与你矛盾时支撑你的东西。因为如果你总是只相信数据，有时候你可能在做正确的事情，但存在bug。但你不知道有bug。你怎么知道有bug？你怎么知道应该继续调试，还是得出结论说这是错误的方向？嗯，这就是自上而下的——你可以说事情必须是这样的，对吧？类似这样的东西必须能行得通。

因此，我们必须继续前进。这就是自上而下的信念，它基于这种多方面的美感和来自大脑的启发。