Рет қаралды 13,219
* 人类是怎么训练出了一只聪明的莎士比亚的猴子
* ChatGPT横空出世
* 无限猴子定理-让一只猴子在打字机上随机地按键,当按键时间达到无穷时,几乎必然能够打出任何给定的文字,比如莎士比亚的全套著作。
* 什么是语言模型
* 语言模型的历史
* GPT家族的历史
* GPT-3的语料包含什么
丰富的语言文本:GPT-3的语料包含了大量的语言文本,包括小说、新闻、网页、博客、社交媒体等各种类型的文本。这些文本来自于不同的语言、文化背景,并且涵盖了广泛的话题。
多样化的语言表示:GPT-3的语料涵盖了多种语言表示方法,包括文本、图像、音频、视频等多种形式。这使得GPT-3模型能够捕捉到不同类型的语言信息,并实现更为丰富的语言表示能力。
深度的语言理解:GPT-3的语料还包含了大量的语言理解信息,如语义、句法、语用等。这使得GPT-3模型能够更深入地理解语言文本的含义,并能够更准确地完成各种自然语言处理任务。
* GPT-2和GPT-3为什么看起来有智能?
完全的无监督学习
输入大量的人类社会的语料知识库
然后,你给它一个开头,它就可以一直写一下
根据你的开头可以写出任何东西
* Google和WebGPT
* ChatGPT/InstructGPT是怎么炼成的?
收集示例数据,训练一个有监督的模型
收集比较数据,训练一个奖励模型
根据奖励模型,对有监督模型进行持续的强化学习