|
据了解，目前的AI聊天机器人ChatGPT，由GPT-3.5系列中的模型微调而成。GPT-4是未来进一步升级的模型。 微软德国公司的技术总监AndreasBraun表示，「有了GPT-4，AI就有可能生成文本、图像甚至视频。」而以前版本的ChatGPT只能够生成文本。」 GPT-4作为多模态语言的另一个强大功能在于，它可以管理不同语言的数据输入和输出。 比方说，你可以用西班牙语对ChatGPT提出要求，而得到的生成文本是英语。显然，这种新奇的东西对翻译工具也会有很大的帮助。 Braun将GPT-4描述为人工智能领域的游戏规则改变者，它将向着拥有人类的解释能力这一目标更进一步。 GPT，即GenerativePre-trainedTransformer，是由OpenAI提出的一系列非常强大的预训练语言模型。该系列模型基于互联网上的可用数据上进行训练，在NLP（自然语言处理）方面表现卓越，可用于问答、文章生成、机器翻译、代码生成和对话AI等。 在GPT系列模型推出之前，传统的NLP模型都是针对特定任务（如分类、翻译等）进行训练的，并且往往使用监督学习，这就导致了两个问题：缺乏大量的标注数据，模型也无法概括和泛化任务。 于是，OpenAI在2018年推出了GPT-1，模型参数数量为1.17亿，通过未标注的数据训练出一种生成式语言模型，再根据特定的下游任务进行微调，将无监督学习作为有监督模型的预训练目标。 时隔一年后，2019年具有15亿参数的GPT-2出现。与GPT-1相比，GPT-2在结构上并没有太多创新与设计，使用了更大的数据集和更多的模型参数进行训练，以此强化并提高模型性能。 从GPT-1的1.17亿到GPT-2的15亿，超10倍的参数差距带来了性能上的飞跃。这似乎意味着，随着容量和参数量的增多，模型性能还有更大的潜力——因此，2020年GPT-3的参数量翻了100倍：1750亿，其预训练数据量也高达45TB（GPT-2是40GB，GPT-1约5GB）。 事实证明，海量参数确实让GPT-3具备了更强大的性能，它在下游任务表现的非常好。即便是复杂的NLP任务，GPT-3也表现惊艳：可以模仿人类写作，编写SQL查询语句、React或JavaScript代码等。 回顾GPT-1、GPT-2和GPT-3这一路的发展，许多人对GPT-4寄予厚望，甚至还有消息称GPT-4的参数量将高达100万亿。
| 
AI
1935 人阅读
|
0 人回复
