从GPT-3到CHAT-GPT
回顾2020年7月
2020年7月份有一个重大新闻，人工智能科研公司OpenAI，推出了它的新一代语言模型 GPT-3（Generative Pretrained Transformer 3），这个事情在社交媒体影响甚广，甚至有一篇文章《一个新型 AI 震惊硅谷：它像一个高智商的人，颠覆对 AI 的认知》，这个标题并不算夸张，文章写的也很好，你可以找来读读
关于GPT-3的发展历史，我在OpenAI Playground 提交了请求，如下是她自己对自己的描述
给我写一篇关于GPT-3发展历史的文章
GPT-3是一种自然语言处理（NLP）技术，它是一种自然语言生成技术，可以根据给定的输入生成文本输出。它的发展历史可以追溯到2012年，当时OpenAI团队推出了第一代GPT（Generative Pre-trained Transformer）。
GPT-1是一种强大的多层网络，它可以像人类一样理解和利用自然语言，可以根据已给定的输入来生成自然语言文本。GPT-1的模型具有灵活性，它可以根据输入语句的上下文和语境，生成出更有意义的文本内容。GPT-1也支持自动化任务，例如文本转换、文本摘要和文本翻译等。
此后，OpenAI又推出了GPT-2，它是一种比GPT-1更先进的自然语言生成技术。GPT-2模型使用一种更大的数据集，模型的参数也比GPT-1更多。GPT-2模型的精度比GPT-1更高，它可以根据更细致的上下文和语境，生成出更有意义的文本内容。
最近，OpenAI又推出了GPT-3模型，GPT-3是一个大规模的自然语言处理（NLP）模型。GPT-3可以根据输入语句的上下文和语境，生成出更有意义的文本内容。GPT-3模型可以使用更大的数据集，模型的参数也比GPT-2更多，可以根据更细致的上下文和语境，生成出更有意义的文本内容。
总的来说，GPT-3是一种极具前瞻性的自然语言处理（NLP）技术，它的出现大大提高了自然语言处理的精度和效率。GPT-3可以用于各种自然语言处理（NLP）的应用，包括文本理解、自动问答、文本生成等。GPT-3的发展将继续推动自然语言处理（NLP）技术的发展，为我们提供更加智能的自然语言处理（NLP）解决方案。
GPT-3 能写情书、会写诗、写产品说明文档、写剧本。它会翻译，会回答问题，会完形填空，会做阅读理解题，要命的是可以陪你聊天 ，并且让你感觉不到她是AI
2010年以后的语言模型几乎全都是基于深度神经网络（DNN）的，衡量一个神经网络的大小可以看它有多少个“参数”。网络的每一个神经元结构点上都有若干个可调参数，参数描写了这个网络。2012 年，在 ImageNet 竞赛中获得冠军的一个能识别手写阿拉伯数字的简单神经网络，它有 1 万多个参数。代表当时图形识别技术最先进水平的 AlexNet，有 6200 万个参数1
GPT-3 的上一代，OpenAI 的 GPT-2，有 15 亿个参数。Nvidia 公司的一个语言模型 Megatron，有 80 亿个参数。微软的“图灵 NLG”，有 170 亿个参数。而GPT-3，有 1750 亿个参数。而下一代GPT-4的参数量将是GPT-4参数量的500倍
硅谷创业圈有个概念叫“十倍思维”，就是说你的新产品得比别人好十倍，拿出来才有意思，我感觉现在OpenAI弄的神经网络就很有十倍思维的味道
2020年的GPT-3，还只是极客圈里广泛传播，OpenAI 的CEO说，GPT-3 这个热度其实是个 hype。那时候的GPT-3远没有如今的江湖地位和江湖声誉，很多开发者甚至都不太知道，但是我们团队一直在使用AI代码补全插件Tabnine，其基于GPT-2
GPT-3的近况
最近，ChatGPT 🔥了，这是OpenAI时隔了2年半，推出的一个在线对话应用，之前GPT-3一直都是内测，需要申请账号（关键是不好申请，中签率堪比北京车牌摇号）现在OpenAI不但开放了普通用户注册，而且还升级了应用模型，ChatGPT这个对话应用，每个人都可以上手（中国和俄罗斯可能有一定的门槛）
从此之后，每个人都可以和AI对话，借助AI来提高生产力，就我本人这几天的使用体验来看，十分惊喜，有一种如沐春风，如获至宝的感觉，可以说GPT-3是一位得力的助手
如何注册？
首先你要去OpenAI网站（https://beta.openai.com/ ）注册一个账号，每个新注册用户自动获得18美元的试用额度，这个额度可以用挺长时间，快一个星期了，我只用了不到0.2🔪
注册的时候需要手机号，BUT目前不支持中国大陆的手机号，如果想玩的话，你需要一个境外的手机号，或者使用境外的接码平台3 （链接中的接码平台是付费的，可以用支付宝充1美元，甚至这个接码平台内嵌了一个CHATGPT的教程），再或者你可以在电商平台买一个 OpenAI 账号，又或者你有朋友在国外，让他们买好票，你上车就行
怎么玩？
注册好账号，你可以有2个选择：
🅰️ 去 Playground (https://beta.openai.com/playground ) 开练
🅱️ 去CHATGPT（https://chat.openai.com/chat）开聊
无论哪个选择，你要做的就是在页面中输入你想让AI干的事儿。我们使用🅰️来一个测试，我输入：「写一封情书」，绿色的是她给的答复
可见，GPT-3是支持中文的，但是使用中文的响应时间明显慢于英文，大概率她是将中文翻译成英文，在得到结果之后再把英文结果翻译为中文展示。最后就GPT-3这个文笔，那对象还不得马上来么
在Playground页面的右侧可以选择
模型（Model）
温度（Temperature）
最大输出长度（Maximum length）
现在默认的模型就是11月刚刚升级的、基于GPT-3的 text-davinci-003，也是最好的一个。「温度」代表AI输出的自由度，也就是有多大的随机性：如果你想让它更有创造性，可以调高这个参数；如果你发现有时候她话没说完，就"没声了"，就需要把最大输出长度设置大一点
接着，我们使用🅱️ 做一个测试，问一个我同事关心的问题
就我的使用体验来看，ChatGPT输出的答案不如 Playground 的那个 text-davinci-003 模型好，但是它的UI更友好。另外网上有一个 Chrome 浏览器的插件4，可以在谷歌的搜索结果页插入 ChatGPT 的回答（下图），让用户比较谁回答得更好
最后
2022年可能将是 AI 应用的元年（虽然已经多次AI元年了），人工智能对人类社会的重大改造，或许就从今年开始了，望你工作中有AI给你打辅助，生活中有AI陪你唠家常
Last 互动一下，GPT-3的写的那封情书，有没有touch到你？