ChatGPT编年史
我们来梳理一个时间轴。ChatGPT是对话式UI + GPT–3.5系列模型，我们以最具代表性的论文、模型、API为主线，梳理到今天。
2020之前- 2017年6月，Google发布Transformer论文。- 2017年6月，7月，OpenAI发布人类喜好的强化学习算法、PPO算法，都是ChatGPT用到的算法。- 2018年6月，OpenAI发布GPT-1.- 2018年11月，Google发布BERT，此后NLP领域主要基于这个框架研究下游任务。- 2019年2月，OpenAI发布GPT-2，OpenAI获得了自信，此后专注于GPT.
2020年
– 年初，Covid-19爆发。
– 1月，OpenAI发布语言模型的Scaling Law（概念：模型能力跟参数规模、数据规模强相关），OpenAI获得了在数据和参数规模上Scaling-up的信心。
– 5月，GPT-3论文发布。
– 6月，GPT-3 API发布。
– 9月，ChatGPT的关键原型算法相关论文发布。
– 12月，欧洲机构发布用于GPT-3复现的开源数据集。
2021年
– 7月，OpenAI发布Copilot原型算法。
– 8月，Codex API发布。
– 11月，GPT-3 API Public Release，不对中国开放。
2022年
– 1月，GPT-3.5 API (text-davinci-002)发布，该模型经过Github代码的训练加持，推理能力显著提升（该假设的因果关系待学术界论证），经过Alignment技术的加持，Follow人类指令的能力显著提升，输出结果有用性和无害性显著提升。
– 3月，GPT-3.5论文发布，公开Alignment算法。
– 5月，OpenAI Codex已经被70个应用使用，包括微软收购的Github的Copilot.
– 8月，Stability AI开源StableDiffusion，文生图的算法的效果可用、速度可行、代码开源同时发生，引爆图片生成。一时间，在中国，AIGC似乎就是图片生成的代名词。
– 9月，Sequoia Capital发布Generative AI: A Creative New World博客。
– 中国研究人员和开发者，没有OpenAI的API权限。但图片生成却人人都可以尝试，于是互联网似乎只注意到了图片生成，对GPT大语言模型的关注度进一步下降。
– 经过接近一年的API接入和UI探索、近一年的思维链（Chain of Thought）等Prompt Engineering技术试错、模型加速等技术（如Flash Attention、Fixed-Point）带来的成本和延迟下降，GPT-3.5的模型潜力得到开发（变得Better、Faster and Cheaper）, Copy.ai, Jasper等文本生成类公司的产品逐渐成熟。
– 11月，OpenAI发布GPT3.5 API的新模型(text-davinci-003).
– 12月1日，ChatGPT发布。Musk等名流开始谈论ChatGPT，引爆英文互联网。
– 12月初，中国互联网的自媒体逐渐开始讨论ChatGPT，主要以翻译twitter的方式。知乎上有学者开始反思。一周后，关注指数下降，两个月来只剩下AI自媒体把ChatGPT作为自己的主要关注内容。
2023年
– 1月，微软宣布投资OpenAI数十亿美元，并将GPT加入全家桶。
– 2月，中国春节结束，微软和Google你方唱罢我登场，纳斯达克财报季，AI被反复提起。中国互联网是认识微软的，ChatGPT引爆中国互联网，关注指数飙升。
值得注意的是，2020年以来这三年，正是OpenAI的GPT发展、壮大、产品化的三年。
想想2020年的这三年，我们在干什么？
