一、 ChatGPT、大模型与AIGC

1. 什么是ChatGPT

ChatGPT是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型,一款人工智能技术驱动的自然语言处理工具。它的功能很强大,会聊天会写代码,会写邮件也能写文案,不仅多才多艺,而且语言像人类一样十分流畅,完全区分于以往人们诟病的人工智障。这些惊艳的能力使其一经发布迅速风靡全球,甚至现在官方网站已经满负荷无法登录。

在ChatGPT中,Chat指对话,GPT是Generative Pre-Trained Transformer(生成型预训练变换模型)的缩写。Generative意为生成型,在自然语言处理中,“生成”意味着从0到1,即由机器自己生成要说的话,此概念与旨在处理已有文本的“理解”相对。自然语言理解(NLU,Natural Language Understanding)与自然语言生成(NLG,Natural Language Generation)是两个相辅相成的任务,ChatGPT能够学习和理解人类的语言,这是自然语言理解;根据它的理解,它又生成了与你的对话,能和你聊天,甚至撰写邮件、视频脚本、文案等等,这是自然语言生成。

Pre-trained意为预训练。在自然语言处理领域中,预训练不针对具体的任务,而是在大量通用的语料上进行训练,得到具有通用语言知识的通用模型。得到预训练模型后,可在不同的应用场景再针对性地对模型进行调整(微调,fine-tuning)。举例理解,预训练就像一个人从小学上到大学,掌握了一些基本的知识,拥有了一定的人际交往能力;微调就像这个人参加工作,自身对工作岗位再进行知识的补充和环境的适应。

Transformer是几年前谷歌提出的一种深度学习模型。传统的语言处理模型是串行的,即需要按照顺序处理句子中的词和符号;但Transformer却打破了时序计算逻辑的限制,能够进行并行学习。并行化意味着如果硬件条件允许,可以训练出真正的大模型。

ChatGPT就是一种令人惊诧的大模型,其出现突破了人们对大模型训练效果的认知,也引发了学界工业界对未来AI发展方向的反思。

2. 什么是大模型

2021年8月份,李飞飞和100多位学者联名发表一份200多页的研究报告《On the Opportunities and Risk of Foundation Models》中,将大模型统一命名为Foundation Models,可以翻译为基础模型或者是基石模型。大模型具有极大的参数规模、需要海量的数据进行训练以及投入巨大的算力资源。以与ChatGPT基于相同技术构建的GPT-3为例,其具有 1750 亿参数,使用的最大数据集在处理前容量达到了 45TB, 训练费用超过 1200 万美元,成本之高,投入之巨令人乍舌。

大模型的效果相对好,精度相对高,一定程度上也解决了通用性难题。在一些领域的任务中,由于现有AI处理能力的有限,衍生出了许多中间领域,处理不同的问题也需要不同的模型和算法,模式很像小作坊;而大模型则提供了“预训练大模型+下游任务微调”的方式,能有效减少许多衍生出来的中间环节,整合碎片化的需求差异,为手工作坊向工业化迈进提供了“以不变应万变”的新思路,为AI模型大规模商用落地提供了可能。当然,其成本高昂,众多企业难以负担也是无法避免的问题。

大模型的出现使得AI的生成能力获得大幅提升,基础能力的突破也推动了诸多领域的进一步发展,如AIGC(AI- Generated Content,人工智能生成内容)。ChatGPT就是AIGC能力的一个集中体现,ChatGPT的规模化和商业化应用或将AIGC推到新高度。

3. 什么是AIGC

AIGC即AI Generated Content,是指利用人工智能技术来生成内容,ChatGPT会的写小说,写脚本,写代码这种功能,就是AIGC的范畴。在文字之外的其他模态,还有AI绘画、AI配乐等应用,以及逐渐还有跨模态的,比如由文本的描述生成视觉的形容等等。

AIGC在丰富人们文娱生活的同时,也有诸多产业机会。如之前很热的元宇宙,AIGC可以迅速生成元宇宙中需要的海量数字内容,为元宇宙落地提供技术可行性;这几年各大赛事、晚会频频亮相的AI生成“虚拟人”,也是元宇宙落地的一个方向;离现有生活工作近一些的,如AI辅助生成文稿帮助生产力提升,进行低层次任务辅助决策等等。

但随着AIGC的发展,一些问题也随之出现,比如科技伦理,版权归属等等,这些仍有待进一步探索。

二、 ChatGPT特点及应用

上一部分简单介绍了ChatGPT是什么,并由此介绍了其更大的外延部分:技术角度其所属的大模型,以及应用领域其所属的AIGC。现在把视野重新聚焦到ChatGPT本身,来看一看ChatGPT有怎样的特点,有哪些可应用的领域。

1. ChatGPT的特点

ChatGPT的特点,直观来看有这样几点:语言流畅但容易瞎说,老知识记得牢新知识接受慢。

ChatGPT在形式语言能力上的表现是优秀的,即能让你感觉其回答非常流畅自然,就像和人在对话一样,如在微信接口中问他“人类会毁灭吗”,他会回答“……所以只要我们聪明地把握未来发展的脉络,人类可以摆脱各种生存威胁而自由自在地开展生活”,这让人很难辨别与自己聊天的是人类还是机器。此外,ChatGPT的能力来源于庞大的数据集,这些数据包含各个领域,所以ChatGPT的知识会十分“渊博”,从天文地理到诗词歌赋,它都能说个有模有样,甚至能将不同的领域进行融合并加以“思辨”。

但在流畅的语言,渊博的知识背后,ChatGPT还是存在一些“硬伤”,比如认知能力有限(对于一些事情并没有独到的见解,空洞的车轱辘话来回说,复杂或者深入的问题无法应对),推理能力和数理逻辑的欠缺(算十以内加减法对其来说就是巨大的考验)。ChatGPT也无法保证生成的正确性,这时其强大的形式语言能力就是一种灾难,它会一本正经的胡说八道,让人类无法辨别真伪。另外,新知识是会不断涌现的,而ChatGPT这类大模型由于其训练成本高企,也无法一出现新知识就重新训练模型,而采用微调来更新知识的方式,又容易产生新数据导入带来的原有知识灾难性遗忘问题。

ChatGPT虽然表现惊艳,但目前来看,还是只有人类的“外壳”,但没有人类的“灵魂”。如何让ChatGPT具有逻辑能力,说出正确的事情,并且能与时俱进,也是未来要进行探索的课题了。

2. ChatGPT的应用

根据ChatGPT的特点,扬长避短的使用原则就是将其作为帮手而不是全权负责人;用它减少一些工作量而不是完全取代。

ChatGPT的优势在生成流畅语言的能力,所以可以让它做一些基本的文字生成工作,比如写一些视频脚本、合约报告的初稿,或者用其对一些知识及数据进行分析提炼,提供初步的分析报告,之后再人工核实正确性并进行优化,以加强对风险和机会的识别应对速度。文字创作涉及的领域十分广泛,如市场营销、智能客服的话术生成,一些投研行研报告的生成,只要涉及内容创作的领域,都可以用类似的思路来解决。

但ChatGPT在工作中的大规模应用目前仍有待观望。比如涉及到保密和隐私的问题,目前ChatGPT未开源,需要把数据发送到云端进行接口调用,并且为覆盖高昂的模型训练成本,日后开发大模型的公司很可能从开放免费接口到需要付费使用,这就可能涉及到商业数据隐私保护的问题;日常工作中知识更新换代极快,对人类而言很容易学习的知识,对AI来说可能会给已有模型带来灾难;ChatGPT训练代价高企,一般公司无法负担如此巨大的成本,一家模型大家使用又有科技垄断的风险……无论是模型本身的不足,还是社会框架的局限,都使得ChatGPT的大规模落地仍有一定挑战,所以短期内我们或许不会看到大量工作被AI所取代。

三、 大模型将何去何从

ChatGPT的到来,除了刷新了人们对AI智能化水平的认知上限,也给研究机构和企业带来了危机感。

回顾近年来大模型的发展,首先是国外科技巨头的抢滩登陆,从2018年谷歌发布的3亿参数模型BERT开始,OpenAI、微软、英伟达等科技巨头纷纷加入大模型的烧钱大战,不断刷新模型参数的记录;

国内的起步相对较晚,但发展势头猛烈,2021年4月华为云发布盘古系列超大规模预训练模型,包括30亿参数的视觉(CV)预训练模型,以及与循环智能、鹏城实验室联合开发的千亿参数、40TB训练数据的中文语言(NLP)预训练模型; 2021年4月19日,阿里达摩院发布了 270 亿参数、1TB + 训练数据的中文预训练语言模型 PLUG……大模型持续火热,国内科技巨头也陆续加入模型大战中;

而ChatGPT推出后,各大巨头已剑拔弩张,在应用落地上的军备竞赛一触即发。在谷歌发布了下一代对话AI系统Bard之后,微软在第二天就官宣了引入ChatGPT支持新版必应和Edge的消息,随后百度也迅速官宣了大模型新项目“文心一言”;

国际上的主流学术机构 (如斯坦福大学,伯克利加州大学) 和主流业界研究院(如谷歌大脑,微软研究院)也已经全面拥抱大模型。“身兼数职,多才多艺”的大模型或为诸多领域带来“诸神黄昏”,从研究到落地,在大模型大规模参数的降维打击下,不知什么又会被湮灭在时代的车轮下。

不过大模型的巨大规模也带来一些负面影响,如投入成本巨大,耗电带来的碳排放量也十分惊人,模型规模增大的边际效用递减……种种原因,未来或许并不会被大模型全面占领,阿里达摩院在发布的报告里认为,未来大模型的参数规模发展将进入冷静期,大模型与相关联的小模型协同将是未来的发展方向;百度研究院发布2022年十大科技趋势预测认为,备受业界关注的超大规模预训练模型,将呈现知识增强、跨模态统一建模、多学习方式共同演进的趋势,并逐渐实用化,破除盲目增加参数规模的“军备竞赛”。

大模型的研究应用目前仍在探索阶段,现在做出定论为时尚早,但其带来的ChatGPT的出现,以及相关的AIGC领域的蓬勃发展,都在给我们发出强烈的信号——AI新时代的幕布已被掀开。

本文简要介绍了什么是ChatGPT,又延伸介绍了大模型和AIGC,以及一些关于ChatGPT应用和大模型发展之路的思考。在文章的结尾,我们说回一个由ChatGPT引发,但人类又在一直思索的问题:人类会不会被AI取代?

虽然AI的进步一次又一次地突破人类认知,但作为有“灵魂”的生物,或许我们应该对自己有些信心。对人类来说,最宝贵的能力或许不是记忆,也不是能像机器一样不眠不休,我们最宝贵的,还是对过往经验的领悟,和不断学习新知识的能力。我们人类一直是这样,不断地成长,不断地犯错,然后去反思,去学习吸收新事物,再把这些内化成自己的能力,把一代代人的精华凝结成经验并接续传递下去。AI的发展归根结底还是为人类所用,相比惧怕AI取代自己,莫不如继续发扬优势,从人类的手中,推动AI的继续演化,这或许仍是人类十分高明,AI无法追赶的地方。