本文是 2023 年初学习 AIGC 相关概念的时候写的一些笔记，主要内容来自于腾讯的AIGC发展趋势报告 2023，和阅读报告时对一些技术背景的补充了解。比较适合像我这样的AIGC领域小白扫盲。下面开始具体内容

为什么 AI 能力在 2022 年火了？

总的来看，AIGC 在 2022 年的爆发，主要是得益于深度学习模型方面的技术创新。不断创新的生成算法、预训练模型、多模态等技术融合带来了 AIGC 技术变革，拥有通用性、基础性多模态、参数多、训练数据量大、生成内容高质稳定等特征的 AIGC 模型成为了自动化内容生产的“工厂”和“流水线”。

AIGC 是什么？

AIGC（Artifical Intelligence Generated Content），狭义的含义是指利用人工智能自动生成内容，广义上可以看作是像人类一样具备生成创造能力的 AI 技术。国内通常用 AIGC，国外常用 生成式 AI（Generative AI）的表述。

过去的人工智能偏向于分析能力，比如各种个性化推荐算法；而现在人工智能正在生成新的东西，实现了人工智能从理解、感知世界到生成、创造世界的跃迁。

基础概念

生成算法

几种基础的生成算法模型

让 GPT 简单解释一下这几种模型的概念和使用场景：

VAE（VariationalAutoencoders）：变分自动编码，基于变分下界约束得到的Encoder-Decoder模型对

Flow-based models：基于流的生成模型，学习一个非线性双射转换 (biiective transformation)，其将训练数据映射到另-个空间，在该空间上分布是可以因子化的整个模型架构依靠直接最大化 log-likelihood 来完成

GAN（Generative Adversarial Networks）：生成对抗网络，是一种用于生成模型的深度学习算法。GAN由两个神经网络组成，一个生成器和一个判别器。生成器试图生成与真实数据相似的假数据，而判别器则试图区分真实数据和假数据。两个网络相互对抗，最终生成器会生成越来越逼真的假数据。GAN广泛应用于图像、音频、视频等领域的生成任务。

CLIP（Contrastive Language-Image Pre-Training）：对比语言-图像预训练模型，是一种用于自然语言处理和计算机视觉的深度学习模型。CLIP使用对比学习的方法，将图像和文本嵌入到同一空间中，使得相似的图像和文本在空间中距离更近。CLIP可以用于图像分类、文本分类、图像检索、文本检索等任务。

Transformer：变形金刚模型，是一种用于自然语言处理的深度学习模型。Transformer使用自注意力机制来处理输入序列，能够捕捉长距离依赖关系。Transformer广泛应用于机器翻译、文本生成、问答系统等领域。BERT、GPT-3、LaMDA 等预训练模型都是基于 Transformer 模型建立的

Diffusion：扩散模型，是一种用于生成模型的深度学习算法。Diffusion通过在噪声上执行随机游走来生成样本，从而避免了需要计算所有可能样本的问题。扩散模型有两个过程，分别为扩散过程和逆扩散过程。在前向扩散阶段对图像逐步施加噪声，直至图像被破坏变成完全的高斯噪声，然后在逆向阶段学习从高斯噪声还原为原始图像的过程。经过训练，该模型可以应用这些去噪方法，从随机输入中合成新的“干净”数据。Diffusion广泛应用于图像、音频、视频等领域的生成任务。

扩散模型相对 GAN 来说具有优势，已经取代 GAN 成为最先进的图像生成器。2021 年6 月 OpenAI 发表论文明确了这个结论和发展趋势。

预训练模型

随着 2018 年谷歌发布基于 Transformer 机器学习方法的自然语言处理预训练模型 BERT，人工智能领域进入了大炼模型参数的预训练模型时代。AI 预训练模型，又称为大模型、基础模型 (foundation model)，即基于大量数据(通常使用大规模自我监督学习)训练的、拥有量参数的模型，可以适应广泛的下游任务。这些模型基于迁移学习的思想和深度学习的最新进展，以及大规模应用的计算机系统，展现了令人惊讶的涌现能力，并显著提高各种下游任务的性能。

鉴于这种潜力，预训练模型成为 AI 技术发展的范式变革，许多跨领域的 A 系统将直接建立在预训练模型上。具体到 AIGC 领域，A 预训练模型可以实现多任务、多语言、多方式在各种内容的生成上将扮演关键角色。

按照基本类型分类，预训练模型包括:

(1) 自然语言处理(NLP) 预训练模型，如谷歌的 LaMDA和 PaLM、Open Al的 GPT系列

(2) 计算机视觉(CV) 预训练模型，如微软的 Florence:(3)多模态预训练模型，即融合文字、图片、音视频等多种内容形式

多模态

2021 年 OpenAI 开源跨模态深度学习模型 CLIP（Contrastive Language-Image Pre-Training）。CLIP 模型能够将文字和图像进行关联，并且关联的特征非常丰富。CLIP 模型搜集了网络上超过 40 亿个“文本 - 图像”训练数据，这为后续 AIGC 尤其是输入文本生成图像/视频应用的落地奠定了基础。目前预训练模型已经从早期单一的NLP或CV模型，发展到现在语言文字、图形图像、音视频等多模态、跨模态模型。

CLIP 让文字和图片两个模态找到能够对话的交界点，成为 DALL·E，DALL·E2.0，Stable Diffusion 等突破性 AIGC 成果的基石。

AIGC 消费端

AIGC 应用现状概览：有望塑造数字内容生产与交互新范式，成为未来互联网的内容生成基础设施。

AIGC 在基于自然语言的文本、语音和图片生成领域初步令人满意，特别是知识类中短文，插画等高度风格化的图片创作，创作效果可以与有中级经验的创作者相匹敌；在视频和 3D 等媒介复杂度高的领域处于探索阶段，但成长很快。

3、AIGC 将日益成为未来 3D 互联网的基础支撑

互联网向下一代技术升级和演进的重要方向是从“在线”走向“在场”，迈向 3D 互联网时代AIGC 将成为打造虚实集成世界的基石。AIGC为 3D 互联网带来的价值，既包括 3D 模型、场景、角色制作能效的提升，也能像 Al作画那样，为创作者激发新的灵感。传统的 3D 制作需要耗费大量时间和人力成本。以 2018年发售的游戏《荒野大镖客 2》为例，为了打造约 60 平方公里的虚拟场景、先后有六百余名美术历经 8 年完成。

目前 AIGC 在3D 模型领域还处于探索阶段，从基本原理和使用的模型来看，仍然以扩散模型为基础，基于文字-图片-3D 路径进行处理。谷歌（DreamFusion）和英伟达（Magic3D）在这一领域较为领先，先后在2022 年发布了自己的文字生成 3D 的 AI 模型。1但从生成效果看，距离现在人工制作 3D 容的平均质量还有距离; 生成速度也未能尽如人意。

4、聊天机器人和数字人成为新的、更包容性的用户交互界面，不断拓展应用领域

聊天机器人：ChatGPT ，对话式 AIGC，在搜索、知识传播等领域有很大的应用空间。正如Open Al的 CEO Sam Altman 在Twitter 上说过，AIGC 的最终目标是做一个类似于像新时代的搜索引擎。目前的 AIGC 已经可以直面“搜索引擎”产品和“问答社区”。Google 已经为 ChatGPT 带来的威胁发布“红色警报”，着手进行紧急应对。

数字人：

AIGC 发力点：

1） 提升数字人的制作效能。如通过用户上传的照片、视频，通过 AIGC 生成写实类型的数字人。基于 AIGC 的 3D 数字人建模已经初步实现产品化，目前精度可以达到次时代游戏人物级别。如英伟达的 omniverse avatar。

2）AIGC 支撑了 AI 驱动数字人多模态交互中的识别感知和分析决策功能，使其更神似人。

• ASR 是自动语音识别（Automatic Speech Recognition）的缩写，是指将人类语音转换为计算机可识别的文本的技术。
• NLP 是自然语言处理（Natural Language Processing）的缩写，是指计算机处理和理解人类语言的技术，包括文本分析、语音识别、语音合成、机器翻译等。
• TTS 是文本到语音（Text-to-Speech）的缩写，是指将计算机中的文本转换为人类可听的语音的技术。

more todo...

我的疑问❓

大模型会宕机吗？宕机之后会丢失能力/记忆吗？