Transformer 架构的应用早已超越语言领域:生成视频的 Sora 以及各类音频模型同样采用 Transformer,但它们不属于大型语言模型(LLM),原因是它们并不处理文本语言。
这句话大体逻辑正确但表述可以严谨化LLM 的定义边界大型语言模型的判定标准模型的核心输入‑输出对象是人类自然文本学习的是文本语义、词语语序、人类语言语法与文本知识判定依据不是底层是否用 Transformer而是建模的数据类型和任务目标。分层解释Transformer 只是通用骨干架构并不是语言模型专属。Transformer 依靠自注意力机制适配序列型数据文本、音频波形、视频帧序列、蛋白质序列、时间序列都可以包装成序列送入 Transformer。LLM例如 GPT‑4、Llama输入输出单元是 token‑化后的文本 token预训练数据为海量书籍、网页文本目标建模人类语言Sora视频模型把视频帧、时序信息分块为视觉 token它学习画面变化、物体运动数据是视频片段全程没有人类文本作为基础训练主体因此不属于 LLM音频 Transformer 模型将音频切分成声学 token学习声纹、语调、声音时序建模对象是声学信号而非文字同样不属于 LLM。补充两处细节修正很多音频、视频模型可以接收文本作为条件提示词Sora 依靠文本提示生成视频但是条件输入文本 ≠ 模型学习的本体数据。Sora 内部主体处理的是视觉 token它自身并不理解语言含义只是借助一个语言编码器把文字转为特征它的主体模型并不以文本为学习对象依旧不属于 LLM。反过来并不是用了 Transformer 就是 LLM。Transformer 只是一个通用引擎Transformer 文本 → LLMTransformer 图像 / 视频 → 视频生成模型Transformer 音频 → 音频大模型。精简版总结LLM 的划分依据是模型建模的原始数据为人类文本而不是网络架构。Sora 和音频模型虽然使用 Transformer 结构但它们主要处理视觉序列、声学序列只是可选接收文本提示核心建模对象不是文本语言因此不属于大型语言模型。