/s/1DdWsfy5jIkGaN3hXs9rHGQ 提取码: qe82
首先，LLM 全称是 Large Language Model，即大语言模型，其参数量较大，一般的70 亿以上参数的模型占用约 28G 存储，直观来说就是有一堆28G浮点数（训练得到）作为权重参数的函数可拷入 U 盘就能带走大模型本体。实现方式简单来说就是设计一个极大的非线性函数进行拟合计算，它们会接收你提供的一些文本作为输入，并猜测下一个出现概率最大的词（更准确地说，下一个token）是什么。
Token 和词表：Token 是文本的片段，也是 LLM 理解的文本基本单位，语言模型有一个词表，包括 token 列表及对应的 id，词表大小因语言不同而不同，多语言词表往往有几万个 token 甚至更多。例如GPT-2的词汇表就有50257个token，LLM 词汇中的每个 Token 都有一个唯一的标识符
一、LLM （大型语言模型）都有哪些潜在应用场景？ 1.聊天机器人与虚拟助手：LLM可以作为聊天机器人和虚拟助手的核心，为用户提供自然、连贯的对话体验。 2.内容创作：LLM可以自动生成文章、新闻报道、广告文案、诗歌、小说等文本内容。 3.教育与辅导：在教育领域，LLM可以用于辅助教学、自动批改作业、提供学习建议等。 4.编程辅助：LLM能够帮助开发者自动生成代码、修复bug、提高编程效率。 5.科学研究：LLM在科研领域可以帮助进行文献分析、实验设计、趋势预测等。 6.语言翻译：LLM可以用于机器翻译，帮助用户跨越语言障碍。 7.文本摘要：LLM可以自动生成文章或报告的摘要，帮助用户快速获取信息。
二、大语言模型的涌现能力 LLM 的涌现能力被定义为“小型模型中不存在但大型模型中产生的能力”，是区别于先前 PLM 的显著特征之一。介绍 LLM 的三种典型涌现能力及代表性模型：
上下文学习：ICL 能力由 GPT-3 引入，若提供自然语言指令和/或任务演示，模型可生成预期输出，无需额外训练或梯度更新。1750 亿的 GPT-3 有此能力，GPT-1 和 GPT-2 无。
指令遵循：通过指令微调，LLM 在未见过的指令任务上表现出色，有更好泛化能力。680 亿的 LaMDA-PT 经指令微调后在未见过任务上优于未微调模型，80 亿或更小则不然。
逐步推理：小型语言模型难解决多推理步骤任务，而 LLM 可用 CoT 提示策略解决，可能通过在代码上训练获得。实证研究表明，大于 600 亿的 PaLM 和 LaMDA 变体用 CoT 提示可提高算术推理基准任务性能，大于 1000 亿优势更明显。
三、 LLM在创作领域的应用：你最靠谱的“写作伙伴” 有些人可能觉得：“AI会不会写得比我好？” 你知道吗？LLM可以轻松应对各种创作任务，而且效果通常很惊人。
写文章 你是不是常常在写文章的时候卡壳，灵感枯竭，甚至发现自己想要的观点怎么也写不出来？LLM来帮你解决这个问题！你只需要给它一个简短的主题，它就能给你一篇结构完整、内容丰富的文章。你甚至可以用它来快速写一些博客文章、新闻报道、甚至是故事大纲。
幽默补充： 不过有时候，LLM写的文章也可能让你笑出声。比如，你告诉它写一篇关于“科技与未来”的文章，结果它生成了一个“未来科技：如何用纸做飞机”的深刻分析。虽然完全偏离了主题，但它的勇气和创新精神值得鼓励。
写诗、编剧 除了写文章，LLM还能帮你写诗、剧本，甚至创作歌词。你想让它写一首描述秋天的诗？它能给你一段优美的诗句；你要求它写一部悬疑剧的开头？没问题，五分钟内它就能给你一个令人心跳加速的开场。
幽默点： 当然，LLM在创作时有时也会“迷失自我”，你会发现它有时会创作出一些“过于深刻”或者“过于荒诞”的作品，类似于“这篇诗说的是秋天，但我觉得它是为月亮写的。”（这可能是它对艺术的理解，有点超脱）
四、LLM在编程中的应用：你的AI程序员 对于程序员来说，LLM可能是最能提升效率的工具之一。它可以帮你写代码、调试代码、甚至给出优化建议。
自动编写代码 你只需要向LLM提供一个简单的需求说明，像是：“写一个 Python 程序，实现计算斐波那契数列”，LLM就能快速生成一段代码。如果你卡在某个逻辑问题上，它也能帮你找出问题所在并给出解决方案。
幽默补充： 当然，LLM也不是完美的，给它的任务越复杂，它的回答有时也越“复杂”——它可能给你生成一个完整的项目框架，甚至写了一大堆不必要的注释，仿佛在告诉你：“别担心，我已经把你想到的都给你解决了，但这段代码可能要花些时间理解。”
代码调试与优化 如果你的代码出错了，LLM也能帮你找到 bug。通过输入错误信息和代码片段，它会分析并给出可能的解决方案。即使是一些高级的优化问题，LLM也可以给你一些思路，帮助你提高代码的运行效率。
搞笑插曲： 但有时，LLM的代码建议会让你头大。它可能会给你一个“完美”的算法，但你发现它忘了考虑内存管理，或者在最后面留了一个“待办事项”。它就像一个总是想着做“更好的解决方案”的程序员——但有时忽略了基本的细节。
有疑问加站长微信联系（非本文作者）
