学习笔记

每篇笔记深入讲解一个算法或技术趋势，比术语表更进一步。

各领域笔记

阅读最多在前（浏览较少时按最新排序）

智能体基础2026-10-07

智能体与工具使用：从会说话的模型到会做事的模型

LLM 擅长写作，但无法独自完成计算、核实最新信息或操作外部系统。于是出现了让模型思考、调用工具、查看结果再思考的“智能体”结构。如今的研究关注的不再是能否使用工具，而是能否可靠地使用工具。

智能体语言模型进阶2026-10-13

用 Jev 构建验证器：Generator–Verifier 性能提升设计

设计一种架构：由 LLM 生成候选，让 Jev 用 Score、Noul 和置信度筛选候选，只把模棱两可的交给更强的验证器或人工。不过，研究已证实存在概率膨胀、选项标签陷阱和错误累积，因此应先亲自确认校准情况，再分阶段应用。

语言模型基础2026-10-15

注意力与 Transformer：一次读完整个句子的方法

Transformer 去掉了 RNN 的循环和 CNN 的卷积，只用注意力处理句子，解决了以往必须逐个读取单词的方式所带来的瓶颈。本笔记梳理注意力的工作原理、2017 年原论文的新贡献，以及注意力汇聚、RoPE 等近期议题。

智能体语言模型数据与评测进阶2026-10-14

MASS（多智能体自监督）：智能体之间互相教学的方法

MASS（多智能体自监督）是一种不依赖人工标注正确答案、而由多个 AI 智能体分别承担生成、评审和验证工作来自行产生学习信号的方法。其核心在于借助“不同的眼睛”和“外部验证器”过滤单个模型自己发现不了的错误；而智能体共同带有相同偏差的风险仍是其局限。

语言模型强化学习进阶2026-10-13

Generator–Verifier：生成的模型与检查的模型

把生成答案的生成器和检查答案的验证器分开，就能在不改变生成器的情况下，从多个候选中挑出正确答案来提升性能。本文梳理从 ORM、PRM、生成式验证器，到推理时计算和 RLVR 的发展脉络，并讨论验证器出错时的局限和实务模式。

机器人与具身智能多模态计算机视觉进阶2026-10-13

世界动作模型（WAM）：同时预测动作及其结果的机器人模型

世界动作模型在一个模型中同时预测机器人要执行的动作以及该动作将产生的未来画面，从而为动作学习加入“未来”这一监督信号。2026 年的研究正迅速转向用“什么”来表示未来、如何降低推理成本，以及对攻击有多脆弱。

效率与基础设施AI 平台与解决方案MLOps 与 LLMOps基础2026-10-12

LLM 基础设施入门：一次看懂 GPU 显存、推理服务与成本

运行 LLM 的成本大多取决于如何使用 GPU 显存。本文从权重、KV 缓存和精度出发，按实际工作顺序梳理推理引擎、连续批处理、模型并行、部署方式选择以及 Token 成本计算。

语言模型AI 平台与解决方案入门2026-10-12

如何在Hugging Face上挑选和读懂LLM：从模型页面到GPU显存

本文梳理在Hugging Face Hub的模型页面上应该看什么。内容包括如何阅读模型卡、文件、名称后缀、许可证和基准测试，还介绍了如何估算自己的GPU显存能否运行模型，以及挑选时可用的检查清单。

计算机视觉语言模型医疗与生物基础2026-10-10

医疗 AI：从影像判读到临床 LLM

医疗 AI 从胸部 X 光判读模型起步，扩展到能解答医师资格考试题的临床 LLM。随着考试分数无法保证实际诊疗表现这一点逐渐显现，GMLP 原则、WHO 建议以及贴近真实诊疗条件的评估也同样变得重要。

经典机器学习、推荐与搜索语言模型金融与保险基础2026-10-10

金融 AI：从欺诈检测、信用评估到金融 LLM

金融 AI 的核心仍然是处理表格数据的梯度提升模型，与此同时，处理信息披露、监管文件等文本的金融专用 LLM 也在发展。信用评估在欧盟被归为高风险 AI，因此必须同时考虑可解释性、公平性、模型风险管理以及人的最终责任。

计算机视觉经典机器学习、推荐与搜索制造基础2026-10-10

制造业 AI：视觉缺陷检测、预测性维护、数字孪生

在制造现场，缺陷图片很少，因此只用正常产品训练、再找出与之不同之处的异常检测已成为视觉检测的基本做法。用传感器时间序列提前预测故障的预测性维护和数字孪生也面临同样的问题：实验室中的性能无法原样迁移到工厂。

语言模型效率与基础设施进阶2026-10-10

循环 Transformer：多次运行同一层，进行更深的思考

循环 Transformer（Looped Transformer）不增加参数，而是多次重复同一个 Transformer 块来提高计算深度。不过，增加循环次数会带来训练不稳定和内存占用增大的问题。近期的研究大多集中在解决这两个问题上。

安全与对齐机器人与具身智能国防与安全基础2026-10-10

国防 AI：应用领域与人类控制原则

在国防领域，AI 用于情报分析、维修与后勤、指挥决策支持和无人系统，但由于结果直接关系到生命，人的判断与责任成为设计的核心。本文梳理 NATO 和英国国防部的原则、围绕自主武器的国际讨论，以及引入前的检查方法。

数据工程语言模型智能体基础2026-10-09

Text-to-SQL 与数据分析智能体：用自然语言查询数据库

Text-to-SQL 是把自然语言问题转换为 SQL、从数据库中取出答案的技术，经过 Spider、BIRD 等基准测试和基于 LLM 的智能体而快速发展。但企业现场的庞大模式、模糊问题和可信度问题仍是待解决的课题，因此研究正在转向会追问、会停止、会行动的数据智能体。

AI 安全智能体基础2026-10-09

LLM 与智能体安全指南：从提示注入到工具权限

LLM 应用和智能体面临的最大威胁是，模型会照样执行隐藏在数据中的指令。本文依次梳理威胁图谱、提示注入与“致命三要素”、MCP 与工具安全、多层防御、运营治理以及引入顺序。

数据工程AI 平台与解决方案基础2026-10-09

实时数据流水线指南：流式处理、CDC与事件驱动架构

实时数据流水线把变更累积到事件日志（Kafka）中。流处理引擎（Flink、Structured Streaming、Dataflow）持续加工这些数据，CDC则将生产数据库的变更无延迟地同步出去。本文依据官方文档，梳理各组成部分的作用、在AI服务中的用途、引入顺序和检查项。

AI 安全语言模型进阶2026-10-09

AI 隐私：训练数据会泄露吗——成员推理、数据提取与差分隐私

AI 模型不仅会概括训练数据，还可能记住其中一部分并原样输出。本文按主要研究的顺序，梳理用于判断“是否用于训练”的成员推理、原样提取被记住句子的数据提取，以及从数学上限制泄露的差分隐私。

AI 安全安全与对齐进阶2026-10-09

对抗攻击与越狱：从欺骗图像分类器到突破 LLM 安全防线

用人眼几乎察觉不到的变化欺骗图像分类器的对抗样本，与让经过安全训练的 LLM 回答其已学会拒绝的请求的越狱，遵循同一框架：模型保持不变，优化输入。本笔记从 2013 年的发现追溯到 2026 年的研究，梳理攻击为何有效、防御能保证到什么程度。

数据与评测语言模型进阶2026-10-09

用合成数据训练：从 Self-Instruct 到模型崩溃之争

用 LLM 生成的数据再去训练 LLM，即合成数据训练，经过 Self-Instruct、Evol-Instruct、phi-1 等工作，已成为减少人工标注的主要方法。此后出现了“只吃模型生成的数据就会坏掉”的模型崩溃警告，也出现了反驳：只要不丢弃真实数据而是持续累积，就能避免崩溃。目前研究的关注点正在转向如何挑选要用的合成数据。

经典机器学习、推荐与搜索数据与评测基础2026-10-09

表格数据机器学习：树模型的优势与 TabPFN·LLM 的挑战

在 Excel 表格这类表格数据上，与图像、文本不同，梯度提升等树模型长期以来比深度学习更常作为默认选择。最近，能整体读入表格、无需训练即可直接预测的 TabPFN 系列表格基础模型和 LLM 正在挑战这一地位。

数据工程安全与对齐基础2026-10-08

面向AI的数据管道与治理实务指南

要让AI模型和RAG给出有用的回答，既需要采集、清洗、存储、索引数据的管道，也需要管理质量、权限和来源的治理。本文按实务顺序梳理ETL与ELT、数据仓库·数据湖·湖仓一体、数据网格、数据集文档化以及RAG文档管道。

智能体基础2026-10-08

智能体 Harness：把模型变成能干活的系统的设计指南

Harness 是智能体中除模型以外的全部，由系统提示词、工具、执行环境、上下文管理、钩子、子智能体和验证机制组成。本文以官方工程文章和 SWE-agent 研究为依据，整理组成部分、设计原则、在编程智能体中的应用步骤、面向长任务的 Harness 以及检查清单。

数据工程语言模型数据与评测基础2026-10-08

以数据为中心的 AI：通过清洗、去重和合成数据提升模型

不改变模型结构，只对训练数据进行过滤、去重，必要时再新造数据，模型性能和训练效率就会大不相同。本笔记梳理去重、质量过滤、合成数据和数据筛选研究各自揭示了什么，以及最新的发展方向。

MLOps 与 LLMOpsAI 平台与解决方案基础2026-10-08

MLOps 与 LLMOps 运维指南：模型建成后如何持续稳定运行

MLOps 是为了把机器学习模型部署到生产环境并持续管理，而将数据、实验、流水线、部署和监控自动化的实践。LLMOps 在同样的原则之上，增加了提示词、评估、可观测性和 token 成本管理。

智能体基础2026-10-08

构建智能体技能：从文件夹结构到测试·共享

技能是包含指令、脚本和参考资料的文件夹。智能体按需分阶段读取这个文件夹。本笔记依据官方文档和规范，整理了 SKILL.md 的构成、名称与描述的写法、确定篇幅和脚本的标准、测试与改进、安全，以及与 MCP·子智能体的区别。

语言模型数据与评测进阶2026-10-07

混合检索与重排序：先检索，再重新排序

混合检索同时使用关键词检索和语义检索来广泛收集候选，重排序模型则用更昂贵的模型逐一重新评估这些候选并确定顺序。分成两个阶段可以在准确率与成本之间取得平衡，因此成为 RAG 中查找依据的基本结构。

语言模型效率与基础设施进阶2026-10-07

向量检索：嵌入与近似最近邻（HNSW·Faiss）

向量检索是把句子和文档转换为承载语义的数字坐标（嵌入），并快速找出与问题相近坐标的技术。借助牺牲少量准确率、换取大幅速度提升的近似最近邻（ANN）索引，它可以处理数千万乃至数十亿个向量。

语言模型数据与评测进阶2026-10-07

GraphRAG 与知识图谱、本体：把一堆文档变成关系图再提问

GraphRAG 是一种 RAG 方法：它把文档重新整理成由实体和关系构成的知识图谱，并为每个关系紧密的群组预先写好摘要，用来回答“着眼全局的问题”。本文从向量 RAG 的局限出发，介绍其工作原理、与知识图谱和本体的关系，以及近期研究和安全、评估方面的争议点。

语言模型智能体基础2026-10-07

检索增强生成（RAG）：让模型“开卷作答”的方法

RAG 是一种让语言模型在生成答案之前先从外部文档中查找并阅读相关内容的方法，用以缓解局限于参数之中的知识的不足和幻觉。它始于 2020 年的 REALM 和 RAG，正逐步扩展到仅在需要时才检索的方式、智能体式架构，以及针对被污染知识的鲁棒性研究。

语言模型效率与基础设施数据与评测进阶2026-10-07

决策模型：不写文字、只回答选项的 AI

决策模型（Decision model）是一种为预先设定的每个选项给出概率、一次性作答的模型，比生成式 LLM 便宜得多、快得多。不过，2026 年发表的评估研究也表明，它在准确率、置信度可靠性以及长任务中的错误累积方面存在明显局限。