归档

独立的交互式执行图与论文审计页面，点击后直接打开原始 HTML，不经过博客排版。

CIBM（ICLR 2026）论文精读笔记：把信息瓶颈从潜在空间搬到概念层——压 I(X;C)、保 I(C;Y)，用最轻的正则治好概念瓶颈模型的“概念泄漏”与“过度压缩”，并给出迁移到 Cauvis / 蒸馏 / 单域泛化的思路。

从熵和互信息出发，讲清楚表示层面的信息压缩与信息瓶颈（IB）：压缩不是把数据变小，而是让模型的表示更干净——只保留任务相关信息。并落到 CIBM、Cauvis、蒸馏与单域泛化课题上。

UniRain（CVPR 2026）论文阅读笔记：统一图像去雨——用 RAG + VLM 从 200 万+ 公开雨图中离线筛出 2.6% 高质量样本（RainRAG），配合 asymmetric MoE 建模四类退化、多目标重加权让各退化类型同步收敛，并讨论其对有 GT 场景下 SDGOD 数据筛选的借鉴。

UCOD-MKD（CVPR 2026）论文阅读笔记：无监督伪装目标检测——用 MLLM（CA-CoT 分步推理）+ SAM 当冻结教师生成候选掩码，GME 按候选一致性分级（丢弃低质量），GKD 在图像级与像素级按质量差异化蒸馏轻量学生，无需任何人工标注。

整理自《什么是 LoRA 大模型微调是怎么回事》视频：从「微调到底在改什么」出发，讲清 ΔW 的低秩假设、BA 分解、A/B 初始化与 α/r 缩放，再理清 LoRA 与 Adapter、SFT、QLoRA 的关系及局限。

SARD（CVPR 2026）论文阅读笔记：面向微型密集目标分割的结构感知蒸馏——从教师特征构造边界显著性、几何复杂度与空间密度三合一的结构重要性图，加权「点对点特征一致性 + 去噪分数匹配分布对齐」，让学生把容量花在几何关键位置，RockFrag 上较 CWD +4.3 mIoU。

整理自 B 站视频：从调和级数发散讲起，用积分比较解释为什么 H_n 的增长速度是 ln n，再严格证明 H_n−ln n 收敛，最终引出欧拉–马歇罗尼常数 γ≈0.5772。

整理自王木头学科学讲解梯度下降优化的视频：沿着「每个方法解决前一个方法的问题」的主线，从梯度下降、SGD 讲到 Momentum、Nesterov、AdaGrad、RMSProp，再到 Adam 与 AdamW，并解释为什么深度学习不用牛顿法。

系统整理迁移学习（Transfer Learning）主线：从「旧知识能不能帮到新任务」出发，讲清 Pretraining + Fine-tuning 范式、Inductive / Transductive / Unsupervised 三种类型、Domain Shift 与 Domain Adaptation，再到各领域的应用、Negative Transfer 与现代 Foundation Model 适配。

整理自 B 站《15分钟认识ViT》等视频与知乎资料：从「图片能不能变成 Token」出发，串讲 Patch、Patch Embedding、CLS、位置编码与 Transformer Encoder 的完整流程，对比 CNN 的归纳偏置，并给出 DeiT、Swin 等改进路线。

整理自 B 站「大白话04」视频并补充 DPO 内容：从 Policy Gradient 与 Advantage 讲起，用直观例子拆解 PPO 的 Clip 与 GAE、DPO 的直接偏好优化，以及 GRPO 如何用组内相对 Advantage 省掉 Critic，串起大模型后训练的三种主流强化学习方法。

系统整理持续学习（Continual Learning）主线：从灾难性遗忘出发，串起 EWC、Replay、知识蒸馏、GEM、动态架构五条经典路线，再延伸到 Online、Open-World、PEFT、VLM、LLM 与 Lifelong Agent 等现代方向。

整理自 B 站「大白话 03」视频，补充大量例子（含《原神》场景）：从强化学习的试错本质、MDP 框架，到 Return 与折扣因子、V/Q 价值函数、Bellman 方程，再到 Monte Carlo、TD、SARSA、Q-Learning、DQN 与 Policy-based 路线，用连贯的章节把整个 RL 基础串起来。

从线性代数视角重新理解傅里叶变换：它就是一次坐标分解——把函数从时间基底重新表示到频率基底，并延伸到傅里叶级数、DFT 与 FFT 的统一视角。

从 Hinton 的经典 KD 讲起，拆解教师-学生框架、温度软化、Soft/Hard 双损失，梳理响应/特征/关系三类蒸馏的演进，并延伸到自蒸馏与大模型时代，最后用信息论视角统一蒸馏本质。

TimeDistill（KDD 2026）论文精读笔记：跨架构蒸馏框架——用多尺度（时域下采样）与多周期（频域 FFT）双视角，在预测级与特征级双层面把 Transformer/CNN 教师的知识蒸馏进纯 MLP 学生，并给出 KD 约等于 mixup 增广的理论解释。

Cauvis（NeurIPS 2025）论文精读笔记：与“模拟派”对立的因果干预路线——不造合成数据，冻结 DINOv2，用交叉注意力视觉提示（理论等价 Pearl 后门调整）加傅里叶双分支适配器抑制伪相关，只调约 1% 参数实现单源域泛化目标检测。

DSD（ICML 2026）论文精读笔记：时间序列结构蒸馏框架——LMP-Net 流形扩展（Expand-Evolve-Contract）提供轻量学生，Macro-SPKD 与 Micro-OT 双重对齐传递结构知识，RAAD 按需开启预测蒸馏，防止教师不可靠时的负迁移。

LTFE（arXiv 2511.09909 / AAAI 2026）论文精读笔记：把 Single-DGOD 的域偏移建模为连续时序特征演化——渐进模糊与噪声（PTFE）造轨迹、LSTM（TDM）记时序依赖、Neural ODE/LNN（LPE）动态生成卷积核，推理时仅两步演化做测试时特征自适应。

MR-DCoT（TPAMI 2026）论文精读笔记：SE-COT 的期刊扩展版，用视觉-文本双链 CoT 制造离流形难样本，再以类特定原型锚定的投影算子把它们拉回源域语义流形——Simulate-to-Deviate, Regress-to-Rectify 闭环。

所读论文的精简速览合集——一句话核心、方法要点与关键结果，便于快速回顾。涵盖 Single-DGOD 系列（CDSD、SE-COT、MR-DCoT、LTFE、Cauvis）、时序蒸馏系列（DSD、TimeDistill）、结构感知蒸馏（SARD）、大模型引导蒸馏（UCOD-MKD）与数据级筛选蒸馏（UniRain），每篇附完整笔记链接。

从数学定义与关键特性出发，对比 KL 散度与余弦相似度的差异，结合 CDSD、TimeDistill 两篇论文讲解工程落地，并给出实践避坑要点与参考资料。

从风格迁移的发展历史讲起，拆解 AdaIN（自适应实例归一化）的核心思想——风格即特征统计量，通过替换内容特征与风格特征的均值方差实现任意风格迁移；并延伸到 SE-COT、MR-DCoT 用文本驱动 AdaIN 做单域泛化的论文实战。

CDSD（CVPR 2022）论文精读笔记：面向单域泛化目标检测（Single-DGOD），通过循环解耦拆出域不变（DIR）与域特有（DSR）特征，再用 DIR 自蒸馏把不变特征内化进骨干网络，推理时零测试时开销。

SE-COT（CVPR 2025）论文精读笔记：用 ChatGPT 生成逐级增强的文本风格描述，通过 Chain-of-Thought 引导未知域风格演化，配合风格/内容解耦与类特定原型增强，提升单源域目标检测在未知域中的泛化能力。

从信息论出发解释交叉熵：为什么“预测下一个词”能让 AI 变聪明？本文串起熵、交叉熵与 KL 散度的关系，说明大模型训练的本质就是让模型的世界观不断逼近真实世界的概率分布。

从 Shannon 熵出发，理解“预测就是压缩”这一核心思想：信息来自不可预测性，机器学习就是减少不可预测性，而大模型本质上是在寻找人类知识的最简洁表达。

从核心思想“拉近正样本、推远负样本”讲起，梳理 Contrastive Loss → InfoNCE → SimCLR / MoCo → CLIP 的发展脉络，并延伸到 CDSD、SE-COT、MR-DCoT 在单域泛化目标检测中的对比学习实战。

上下文工程为什么成为 AI Agent 时代的关键能力？本文整理自一堂公开课的学习笔记：从 Prompt Engineering 的演进说起，梳理完整 Context 的七大构成要素，详解选择、压缩、Multi-Agent 三大核心招式，并动手拆解工具调用与 Computer Use 的执行机制。

整理自生成式 AI 公开课的学习笔记：从 Token ID 到 Logits 的宏观计算流讲起，拆解隐藏表征分析与 Logit Lens、Self-Attention 机制、FFN 记忆网络与位置编码，并用 Colab 实作解剖 LLaMA-3.2 与 Gemma-2。

DeepSeek-R1 等推理大模型是如何进行「深度思考」的？本文整理自一堂公开课的学习笔记：从 Test-Time Compute 的本质讲起，梳理打造推理能力的四大技术路径（提示词 CoT、搜索工作流、模仿学习、结果导向强化学习），并深入解密 R1 的完整训练链路与过度思考的挑战。

生成式人工智能为什么能和你对话？本文是一堂生成式 AI 公开课的完整学习笔记：从自回归文字接龙的本质、概率分布与采样，到万物皆可 Token 化的多模态原理，再到 Chat Template、AI 幻觉的成因与 RAG 应对，最后用 Hugging Face Transformers 动手跑通代码实践。