图像增强是提升图像视觉质量、突出有用信息的关键技术，广泛应用于医学影像、遥感、安防等领域。按作用域可分为空域法和频域法。空域法直接操作像素，如线性拉伸、直方图均衡化（HE）、自适应直方图均衡（CLAHE），可扩展动态范围、增强对比度；非线性变换如对数、伽马校正，能压缩高亮区或提亮暗区；基于Retinex的多尺度算法（MSRCR）可去雾、保真色彩。频域法通过傅里叶、小波变换把图像转到频率域，设计低通、高通或带通滤波器，抑制噪声或突出边缘、纹理，再逆变换回空域，如同态滤波既提升对比度又压缩亮度。近年来，基于深度学习的增强成为主流：采用卷积神经网络（CNN）的Super-Resolution CNN（SRCNN）、增强型SRGAN，可在放大图像同时恢复细节；基于生成对抗网络（GAN）的EnlightenGAN、Zero-DCE，通过无监督或零参考方式实现低光照增强，避免成对数据依赖；Transformer结构如SwinIR利用全局自注意力，进一步减少伪影、提升纹理。此外，多帧融合、HDR重建、边缘保持滤波（双边、引导滤波）与形态学操作，也常用于去噪、去模糊、锐化。实际应用中，常把传统方法与深度学习结合：先用CLAHE或同态滤波做全局校正，再用轻量级CNN进行局部细节恢复，兼顾实时性与效果。选择方案需权衡场景、硬件、延迟及失真容忍度，并采用峰值信噪比（PSNR）、结构相似性（SSIM）及人眼主观评分综合评估。

模型的全量微调（Full Fine-tuning）是深度学习中将预训练模型适配到特定任务的核心方法之一。其本质在于**调整预训练模型的全部参数**，而非仅优化部分层或新增模块。这一过程通常包含以下关键步骤：1. **参数初始化**：以预训练权重（如BERT、ResNet）为起点，继承通用特征提取能力。  2. **任务适配**：替换模型末端的任务特定层（如分类头），使输出维度匹配目标类别数。  3. **端到端训练**：在目标任务数据上，使用反向传播更新**所有层参数**，学习率通常较小（如1e-5），避免破坏预训练知识。  4. **正则化技术**：采用早停、权重衰减（Weight Decay）或Dropout防止过拟合，尤其在数据量有限时。  与**线性探测**（仅训练最后一层）或**参数高效微调**（如LoRA只调低秩矩阵）相比，全量微调通过全局参数优化，能深度挖掘任务相关特征，在数据充足时往往达到最高精度。例如在医疗影像分类中，微调ViT的全连接层与自注意力层，可显著提升罕见病识别准确率。但此方法需存储完整模型副本，计算成本较高（如175B参数的GPT-3需数百GB显存），且可能引发**灾难性遗忘**（预训练知识被覆盖）。近期研究通过**混合微调**（如UL2R）结合全量与参数高效方法，在性能与效率间取得平衡。

模型量化、剪枝与蒸馏，是三种把“大模型”变“小模型”的核心压缩技术，目标都是在尽量不损失精度的前提下，降低存储、内存与计算成本，让模型跑得动、放得下、落得地。下面用一句话定义+关键做法+典型效果做对比，方便快速建立整体认知。  1. 量化（Quantization）  定义：把 32 bit 浮点权重（W）和激活（A）用更低 bit 表示，如 FP16、INT8、INT4 甚至 1 bit。  做法：①训练后量化（PTQ）——直接对已完成模型做统计缩放；②量化感知训练（QAT）——在前向插入伪量化算子，反向用 STE 估计梯度，再微调。  效果：体积↓50%–75%，延迟↓1.5×–4×，配合专用指令集（ARM DOT、NVIDIA TensorRT）可获 8× 峰值加速；极端 4 bit 时多数 CV/NLP 任务掉点＜1%。2. 剪枝（Pruning）  定义：删除“不重要”的参数、通道或层，使网络稀疏化。  做法：①非结构化剪枝——按权值绝对值排序，置零 p% 最小权，再稀疏训练；②结构化剪枝——一次性裁剪整个 filter、head 或 layer，保留规则矩阵乘法，方便 GPU/NPU。  效果：非结构化可把 90% 权值剪成 0，但需稀疏库（cuSPARSE、DeepSparse）才能提速；结构化剪枝 50% FLOPs 通常掉点 0.3–2%，可直接在通用硬件运行。3. 知识蒸馏（Knowledge Distillation）  定义：让小模型（Student）模仿大模型（Teacher）的输出分布或中间特征，把“知识”迁移过去。  做法：①Logits 级蒸馏——最小化 KL(T||S)，温度 T>1 软化分布；②特征层蒸馏——让 S 的隐含层与 T 的投影后特征做 MSE/Cosine；③自蒸馏/在线蒸馏——多网络互蒸馏、无参数教师。  效果：常见 BERT-large→BERT-small 可保留 98% 精度，参数↓3×；ResNet50→ResNet18 在 ImageNet 掉点＜1%；极端 MobileBERT 把 340 M→25 M，仅掉 0.6%。 

长尾类别（Long-tail Classes）指数据集中样本数量极少的类别，其分布呈“长尾”形态：少数头部类别占据绝大部分样本，而大量尾部类别样本稀缺。例如，在 ImageNet 中，头部类别“狗”有数千张图像，而尾部类别“螺旋开瓶器”仅有数十张。这种不均衡导致模型在训练时过度拟合头部类别，对尾部类别识别性能极差，表现为准确率骤降、召回率趋零。  核心挑战有三：  1. 特征学习不充分——尾部类别样本不足，模型难以捕捉其判别特征；  2. 分类器偏差——交叉熵损失使决策边界偏向头部类别，尾部样本易被误分；  3. 过拟合风险——少量样本易使模型记忆噪声，泛化能力弱。  解决长尾问题需从数据、模型和损失函数三方面入手：  - 数据层面：过采样（如重复尾部样本）、数据增强（AutoAugment、生成合成样本）；  - 模型层面：两阶段训练（先平衡采样预训练，再微调分类器）、迁移学习（利用头部类别预训练特征）；  - 损失函数：重加权（如 Class-balanced Loss）、margin-based loss（增大尾部类别间隔）。  实际应用中，长尾类别广泛存在于医疗罕见病诊断、工业缺陷检测等领域，直接关乎系统安全性与公平性，是机器学习落地必须攻克的难题。

AI 大模型“看懂”图像的流程可以拆成三步：**切分-编码-对齐**，全程用“向量”说话。  1. 切分（Tokenization）  先把像素流变成模型能吃的“符号”。主流做法是用 **Vision Transformer（ViT）**：  - 224×224 图像 → 16×16 小补丁 → 得到 196 个补丁；  - 每个补丁拉平成 768 维向量，再 + 位置编码，就像给每个补丁发一个“座位号”。  结果得到一串“视觉 token”，和文字 token 一样，都是固定长度的向量序列。2. 编码（Representation Learning）  把补丁序列送进多层 Transformer：  - 自注意力让任意两个补丁之间算相似度，模型自动抓到“狗耳朵”与“狗鼻子”应该关联，“背景草地”可忽略；  - 多头机制同时捕捉颜色、纹理、形状等多种特征；  - 最后一层输出 196 个向量，再用一个“CLS” token 向量当整图摘要。  这一步做完，图像被压缩成几百维的高阶语义向量，距离 ≈ 语义相似度。3. 对齐（Alignment）  单模态向量只能“看图”，要想“理解”，需跟语言对齐。  - 预训练阶段用**对比学习**（CLIP）：2 亿图文对，把图片向量与对应文本向量拉到一起，不相关的推开；  - 之后接**多模态解码器**（如 Flamingo、LLaVA），把视觉向量当成“外语”注入大语言模型，让模型把“狗”向量自动映射到词“狗”。  一旦对齐完成，大模型就能把图像向量当作“提示”，回答“图里有什么”“颜色如何”“如果移走狗会怎样”等高阶问题。 

没有绝对优劣，只有场景适配。**质量与稳定性**：扩散模型胜。逐步去噪训练简单、模式崩溃风险低，FID 比 GAN 低约 40%，已支撑 DALL-E 2、Stable Diffusion 等 SOTA 系统。**速度与成本**：GAN 胜。一次前向即可出图，120 张/秒 vs 扩散 10 张/秒，显存占用小，适合游戏、实时滤镜。**融合趋势**：GAN 先生成粗图，扩散再精修，可在 50% 时间内获得接近原扩散的 FID，兼顾质量与效率。一句话：要**最高画质**选扩散，要**实时便宜**选 GAN，要**两全其美**走融合。

输入尺寸与参数量**无必然关系**。  全连接层：输入每增一维，权重矩阵直接同比例膨胀，参数量↑。  CNN、Transformer：卷积核、注意力 QKV 投影尺寸固定，输入 224²→512² 只改变特征图分辨率，参数量不变；计算量（FLOPs）随像素线性或平方增长，但权重张量仍是同一组。  例外：位置编码表、可学习查询向量等若按输入长度定义，会轻微增加参数，不过占比1%。  结论：  **全连接网络**“输入越大参数量越大”；**现代主流架构**“输入尺寸影响计算成本，不影响模型大小”。

常用且效果稳定的三类图像拼接算法：1. 特征-单应式流水线  SIFT/SURF/ORB 提点＋RANSAC 估单应矩阵＋加权平均/多频带融合，成熟易实现，普通全景足够用。2. 局部网格优化  APAP、AANAP、SPHP 把图分密集网格，每格算局部单应，再平滑过渡到非重叠区，可抑制大视差造成的透视畸变，适合建筑、室内场景。3. 深度学习端到端  UDIS、VFISNet 等用网络直接学对齐与融合，无需手工特征，对弱纹理、动态目标更鲁棒，但需 GPU 与训练数据。实际选型：  “手机/无人机实时全景”→1 就足够；  “大视差、直线结构要求严”→2 更稳；  “重叠少、纹理稀、要全自动”→3 潜力大。

大模型只靠“预测下一个词”就能对答如流，但确实会一本正经地“胡说”。纠正它通常有三条思路，按实施难度由浅到深：提示层纠正（最快）在 Prompt 里加“如果答错请立即纠正”或给出一条反例，让模型靠自回归机制“自己打自己脸”。本质是把它之前生成的错误也当作上文，用高概率的“修正 token”续写。缺点是未必彻底，可能换种方式再错。反馈式纠偏（中等）收集用户“👎/👍”或编辑后的正确结果，做成“正负偏好对”，用 RLHF／DPO 做轻量再训练。模型参数不变，只是概率分布被“奖励”重新加权，让同类问题下次采样到正确答案的概率最高。ChatGPT 的“人类反馈”就属此类。参数级订正（最深）把确凿的新事实（x, y⁺）当成额外数据做 LoRA/全量微调，直接让 y⁺的负对数似然最小；或采用“知识编辑”算法（ROME、MEMIT）把错误关联的 FFN 权重矩阵局部改写，实现“单点补丁”，而不干扰整体语言能力。

NVIDIA Isaac Sim：基于 Omniverse 物理渲染，支持激光雷达、RGB-D、力反馈，单 GPU 可 10 kHz 并行环境，与 Isaac Lab 配合可直接训练 LLM+控制策略 Habitat 3.0：Meta 开源，专注室内导航与交互，提供 1200+ 真实扫描场景，仿真速度 >10 000 fps，API 模块化，适合导航、问答、跟随等多任务 AI2-THOR：RoboCup 常驻基准，厨房、卧室等 300 个可交互场景，支持开抽屉、烤面包等细粒度操作，与 AllenAct 训练框架无缝衔接 SAPIEN：UCSD 出品，铰接物体专用，可生成 PartNet-Mobility 的 14K 可动模型，提供纯 Python RL 接口，适合抓取、开关门、装配研究 商汤「悟能」：国产世界模型+绝影导航+日日新大模型，提供 4D 真实数据生成与多模态交互，已落地零售、导览机器人。腾讯「Tairos 钛螺丝」：模块化开放，内置大模型、数据管线与开发工具，支持多本体快速切换，补齐感知-决策-控制软件栈