#残差连接
共 76 篇相关文章
·7 分钟
深度网络退化问题实验复现：残差连接为何能拯救深层网络
通过CIFAR-10实验复现深度网络退化问题：56层plain网络训练准确率仅84%，而20层网络达95.1%。ResNet残差连接仅增加0.3%参数量，却将准确率提升至99%，揭示问题本质是优化困难而非过拟合。
阅读全文 →
·3 分钟
Hyper-Connections：残差连接十年来首次重大改进
深入解析字节跳动提出的Hyper-Connections技术，将残差连接从单条扩展为多条可学习连接通路，在相同算力下显著提升模型训练效果。本文详解其核心原理、实验结果及当前局限性。
阅读全文 →
·12 分钟
梯度下降训练的普适性：神经网络架构选择真的重要吗
探讨梯度下降训练的普适逼近能力，分析神经网络架构选择与可学习性的关系。从普适逼近定理到神经正切核理论，解读为什么梯度下降能在不同架构下稳定收敛，以及这对深度学习架构设计的启示。
阅读全文 →
·11 分钟
从AI到大模型：理清人工智能概念脉络与技术演进路径
一文梳理人工智能、机器学习、深度学习、大模型、生成式AI之间的关系与发展脉络。从深蓝到ChatGPT，理解Transformer架构如何催生大语言模型，以及普通人如何切入AI应用开发。
阅读全文 →
·12 分钟
Unsloth Dynamic 3.0 量化方案详解：按层动态分配精度，本地跑大模型更聪明
深入解析 Unsloth Dynamic 3.0 GGUFs 量化方案的核心技术原理，了解它如何通过按层动态分配量化精度，在模型体积与输出质量之间找到更优平衡，助力消费级硬件高效运行大语言模型。
阅读全文 →
·8 分钟
C++从零手写CNN：项目该继续打磨还是转向新方向？
一位大一学生用C++17从零实现CNN达到94%准确率后，面临继续深挖还是转向新项目的抉择。本文提供基于边际学习收益的判断框架，帮助ML初学者做出最优学习路径决策。
阅读全文 →
·15 分钟
系统学习机器学习：从数学推导到代码实现的完整路径
探讨如何系统学习机器学习，涵盖数学基础、算法推导、理论到代码实现的完整学习路径，推荐Andrew Ng、CS229等优质课程资源，帮助你避免沦为调库工程师，建立对ML算法的深刻理解。
阅读全文 →
·10 分钟
Qwen3 27B深度评测：推理能力强大却过度思考的解决方案
深度评测Qwen3 27B开源模型的推理能力与过度思考问题。分析27B参数规模的性能优势、过度思考的原因与代价，并提供关闭思考模式、分场景配置等实用优化建议。
阅读全文 →
·17 分钟
3D可视化揭秘：LeNet-5如何识别手写数字
通过VRML+Python技术栈构建LeNet-5卷积神经网络的3D可视化演示，直观展示MNIST手写数字识别的完整推理过程，从输入层到输出层逐步揭开CNN黑箱。
阅读全文 →
·19 分钟
Kimi K3架构深度解析：KDA、Stable Latent MoE与注意力残差三大核心技术
深度解析Kimi K3大模型的三大核心架构技术：KDA记忆管理机制、Stable Latent MoE稀疏专家混合（896专家仅激活16个）、以及Attention Residuals注意力残差。从数学原理到工程实现，全面拆解这款逼近SOTA的开源权重模型。
阅读全文 →
·11 分钟
24GB显存跑本地LLM？实际可用显存没那么多
详解24GB显卡跑本地大语言模型时显存的真实可用量。从模型权重、KV缓存到运行时余量，拆解显存三大消耗桶，提供结构化规划方法和实操建议，帮你避免OOM踩坑。
阅读全文 →
·15 分钟
Jetson Xavier NX帧率骤降排查：YOLO推理vs后处理瓶颈定位与优化
Jetson Xavier NX运行YOLOv11+TensorRT时帧率随目标数量从27FPS骤降至8FPS，深入分析后处理瓶颈成因，提供向量化计算、ByteTrack升级、流水线架构三大优化方案。
阅读全文 →
·17 分钟
深度学习入门：免费学习资源与路线全指南
为有机器学习基础的学习者整理深度学习免费学习资源，涵盖吴恩达课程、CS231n、fast.ai、PyTorch教程等，附完整学习路线规划，从理论到Kaggle实战一站式指南。
阅读全文 →
·14 分钟
VHectorLab 3D：开源3D可视化工具探索LLM潜空间结构
VHectorLab 3D是一款基于Three.js和WebGL的开源三维可视化工具，集成Top-K稀疏自编码器（SAE），帮助研究者直观探索大语言模型潜空间的向量几何结构，降低LLM可解释性研究门槛。
阅读全文 →
·13 分钟
Soup CLI：4GB显卡微调80亿参数大模型的开源工具详解
Soup CLI是一款开源命令行工具，通过逐层流式加载技术，让仅有4GB显存的笔记本显卡也能微调Llama-3.1-8B等80亿参数大模型。本文详解其技术原理、实测数据与使用方法。
阅读全文 →
·14 分钟
被低估的机器学习学习资源盘点：那些值得更早发现的宝藏
盘点被严重低估的机器学习学习资源，包括可视化工具、小众YouTube频道、优质博客等。分析优质资源被埋没的原因，帮助你构建个性化的ML学习路径。
阅读全文 →
·15 分钟
5个方程搞懂AI数学：20个Python实战项目免费开放
一份免费ML学习手册，将机器学习核心数学浓缩为5个方程，配套20个可运行Python项目。涵盖梯度下降、反向传播、损失函数等核心概念，支持NumPy、PyTorch、XGBoost多框架实战。
阅读全文 →
·15 分钟
一块RTX 5090训练25小时：从零构建2亿参数GPT全记录
开发者用一块租来的RTX 5090显卡，25小时从零训练出2亿参数GPT模型。完整复现RoPE、KV Cache、SwiGLU等现代LLM技术栈，详解训练成本、架构设计与生成效果。
阅读全文 →
