对学习过程中的数据集、框架、模型、论文、代码等进行整理,提供统一入口。
Keep Learning, Keep Growing, Keep Succeeding

欢迎大家在底部留言,提供其他资源链接,一起共建。

大模型(LLM)

AIGC

Model
Source Description
OPENAI-ChatGPT https://openai.com/blog/chatgpt 文本生成、对话
DeepSeek https://github.com/deepseek-ai 国产开源LLM,MoE架构,DeepSeek-V3/R1
Qwen (通义千问) https://github.com/QwenLM/Qwen 阿里开源LLM系列,Qwen2.5/Qwen3
LLaMA https://github.com/meta-llama Meta开源大语言模型,LLaMA/LLaMA2/LLaMA3/LLaMA4
Alpaca https://github.com/tatsu-lab/stanford_alpaca Stanford基于LLaMA指令微调
Chinese-LLaMA-Alpaca https://github.com/ymcui/Chinese-LLaMA-Alpaca 中文LLaMA模型和指令精调的Alpaca大模型
ChatGLM https://huggingface.co/THUDM 清华ChatGLM系列,ChatGLM3/ChatGLM4

IMAGE

Model
Source Description
DALL·E2/3 https://openai.com/product/dall-e-2 文字生成图片
Midjourney https://www.midjourney.com/ 生成图片精美,艺术性强
Stable Diffusion https://github.com/Stability-AI/stablediffusion 开源文生图模型,SD1.5/SDXL/SD3
Flux https://github.com/black-forest-labs/flux Black Forest Labs文生图模型
ControlNet https://github.com/lllyasviel/ControlNet 可控图像生成,边缘/深度/姿态引导

VIDEO

Model
Source Description
Sora https://openai.com/sora OpenAI视频生成模型
Runway Gen-3 https://runwayml.com/ 视频生成与编辑平台
Kling (可灵) https://kling.kuaishou.com/ 快手视频生成模型

AUDIO

Model
Source Description
Whisper https://openai.com/research/whisper 语音识别,语音转文字

模型

经典卷积神经网络模型(CNN)

Model
Paper Description
LeNet-5 Gradient-Based Learning Applied to Document Recognition Yann LeCun(杨立昆)官网LetNet-5介绍;1998年提出的CNN模型,主要用于手写字体识别,目前的CNN模型都没有逃出LetNet-5的卷积、池化、全连接架构。顶级大牛!!!
AlexNet ImageNet Classification with Deep Convolutional Neural Networks Alex官网AlexNet介绍;2012年提出的CNN模型, ImageNet LSVRC-2010竞赛冠军,具有划时代意义,再次之前主要用传统机器学习方法SVM,此后,深度学习发展迅速。
VGG Very Deep Convolutional Networks for Large-scale Image Recognition Karen Simonyan,ImageNet LSVRC-2014竞赛亚军,VGG结构简单,应用性强,广受喜爱。VGG-16、VGG-19效果较好。
GoogleNet Going deeper with convolutions ImageNet LSVRC-2014竞赛冠军,22层网络,Top5错误率比VGG低约0.6个百分点。(结构有点复杂,不如VGG通用)
ResNet Deep Residual Learning for Image Recognition 大名鼎鼎的残差神经网络,ImageNet LSVRC-2015竞赛冠军,152层残差网络结构,将Top5错误率降到3.57,已经超过人眼水平,此后ImageNet大赛不再举办。

Transformer / 大语言模型

Model
Paper Description
Transformer Attention Is All You Need 2017年Google提出,彻底改变NLP/CV格局,现代LLM的基石
BERT BERT: Pre-training of Deep Bidirectional Transformers Google提出的预训练语言模型,NLU领域里程碑
GPT-3 Language Models are Few-Shot Learners 1750亿参数,In-Context Learning能力
GPT-4 GPT-4 Technical Report 多模态大模型,各项能力大幅提升
LLaMA LLaMA: Open and Efficient Foundation Language Models Meta开源高效基础语言模型
LLaMA 3 LLaMA 3 8B/70B/405B,开源模型新标杆
DeepSeek-V3/R1 DeepSeek-V3 MoE架构,671B参数,推理能力极强
ViT An Image is Worth 16x16 Words Vision Transformer,将Transformer引入CV领域
CLIP Learning Transferable Visual Models OpenAI多模态对齐模型,图文匹配

扩散模型(Diffusion Models)

Model
Paper Description
DDPM Denoising Diffusion Probabilistic Models 扩散模型奠基之作,去噪扩散概率模型
Stable Diffusion High-Resolution Image Synthesis with Latent Diffusion Models 在潜空间进行扩散,大幅降低计算量
DiT Scalable Diffusion Models with Transformers Diffusion Transformer,用Transformer替代U-Net,Sora基础

目标检测模型(ObjectDetection)

Model
Paper Description
R-CNN Rich feature hierarchies for accurate object detection and semantic segmentation Two Stage开山之作,深度学习与传统机器学习结合,先选中2000个候选区域,AlexNet提取特征向量,SVM二分类,识别区域是否有目标;训练回归器,选中区域目标位置。测试集上能达到58.5%准确率,当时的王者,缺点是慢,且空间消耗大。
Fast R-CNN Fast R-CNN 基于R-CNN和SPPNets,进行模型改进。不需要再生成2000个候选区域,只需要特征提取一次,使用selective search生成2000个区域候选框,再CNN卷积,Rol池化形成特定长度特征向量,送入全连接FC,Softmax,输出定位信息。速度较R-CNN有提升,但依旧慢。
Faster R-CNN Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 结构上将特征抽取,region proposal提取,bbox regression(包围边框回归),分类都整合到了一个网络中,综合性能有较大提高,检测速度提升较大。
YOLO v1 You Only Look Once: Unified, Real-Time Object Detection One Stage开山之作,将检测任务当做回归问题处理。优点是速度快,但精度下降。
YOLO v2 YOLO9000: Better, Faster, Stronger YOLO v1改进,使用了新的网络模型Darknet-19,加入了BN层,起到正则化效果;使用了高分辨率分类器;带Anchor Boxes的卷积;对边框进行K-Means聚类,可以直接定位预测。速度快,准确率较YOLO V1有提升,精度比SSD差。
YOLO v3 YOLOv3: An Incremental Improvement YOLO v2改进,使用新网络结构DarkNet-53,使用逻辑回归替代softmax作为分类器,融合FPN,实现多尺度检测。比较经典,在速度和准确率上都有提升,性能较好。也是作者的封笔之作,最后作者的自述比较有意思。In closing, do not @ me.(quit twitter)[破涕为笑]
YOLO v4 YOLOv4: Optimal Speed and Accuracy of Object Detection 将CV界大量研究成果进行了集成,提出了一套目标检测框架:输入、骨干、特征融合、输出;速度和精度上都有较大提升。
YOLO v5 YOLOv5 Source YOLO4发布两个月后,Glenn Jocher发布YOLO5,只有框架源码,无论文。架构上无创新,但号称模型大小比YOLO4小了近90%,但速度与YOLOv4不分伯仲。
YOLO v6 YOLOv6: A Single-Stage Object Detection Framework for Industrial Applications 美团视觉智能部研发的目标检测框架,致力于工业应用。专注于检测精度和推理效率。Github/YOLOV6
YOLO v7 YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors 总结就是目前(2022)模型最小、速度最快、精度最高的目标检测模型。Github/YOLOV7
SSD SSD: Single Shot MultiBox Detector 是一种One Stage的检测模型,相比于R-CNN系列模型上要简单许多。其精度与Faster R-CNN相匹敌,而速度达到59FPS,速度上超过Faster R-CNN

图神经网络(GNN)

Model
Paper Description
GCN Semi-Supervised Classification with Graph Convolutional Networks 图卷积网络奠基之作,将CNN推广到图结构数据
GAT Graph Attention Networks 引入注意力机制的GNN,动态分配邻居节点权重
Message Passing GNN Neural Message Passing for Quantum Chemistry 消息传递框架,材料/分子建模核心方法
SchNet SchNet: A Continuous-filter Convolutional Neural Network 面向分子动力学/材料性质的GNN

生成对抗网络(GAN)

Model
Paper Description
DCGANs Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks 卷积层与GAN相结合;并讨论了GAN特征的可视化、潜在空间插值、利用判别器特征来训练分类器、评估结果等问题。
Improved Techniques for Training GANs Improved Techniques for Training GANs 分析了DCGAN,改进GAN训练的技术。
Conditional GANs Conditional Generative Adversarial Nets 条件GAN是最先进的GAN之一,论文展示了如何整合数据的类标签,从而使 GAN 训练更加稳定。
PG-GAN Progressive Growing of GANs for Improved Quality, Stability, and Variation 作者表示,这种方式不仅稳定了训练,GAN 生成的图像也是迄今为止质量最好的。
BigGAN Large Scale GAN Training for High Fidelity Natural Image Synthesis BigGAN模型基于ImageNet生成图像质量最高的模型之一。
StyleGAN A Style-Based Generator Architecture for Generative Adversarial Networks StyleGAN 模型非常先进,利用了潜在空间控制。
CycleGAN Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks CycleGAN更具体地处理了没有成对训练样本的image-to-image转换的情况。CycleGAN有很多很酷的应用,比如超分辨率,风格转换,例如将马的图像变成斑马。
Pix2Pix Image-to-Image Translation with Conditional Adversarial Networks Pix2Pix是另一种图像到图像转换的GAN模型。Pix2Pix有很多很酷的应用,比如将草图转换成逼真的照片。
StackGAN StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks 与Conditional GAN 和Progressively Growing GANs最为相似。StackGAN是从自然语言文本生成图像。(牛)
GAN Generative Adversarial Networks 定义了GAN框架,并讨论了”非饱和”损失函数。论文在MNIST、TFD和CIFAR-10图像数据集上对GAN的有效性进行了实验验证。

数据集

数据集网站

Website
Address Description
超神经 https://hyper.ai/datasets/ 收集了数百个公开数据集资源,整理并提供相应的存储服务免费提供给相关从业人员进行下载
baai https://data.baai.ac.cn/data 若干数据集
HuggingFace Datasets https://huggingface.co/datasets 最大开源数据集平台,涵盖NLP/CV/Audio等

指令微调(FineTuning)

Dataset
Source Description
openai human feedback https://github.com/openai/following-instructions-human-feedback/tree/main/automatic-eval-samples 自动摘要、数学计算式问答、机器翻译、阅读理解、情感计算、推理、问答系统
Alpaca Dataset https://github.com/tatsu-lab/stanford_alpaca Stanford Alpaca 52K指令微调数据集
ShareGPT https://huggingface.co/datasets/shibing624/sharegpt_gpt4 ChatGPT多轮对话数据集

计算机视觉(CV)

Datasets
Source Description
MNIST http://yann.lecun.com/exdb/mnist/ 手写数字识别;计算机视觉入门级数据集,包含各种手写数字图片。
Fashion-MNIST https://github.com/zalandoresearch/fashion-mnist 服饰识别;MNIST数据集过于简单,Fashion-MNIST可替代MNIST数据集,作为机器学习与深度学习算法基准。
ImageNet http://www.image-net.org 图像识别;大规模数据集,几大经典CNN模型,AlexNet、VGG、GoogleNet、ResNet在ILSVRC大赛数据集。
MS-COCO https://cocodataset.org 目标检测、语义分割、图像标题生成;大规模的数据集。
CIFAR-10 http://www.cs.toronto.edu/~kriz/cifar.html 图像分类;10个类别,每个类别6000张图片,5w个训练图片、1w个测试图片。
SVHN http://ufldl.stanford.edu/housenumbers/ 目标检测、文字检测;街景门牌号数据集,来源于谷歌街景图片。
Open Images https://storage.googleapis.com/ 语义分割、目标检测、图像分类;V4-V7
LAION-5B https://laion.ai/blog/laion-5b/ the largest, freely accessible multi-modal dataset that currently exists.(目前最大的多模态开源数据集)

自然语言处理(NLP)

Datasets
Source Description
ACL-IMDB http://ai.stanford.edu/~amaas/data/sentiment/ 电影评论数据集;大规模情感二分类数据集。
WordNet https://wordnet.princeton.edu/ 英语词库数据集
CLUECorpus2020 https://github.com/CLUEbenchmark/CLUECorpus2020/ 通过对Common Crawl的中文部分进行语料清洗,最终得到100GB的高质量中文预训练语料
MNBVC https://github.com/esbatmop/MNBVC 超大规模中文语料集,包括新闻、作文、小说、书籍、杂志、论文、台词、帖子、wiki、古诗、歌词、商品介绍、笑话、糗事、聊天记录等一切形式的纯文本中文数据。数据均来源于互联网收集。

材料科学数据集

Dataset
Source Description
Materials Project https://materialsproject.org/ 最大无机材料计算数据库,含晶体结构、能带、热力学等数据
AFLOW http://aflowlib.org/ 合金材料高通量计算数据库
OQMD http://oqmd.org/ 开放量子材料数据库,DFT计算热力学数据
NOMAD https://nomad-lab.eu/ 计算材料科学数据归档与检索平台
COD https://www.crystallography.net/cod/ 开放晶体学数据库,含50万+晶体结构
ICSD https://icsd.products.fiz-karlsruhe.de/ 无机晶体结构数据库(权威,部分需授权)
JARVIS-DFT https://jarvis.nist.gov/ NIST材料基因组计划,DFT+ML数据集

半导体材料与MBE

MBE技术

Resource
Source Description
IC-MBE https://www.ic-mbe.org/ 国际分子束外延会议(MBE领域顶级会议)
NAMBE https://www.nambe.org/ 北美分子束外延会议
EuroMBE https://www.eurombe.org/ 欧洲分子束外延会议
MBE经典教材 Molecular Beam Epitaxy (M.A. Herman) MBE原理与实践经典教材
MBE Growth Textbook Molecular Beam Epitaxy: Principles and Practice (John Orton) MBE原理与实践

RHEED分析

Resource
Source Description
RHEED入门 Reflection High-Energy Electron Diffraction (Braun) RHEED综述经典论文
Surface Science Surface Science Journal 表面科学期刊,RHEED/STM/XPS相关论文
RHEED Oscillation - 通过RHEED振荡标定MBE生长速率与组分

III-V族半导体数据库

Resource
Source Description
Ioffe Institute NSM http://www.ioffe.ru/SVA/NSM/Semicond/ III-V/II-VI半导体材料参数权威数据库(禁带宽度、晶格常数、迁移率等)
NSM Archive http://www.matprop.ru/ 半导体材料特性归档(与Ioffe互补)
Band Structure Database Materials Project Band Materials Project中能带结构计算数据
Cation/Anion Data - III-V族阳离子/阴离子特性、晶格失配、临界厚度数据

量子点与纳米结构

Resource
Source Description
InAs/GaAs QD综述 Quantum Dots (Reimann & Manninen) 量子点基础综述,Rev. Mod. Phys.
SK Growth Mode Stranski-Krastanov Growth SK生长模式经典论文,应变自组织量子点
QD Laser/Detector - InAs/GaAs量子点激光器、红外探测器
Droplet Epitaxy - 液滴外延生长量子点,GaAs/AlGaAs体系

材料计算与仿真工具

第一性原理/DFT

Tool
Source Description
VASP https://www.vasp.at/ 维也纳第一性原理计算软件,DFT工业标准(需授权)
Quantum ESPRESSO https://www.quantum-espresso.org/ 开源DFT计算软件,支持周期性体系
CP2K https://www.cp2k.org/ 开源DFT+MD混合计算
VASPKIT https://vaspkit.com/ VASP前后处理工具,能带/态密度/功函数分析
pymatgen https://pymatgen.org/ Python材料基因组学库,VASP/Materials Project接口

分子动力学

Tool
Source Description
LAMMPS https://www.lammps.org/ 经典分子动力学开源软件,材料/生物体系
GROMACS https://www.gromacs.org/ 分子动力学开源软件,生物分子/软物质

相图与热力学

Tool
Source Description
Thermo-Calc https://thermocalc.com/ CALPHAD相图/热力学计算(需授权)
FactSage https://www.factsage.com/ 热化学计算与相图(需授权)

光电/半导体仿真

Tool
Source Description
nextnano https://www.nextnano.com/ 半导体纳米结构能带/输运仿真
Lumerical https://www.ansys.com/products/optics/lumerical Ansys旗下光电仿真工具(FDTD/MODE/CHARGE)
COMSOL https://www.comsol.com/ 多物理场仿真,半导体/光电模块
TCAD (Sentaurus) https://www.synopsys.com/silicon/tcad.html Synopsys半导体工艺与器件仿真(需授权)

工具

AI/深度学习框架

Name
Source Description
PyTorch https://pytorch.org/ Meta开源深度学习框架,学术界主流
TensorFlow https://www.tensorflow.org/ Google深度学习框架
JAX https://jax.readthedocs.io/ Google高性能数值计算/ML框架,函数式编程
PaddlePaddle https://www.paddlepaddle.org.cn/ 百度飞桨深度学习平台
HuggingFace https://huggingface.co/ Transformers/Diffusers/Datasets,模型Hub

LLM训练与推理

Name
Source Description
DeepSpeed https://github.com/microsoft/DeepSpeed 微软大模型分布式训练框架,ZeRO优化
vLLM https://github.com/vllm-project/vllm 高性能LLM推理引擎,PagedAttention
llama.cpp https://github.com/ggerganov/llama.cpp C++ LLM推理,支持CPU/GPU/Metal
Ollama https://ollama.com/ 本地运行LLM,一键部署开源模型
PEFT / LoRA https://github.com/huggingface/peft HuggingFace参数高效微调(LoRA/QLoRA/Adapter)
LangChain https://github.com/langchain-ai/langchain LLM Agent/应用开发框架
LlamaIndex https://github.com/run-llama/llama_index 数据索引+RAG框架

科学计算工具

Name
Source Description
NumPy https://numpy.org/ Python数值计算基础库
SciPy https://scipy.org/ Python科学计算库(优化、插值、信号处理)
scikit-learn https://scikit-learn.org/ 经典机器学习算法库
Pandas https://pandas.pydata.org/ Python数据分析处理库
Matplotlib https://matplotlib.org/ Python科学绘图库
Jupyter https://jupyter.org/ 交互式编程笔记Notebook/Lab

标注工具

Name
Source Description
labelImg labelImg 开源的图像标注工具,标签可用于分类和目标检测。
labelme labelme 图像语义分割标注工具
VIA VGG Image Annotator (VIA) VGG图像注释器,可对图像、音频、视频标注。
EasyDL EasyDL 百度推出AI开发平台,可采集、标注、清洗、训练。

分词工具

Name
Source Description
jieba jieba 中文分词(精确模式、全模式、搜索引擎模式)、标注组件

顶会/期刊

AI/ML/CV

Conference
Description Field
ACL Association of Computational Linguistics,每年开;计算语言学/自然语言处理方面最好的会议 人工智能/计算语言学
IJCAI International Joint Conference on Artificial Intelligence, 人工智能领域顶级国际会议,论文接受率18%左右 人工智能
AAAI American Association for Artificial Intelligence, 美国人工智能学会AAAI的年会,该领域的顶级会议 人工智能
PRICAI Pacific Rim International Conference on Artificial Intelligence, 亚太人工智能国际会议 人工智能
ECCV European Conference on Computer Vision, 领域顶级国际会议,录取率25%左右,2年一次,中国大陆每年论文数不超过20篇 模式识别/计算机视觉/多媒体计算
ICML International Conference on Machine Learning, 领域顶级国际会议,录取率25%左右,2年一次 模式识别/机器学习
ICLR International Conference on Learning Representations, 深度学习领域三大顶会之一 深度学习/表征学习
NeurIPS Neural Information Processing Systems, 领域顶级国际会议,录取率20%左右,每年一次 神经计算/机器学习
ACM MM ACM Multimedia Conference, 领域顶级国际会议,全文的录取率极低,Poster较容易 多媒体技术/数据压缩
IEEE ICCV International Conference on Computer Vision, 领域顶级国际会议,录取率20%左右,2年一次 计算机视觉/模式识别/多媒体计算
IEEE CVPR International Conference on Computer Vision and Pattern Recognition, 领域顶级国际会议,录取率25%左右,每年一次 模式识别/计算机视觉/多媒体计算
IEEE ICIP International conference on Image Processing, 图像处理领域最具影响力国际会议,一年一次 图像处理
IEEE ICME International Conference on Multimedia and Expo, 多媒体领域重要国际会议,一年一次 多媒体技术

材料/物理/半导体

Conference
Description Field
APS March Meeting American Physical Society March Meeting, 凝聚态物理最大会议,每年一次 凝聚态物理/材料
MRS Fall/Spring Materials Research Society Meeting, 材料科学顶级会议 材料科学
IC-MBE International Conference on Molecular Beam Epitaxy, MBE领域顶级会议,两年一次 分子束外延
NAMBE North American Molecular Beam Epitaxy Conference, 每年一次 分子束外延
CSW Compound Semiconductor Week, 化合物半导体国际会议 化合物半导体
ICPS International Conference on the Physics of Semiconductors, 半导体物理领域历史最悠久会议 半导体物理
E-MRS European Materials Research Society, 欧洲材料研究学会 材料科学

交叉领域期刊

Journal
Description Field
Nature Materials 材料科学顶刊,IF~40 材料科学
Nature Photonics 光子学/光电领域顶刊 光电/光子学
Science Advances Science旗下综合交叉期刊 综合
npj Computational Materials Nature旗下计算材料期刊 计算材料
ACS Nano 纳米材料/器件,IF~15 纳米材料
Nano Letters 纳米领域快报,IF~10 纳米科学
Physical Review B APS凝聚态物理期刊 凝聚态物理
Applied Physics Letters (APL) 应用物理快报,半导体器件/材料 应用物理
Journal of Crystal Growth 晶体生长专业期刊,MBE/MOCVD相关 晶体生长
Journal of Applied Physics 应用物理综合期刊 应用物理
Advanced Materials 先进材料,IF~27 材料科学

优秀网站

优秀学习网站

网站
Description Field
书栈网 https://www.bookstack.cn 计算机领域相关书籍、文档资料,很齐全
Papers With Code https://paperswithcode.com/ 论文×代码×数据集×排行榜对照,跟踪SOTA
arXiv https://arxiv.org/ 预印本论文,cond-mat.mtrl-sci / cs.AI / cs.CV
Google Scholar https://scholar.google.com/ 学术搜索引擎

优秀工具网站

网站
Description Field
即时工具 https://www.67tool.com 工具集合网站,200多个工具,图片处理、视频处理、文档处理等。
LaTeX公式编辑器 https://www.latexlive.com LaTeX公式编辑器
CNN Explainer cnn-explainer Learn Convolutional Neural Network (CNN) in your browser!
Google Colab https://colab.research.google.com/ 免费GPU在线Notebook,可直接运行PyTorch/TF
Hugging Face Spaces https://huggingface.co/spaces 模型Demo在线托管,一键体验开源模型