Wener Notes

LLM Awesome

约 4 分钟阅读
标签：模型LLMOpen Weights资源精选

Open Weights / Transformer

DateModel SeriesSizeContext WindowCreatorNotes
2026-04-07GLM 5.1754B MoE200KZhipu AI大规模稀疏 MoE
2026-04-02Gemma 4E2B / E4B / 26B / 31B128K-256KGoogle原生多模态、MoE 变体
2026-03-12MiniMax 2.7230B，10B active200KMiniMaxSparse MoE
2026-02-16Qwen 3.50.8B-397B，17B active256K-1MAlibaba模型家族、MoE
2026-02-11GLM 5744B，40B active200KZhipu AISparse MoE
2025-12-23GLM 4.7358BZhipuMoE、文本、代码、多语言
2025-12-21DeepSeek V3.2685BDeepSeek
2025-12-20MiniMax M2.1228BMiniMaxAI文本生成、对话
2025-12-16MiMo-V2-Flash310BXiaomi文本生成、对话
2025-09-29DeepSeek-V3.2-Exp685BDeepSeek文本生成、对话
2025-09-15Qwen3-Next80BAlibaba
2025-08-20Seed-OSS-36B-Instruct36BByteDance-Seed文本生成、对话
2025-08-06GPT OSS20BHuggingFaceHF:openai/gpt-oss-20bhuggingface.co · huggingface.co/openai/gpt-oss-20b / 120BHuggingFaceHF:openai/gpt-oss-120bhuggingface.co · huggingface.co/openai/gpt-oss-120b128KOpenAIReasoning、Tools
2025-07-28GLM 4.5355-32A / Air 106-12A128KZhipuReasoning、多语言
2025-07-23Qwen3 250730B-A3B / 235B-A22B / Coder256K / Yarn 1MAlibabaReasoning、Coding
2025-07-11Kimi K21T-A32B128KMoonshot AIMoE
2025-06-11MagistralSmall 24B39KMistral AIReasoning、多语言
2025-06-07Comma v0.17BEleutherAIFull OSS、English
2025-06-05Qwen3-Embedding0.6B / 4B / 8B32KAlibabaEmbedding、Reranking、多语言
2025-04-29Qwen30.6B-235B40KAlibabaMoE、Reasoning
2025-04-05Llama 4Scout / Maverick1M / 10MMetaMoE、Vision
2025-03-26Qwen2.5-Omni3B / 7BAlibabaText、Audio、Image、Video、Speech
2025-03-12Gemma 31B / 4B / 12B / 27B128KGoogle DeepMindVision
2025-01-20DeepSeek R11.5B-671B128KDeepSeek AIReasoning
2024-12-07Llama 3.370B128KMeta
2024-12Phi-414B128KMicrosoftReasoning、多模态
2024-09-25Llama 3.21B / 3B / 11B / 90B128KMeta
2024-07-23Llama 3.18B / 70.6B / 405B128KMeta
2024-06-07Qwen20.5B-72B32K-128KAlibaba
2024-04-23Phi-33.8B / 7B / 14B4K / 128KMicrosoft
2024-04-18Llama 38B / 70.6B8K / 128KMeta
2023-12-11Mistral7B / 46.7B33KMistral AIDense / MoE
2023-07-18Llama 27B / 13B / 70B4KMeta
2020-06-11GPT-3175B2KOpenAI
2019-02-14GPT-21.5B1KOpenAI
2018-06-11GPT-1117M512OpenAI

Proprietary Models

releasemodeloutputinput priceauthornotes
2026-03-12MiniMax M2.7$1.20/1M$0.30/1MMiniMax205K、Sparse MoE API
2026-02-11GLM 5$2.30/1M$1.00/1MZhipu AI200K
2025-06-17Gemini 2.5 Pro$10.00/1M$1.25/1MGoogle1M
2025-06Gemini 2.5 Flash$2.50/1M$0.30/1MGoogleAudio $1.00/1M
2025-05-22Claude 4 Opus$15/1M$3/1MAnthropic200K
2025-05-22Claude 4 Sonnet$75/1M$15/1MAnthropic200K
2025-04-14GPT-4.1 / mini / nanoOpenAI
2025-03-25Gemini 2.0 ProGoogle2M
2025-01-10o3 / o3-miniOpenAIReasoning
2024-05-13GPT-4oOpenAIText、Audio、Image
2024-03-04Claude 3 Haiku / Sonnet / OpusAnthropic200K
2024-02-15Gemini 1.5 ProGoogle1M context
2023-11-06GPT-4 Turbo / GPT-4VOpenAI128K、Vision
2023-03-14GPT-4OpenAI8K / 32K、Image

Architecture Notes

datemodelparameterscontextattentionlayersexpertsdata type
2025-08-05gpt-oss-120b117B，5.1B active128KGQA + Sparse36128 / 4MXFP4 / bf16
2025-08-05gpt-oss-20b21B，3.6B active128KGQA + Sparse2432 / 4MXFP4 / bf16
2025-05Qwen3-30B-A3B30.5B，3.3B active256KGQA48128 / 8bf16
2025-05Qwen3-32B32.8B128KGQA64Densebf16
2024-12DeepSeek V3671B，37B active128KMLA61256 routed + 1 sharedfp8 / bf16
2019-02-14GPT-2 1.5B1.542B1024Multi-Head48Densefp16

中文与开源生态

Abliterated

推理、量化与内存

  • 理想精度：float16 / bfloat16，约 1B 参数占 2GB 权重内存。
  • 常见 int4 量化约 1B 参数占 0.5GB，实际还要加 KV cache、运行时和临时 buffer。
  • 小 context window 适合 RAG；上下文越长，KV cache 和显存需求越高。
  • Q4_0、Q4_1、Q4_K 等量化格式需要结合质量、速度和 runtime 评估。
  • 经验值：7B 约 8GB、13B 约 16GB、70B 约 32-48GB，实际取决于精度和上下文。
  • llama.cppGitHubggml-org/llama.cpp
  • Hugging Face ModelsHuggingFaceHF Models:modelshuggingface.co · huggingface.co/models
  • ModelScope Models
  • Ollama Library

Leaderboard 与评估

相关专题

  • VLM / MLLM / Vision笔记VLM Awesome视觉语言模型、多模态大语言模型和视觉任务资源索引。 · VLM - Vision Language Model。 · MLLM - Multimodal Large Language Model。 · 常见结构：视觉编码器 + Projector / Vision-Language Adapter + Language Model。打开：/notes/ai/model/vlm/awesome
  • Agent 与 Coding笔记Agent AwesomeComputer Agent、工具调用、编码 Agent 和 Agent 评测资源索引。 · Computer Agent：观察屏幕、理解 UI、规划并执行鼠标键盘操作。 · Qwen2.5-VL 72B。 · UI-TARS。 · web-infra-dev/Midscene打开：/notes/ai/model/agent/awesome
  • Embedding 与 Reranker笔记Embedding 与 Reranker Awesome文本、视觉向量模型和 Cross-Encoder Reranker 资源索引。 · | model | size/B | dim | context | notes | · | text-embedding-3-small | - | 1536 | 8191 | OpenAI、MRL |打开：/notes/ai/model/embedding/awesome
  • 综合模型资料索引笔记AI Model Awesome按模型能力和使用场景组织的 AI 模型资源索引，保留模型架构、厂商、版本、推理资源、量化、微调和扩散模型历史资料。新增内容优先写入对应专题页面。 · LLM 与开放模型 · 图像生成 · 视频生成 · OCR 与文档理解 · ASR / STT打开：/notes/ai/model/awesome

关联信息

反向链接、本文链接的其他页面和外部资料。

反向链接

  • AI Model
    笔记 · LLM 与开放模型

    AI Model Awesome 总索引 · LLM 与开放模型 · 图像生成 · 视频生成 · OCR · ASR / STT · TTS · VAD · 音乐生成 · VLM / MLLM / Vision · Agent 与 Coding

  • AI Model Awesome
    笔记 · LLM 与开放模型

    按模型能力和使用场景组织的 AI 模型资源索引，保留模型架构、厂商、版本、推理资源、量化、微调和扩散模型历史资料。新增内容优先写入对应专题页面。 · LLM 与开放模型 · 图像生成 · 视频生成 · OCR 与文档理解 · ASR / STT

站内链接

  • Agent Awesome
    笔记 · Agent 与 Coding

    Computer Agent、工具调用、编码 Agent 和 Agent 评测资源索引。 · Computer Agent：观察屏幕、理解 UI、规划并执行鼠标键盘操作。 · Qwen2.5-VL 72B。 · UI-TARS。 · web-infra-dev/Midscene

  • AI Model Awesome
    笔记 · 综合模型资料索引

    按模型能力和使用场景组织的 AI 模型资源索引，保留模型架构、厂商、版本、推理资源、量化、微调和扩散模型历史资料。新增内容优先写入对应专题页面。 · LLM 与开放模型 · 图像生成 · 视频生成 · OCR 与文档理解 · ASR / STT

  • Alpaca
    笔记 · Alpaca

    Alpace - 羊驼 · = LLaMa + ChatGPT4 Self-Instruct 训练 · LLaMa - · tatsu-lab/stanfordalpaca · Alpaca: A Strong, Replicable Instruction-Following Model

  • Embedding 与 Reranker Awesome
    笔记 · Embedding 与 Reranker

    文本、视觉向量模型和 Cross-Encoder Reranker 资源索引。 · | model | size/B | dim | context | notes | · | text-embedding-3-small | - | 1536 | 8191 | OpenAI、MRL |

  • VLM Awesome
    笔记 · VLM / MLLM / Vision

    视觉语言模型、多模态大语言模型和视觉任务资源索引。 · VLM - Vision Language Model。 · MLLM - Multimodal Large Language Model。 · 常见结构：视觉编码器 + Projector / Vision-Language Adapter + Language Model。

References

GitHub11 条
HuggingFace9 条
其他外链8 条
最近更新commit 42c1983Edit

LLM

Previous Page

Music

Next Page

On this page

LLM AwesomeOpen Weights / TransformerProprietary ModelsArchitecture Notes中文与开源生态Abliterated推理、量化与内存Leaderboard 与评估相关专题