← 트렌딩

Tangerine Index는 ChatGPT 이후 나온 프로덕트와 사람들의 반응을 싣습니다.

GPTQModel

github.com

LLM model quantization (compression) toolkit with HW acceleration support for Nvidia (CUDA), AMD (ROCm), Intel GPU (XPU), Huawei Ascent (NPU), and Intel/AMD/Apple CPU via HF, vLLM, and SGLang.

오픈소스

github.com 방문외부 사이트GitHub1,289 스타외부 사이트

설치·연결

공식 MCP Registry, Homebrew, npm, PyPI, crates.io에서 저장소나 도메인으로 맞춰 하루 한 번 가져옵니다.

반응 (1)

비슷한 프로덕트

설명이 비슷한 순

  1. Can your GPU run this LLM?

    Calculate token/s & GPU memory requirement for any LLM. Supports llama.cpp/ggml/bnb/QLoRA quantization

    Hacker News15점GitHub스타 1,403github.com오픈소스반응 2개최근 반응

  2. exllamav3

    An optimized quantization and inference library for running LLMs locally on modern consumer-class GPUs

    GitHub스타 1,805github.com라이브러리오픈소스최근 반응

  3. LLMKube

    Kubernetes for Local LLMs with GPU Acceleration

    Hacker News5점GitHub스타 253github.com셀프 호스팅오픈소스반응 2개최근 반응

  4. Minimal LLM Post-Training Experiments on an 8GB GPU (SFT, DPO, GRPO)

    Minimal, readable LLM post-training experiments on one 8GB GPU. Measures forgetting, seed variance, and RL emergence.

    Hacker News21점GitHub스타 32github.com오픈소스반응 2개최근 반응

  5. hai-platform

    一种任务级GPU算力分时调度的高性能深度学习训练平台

    GitHub스타 764github.com오픈소스최근 반응