← 트렌딩

Tangerine Index는 ChatGPT 이후 나온 프로덕트와 사람들의 반응을 싣습니다.

OSCAR

github.com

OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization

오픈소스

github.com 방문외부 사이트GitHub563 스타외부 사이트

반응 (1)

비슷한 프로덕트

설명이 비슷한 순

  1. kvpress

    LLM KV cache compression made easy

    GitHub스타 1,249github.com오픈소스최근 반응

  2. KVBoost

    chunk-level KV cache reuse for HuggingFace, 5–48x faster TTFT

    Hacker News20점pythongiant.github.io최근 반응

  3. exllamav3

    An optimized quantization and inference library for running LLMs locally on modern consumer-class GPUs

    GitHub스타 1,810github.com라이브러리오픈소스최근 반응

  4. Taliesin

    bit-exact KV-cache restore, 21x faster, cross-GPU verified

    Hacker News10점medium.com최근 반응

  5. An RDMA/Infiniband Distributed Cache for Fast Inference and Training

    A high-performance RDMA distributed file system for fast LLM Inference and GPU Training.

    Hacker News16점GitHub스타 47github.com오픈소스반응 5개최근 반응