← 트렌딩

Tangerine Index는 ChatGPT 이후 나온 프로덕트와 사람들의 반응을 싣습니다.

speculators

github.com

A unified library for building, evaluating, and storing speculative decoding algorithms for LLM inference in vLLM

라이브러리오픈소스

github.com 방문외부 사이트GitHub946 스타외부 사이트

설치·연결

공식 MCP Registry, Homebrew, npm, PyPI, crates.io에서 저장소나 도메인으로 맞춰 하루 한 번 가져옵니다.

반응 (1)

비슷한 프로덕트

설명이 비슷한 순

  1. LLMSpeculativeSampling

    Fast inference from large lauguage models via speculative decoding

    GitHub스타 926github.com오픈소스최근 반응

  2. 1Cat-vLLM

    V100 / SM70-focused vLLM engineering fork for modern LLM inference.

    GitHub스타 1,484github.com오픈소스최근 반응

  3. vllm

    A high-throughput and memory-efficient inference and serving engine for LLMs

    Hacker News108점GitHub스타 96,591github.com오픈소스반응 3개최근 반응

  4. SpecForge

    Train speculative decoding models effortlessly and port them smoothly to SGLang serving.

    GitHub스타 1,274github.com오픈소스최근 반응

  5. index-tts-vllm

    Added vLLM support to IndexTTS for faster inference.

    GitHub스타 1,245github.com오픈소스최근 반응