← 트렌딩

Tangerine Index는 ChatGPT 이후 나온 프로덕트와 사람들의 반응을 싣습니다.

airllm

github.com

AirLLM 2.8T LLM inference with single 4GB GPU

오픈소스

github.com 방문외부 사이트GitHub41,908 스타외부 사이트

반응 (1)

비슷한 프로덕트

설명이 비슷한 순

  1. exllamav2

    A fast inference library for running LLMs locally on modern consumer-class GPUs

    github.com라이브러리오픈소스최근 반응

    GitHub
    스타 4,651

  2. exllamav3

    An optimized quantization and inference library for running LLMs locally on modern consumer-class GPUs

    github.com라이브러리오픈소스최근 반응

    GitHub
    스타 1,800

  3. vllm

    A high-throughput and memory-efficient inference and serving engine for LLMs

    github.com오픈소스최근 반응

    GitHub
    스타 96,511

  4. T-MAC

    Low-bit LLM inference on CPU/NPU with lookup table

    github.com오픈소스최근 반응

    GitHub
    스타 1,005

  5. 1Cat-vLLM

    V100 / SM70-focused vLLM engineering fork for modern LLM inference.

    github.com오픈소스최근 반응

    GitHub
    스타 1,477