← 트렌딩

Tangerine Index는 ChatGPT 이후 나온 프로덕트와 사람들의 반응을 싣습니다.

exllamav2

github.com

A fast inference library for running LLMs locally on modern consumer-class GPUs

라이브러리오픈소스

github.com 방문외부 사이트GitHub4,651 스타외부 사이트

반응 (1)

비슷한 프로덕트

설명이 비슷한 순

  1. exllamav3

    An optimized quantization and inference library for running LLMs locally on modern consumer-class GPUs

    github.com라이브러리오픈소스최근 반응

    GitHub
    스타 1,800

  2. airllm

    AirLLM 2.8T LLM inference with single 4GB GPU

    github.com오픈소스최근 반응

    GitHub
    스타 41,908

  3. vllm

    A high-throughput and memory-efficient inference and serving engine for LLMs

    github.com오픈소스최근 반응

    GitHub
    스타 96,511

  4. TensorFold

    LLM Inference Engine for Metal, CUDA and Vulkan.

    github.com오픈소스최근 반응

    GitHub
    스타 1,686

  5. T-MAC

    Low-bit LLM inference on CPU/NPU with lookup table

    github.com오픈소스최근 반응

    GitHub
    스타 1,005