← 트렌딩

Tangerine Index는 ChatGPT 이후 나온 프로덕트와 사람들의 반응을 싣습니다.

exllamav3

github.com

An optimized quantization and inference library for running LLMs locally on modern consumer-class GPUs

라이브러리오픈소스

github.com 방문외부 사이트GitHub1,800 스타외부 사이트

반응 (1)

비슷한 프로덕트

설명이 비슷한 순

  1. exllamav2

    A fast inference library for running LLMs locally on modern consumer-class GPUs

    github.com라이브러리오픈소스최근 반응

    Hacker News
    반응 없음
    GitHub
    스타 4,651

  2. airllm

    AirLLM 2.8T LLM inference with single 4GB GPU

    github.com오픈소스최근 반응

    Hacker News
    반응 없음
    GitHub
    스타 41,908

  3. TensorFold

    LLM Inference Engine for Metal, CUDA and Vulkan.

    github.com오픈소스최근 반응

    Hacker News
    반응 없음
    GitHub
    스타 1,686

  4. vllm

    A high-throughput and memory-efficient inference and serving engine for LLMs

    github.com오픈소스최근 반응

    Hacker News
    반응 없음
    GitHub
    스타 96,511

  5. An RDMA/Infiniband Distributed Cache for Fast Inference and Training

    A high-performance RDMA distributed file system for fast LLM Inference and GPU Training.

    github.com오픈소스반응 3개최근 반응

    Hacker News
    13점
    GitHub
    스타 47