← 트렌딩

Tangerine Index는 ChatGPT 이후 나온 프로덕트와 사람들의 반응을 싣습니다.

nixl

github.com

NVIDIA Inference Xfer Library (NIXL)

라이브러리오픈소스

github.com 방문외부 사이트GitHub1,360 스타외부 사이트

반응 (1)

비슷한 프로덕트

설명이 비슷한 순

  1. exllamav2

    A fast inference library for running LLMs locally on modern consumer-class GPUs

    github.com라이브러리오픈소스최근 반응

    Hacker News
    반응 없음
    GitHub
    스타 4,651

  2. airllm

    AirLLM 2.8T LLM inference with single 4GB GPU

    github.com오픈소스최근 반응

    Hacker News
    반응 없음
    GitHub
    스타 41,908

  3. tachyon

    Modular ZK(Zero Knowledge) backend accelerated by GPU

    github.com오픈소스최근 반응

    Hacker News
    반응 없음
    GitHub
    스타 7,642

  4. Inferbench

    collect/share datapoints on GPU's inference performance

    inferbench.com최근 반응

    Hacker News
    7점
    GitHub
    반응 없음

  5. TensorFold

    LLM Inference Engine for Metal, CUDA and Vulkan.

    github.com오픈소스최근 반응

    Hacker News
    반응 없음
    GitHub
    스타 1,686