ZhiLight

@zhihu

A highly optimized LLM inference acceleration engine for Llama and its variants.

Apache-2.0 Commit 6 maanden geleden ★ 908

Pijlers en weging

Soevereiniteit 30% 48

Onderhoud 25% 54

Beveiliging 20% geen gegevens

Adoptie 15% 38

Open standaarden 10% 0

Waarom deze score

Apache-2.0 (permissief)
Laatste commit 192 dagen geleden
Top 62% naar sterren in AI & ML › AI-operations

Feiten

Licentie: Apache-2.0 (Permissief)
Taal: C++
GitHub-sterren: 908
Laatste commit: 2026-03-18 (6 maanden geleden)
Laatste release: 2024-12-10T04:04:58Z
OpenSSF Scorecard: Nog niet gemeten
Zelf hosten: Niet vastgesteld
Maintainer-locatie: Onbekend
Bron: github-search

Alternatieven in AI-operations

Qdrant

Qdrant - High-performance, massive-scale Vector Database and Vector Search Engine for the next generation of AI. Also available in the cloud https://cloud.qdrant.io/

77 02

vLLM

A high-throughput and memory-efficient inference and serving engine for LLMs

76 03

Olares

Open-Source Personal Cloud OS for Always-On Agents

74 04

argo-workflows

Workflow Engine for Kubernetes