Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
2 changes: 1 addition & 1 deletion vllmhymt157bv2/Chart.yaml
Original file line number Diff line number Diff line change
Expand Up @@ -3,4 +3,4 @@ appVersion: 'tencent/HY-MT1.5-7B'
description: description
name: vllmhymt157bv2
type: application
version: 1.0.15
version: 1.0.21
11 changes: 9 additions & 2 deletions vllmhymt157bv2/OlaresManifest.yaml
Original file line number Diff line number Diff line change
Expand Up @@ -8,9 +8,9 @@ metadata:
description: Multilingual translation model from Hunyuan
appid: vllmhymt157bv2
title: HY-MT1.5-7B (vLLM)
version: '1.0.15'
version: '1.0.21'
categories:
- AI
- AI
sharedEntrances:
- name: vllmhymt157bv2
host: sharedentrances-api
Expand Down Expand Up @@ -50,9 +50,16 @@ spec:
locale:
- en-US
- zh-CN
- de-DE
- es-ES
- it-IT
- fr-FR
- ja-JP
doc: https://github.com/Tencent-Hunyuan/Hunyuan-MT

upgradeDescription: |

Replace the Bitnami OpenResty proxy with official OpenResty and run it as UID/GID 1000 with writable runtime paths.
Upgrade vLLM runtime to v0.22.0-cu129; enable -O3 optimization and persist torch.compile / FlashInfer cache.

{{- if and .Values.admin .Values.bfl.username (eq .Values.admin .Values.bfl.username) }}
Expand Down
18 changes: 18 additions & 0 deletions vllmhymt157bv2/i18n/de-DE/OlaresManifest.yaml
Original file line number Diff line number Diff line change
@@ -0,0 +1,18 @@
metadata:
title: HY-MT1.5-7B (vLLM)
description: Mehrsprachiges Übersetzungsmodell von Hunyuan
spec:
fullDescription: |
**WICHTIGER HINWEIS**
Dies ist eine gemeinsam genutzte App. Im gesamten Olares-System wird nur ein Dienst installiert. Jeder Benutzer kann einen Desktop-Eintrag für den Zugriff installieren oder den gemeinsamen Zugang verwenden, um die Dienst-API aufzurufen.

**ÜBERBLICK**
Hunyuan-MT besteht aus dem Übersetzungsmodell Hunyuan-MT-7B und dem Ensemble-Modell Hunyuan-MT-Chimera. Das Übersetzungsmodell übersetzt Ausgangstext in die Zielsprache, während das Ensemble-Modell mehrere Übersetzungsergebnisse integriert, um ein hochwertigeres Ergebnis zu erzeugen. Es unterstützt hauptsächlich die wechselseitige Übersetzung zwischen 33 Sprachen, darunter fünf ethnische Minderheitensprachen Chinas.

**Wichtigste Funktionen und Vorteile**
- Beim WMT25-Wettbewerb erreichte das Modell in 30 der 31 teilgenommenen Sprachkategorien den ersten Platz.
- Hunyuan-MT-7B erzielt unter Modellen vergleichbarer Größe branchenführende Leistung.
- Hunyuan-MT-Chimera-7B ist das erste quelloffene Übersetzungs-Ensemble-Modell der Branche und hebt die Übersetzungsqualität auf ein neues Niveau.
- Es wurde ein umfassendes Trainingsframework für Übersetzungsmodelle vorgeschlagen, das von pretrain → cross-lingual pretraining (CPT) → supervised fine-tuning (SFT) → translation enhancement → ensemble refinement reicht und für Modelle ähnlicher Größe State-of-the-Art-Ergebnisse (SOTA) erzielt.
upgradeDescription: |
vLLM-Laufzeit auf v0.22.0-cu129 aktualisiert; -O3-Optimierung aktiviert und torch.compile- / FlashInfer-Cache persistent gespeichert.
18 changes: 18 additions & 0 deletions vllmhymt157bv2/i18n/es-ES/OlaresManifest.yaml
Original file line number Diff line number Diff line change
@@ -0,0 +1,18 @@
metadata:
title: HY-MT1.5-7B (vLLM)
description: Modelo de traducción multilingüe de Hunyuan
spec:
fullDescription: |
**NOTA IMPORTANTE**
Esta es una aplicación compartida. Solo se instalará un servicio en todo el sistema Olares. Cada usuario puede instalar un acceso en el escritorio o utilizar la entrada compartida para llamar a la API del servicio.

**DESCRIPCIÓN GENERAL**
Hunyuan-MT está compuesto por el modelo de traducción Hunyuan-MT-7B y el modelo ensemble Hunyuan-MT-Chimera. El modelo de traducción convierte el texto de origen al idioma de destino, mientras que el modelo ensemble integra varias traducciones para producir un resultado de mayor calidad. Admite principalmente la traducción mutua entre 33 idiomas, incluidos cinco idiomas de minorías étnicas de China.

**Funciones y ventajas principales**
- En la competición WMT25, el modelo obtuvo el primer puesto en 30 de las 31 categorías lingüísticas en las que participó.
- Hunyuan-MT-7B ofrece un rendimiento líder en el sector entre modelos de escala comparable.
- Hunyuan-MT-Chimera-7B es el primer modelo ensemble de traducción de código abierto del sector y eleva la calidad de traducción a un nuevo nivel.
- Se ha propuesto un framework integral de entrenamiento de modelos de traducción que abarca pretrain → cross-lingual pretraining (CPT) → supervised fine-tuning (SFT) → translation enhancement → ensemble refinement, y alcanza resultados de vanguardia (SOTA) para modelos de tamaño similar.
upgradeDescription: |
Se actualiza el entorno de ejecución vLLM a v0.22.0-cu129, se activa la optimización -O3 y se conserva la caché de torch.compile / FlashInfer.
18 changes: 18 additions & 0 deletions vllmhymt157bv2/i18n/fr-FR/OlaresManifest.yaml
Original file line number Diff line number Diff line change
@@ -0,0 +1,18 @@
metadata:
title: HY-MT1.5-7B (vLLM)
description: Modèle de traduction multilingue de Hunyuan
spec:
fullDescription: |
**REMARQUE IMPORTANTE**
Il s'agit d'une application partagée. Un seul service sera installé dans tout le système Olares. Chaque utilisateur peut installer un raccourci sur le bureau pour y accéder ou utiliser l'entrée partagée afin d'appeler l'API du service.

**PRÉSENTATION**
Hunyuan-MT comprend le modèle de traduction Hunyuan-MT-7B et le modèle d'ensemble Hunyuan-MT-Chimera. Le modèle de traduction convertit le texte source dans la langue cible, tandis que le modèle d'ensemble intègre plusieurs traductions pour produire un résultat de meilleure qualité. Il prend principalement en charge la traduction mutuelle entre 33 langues, dont cinq langues de minorités ethniques de Chine.

**Fonctionnalités et avantages principaux**
- Lors de la compétition WMT25, le modèle s'est classé premier dans 30 des 31 catégories linguistiques auxquelles il a participé.
- Hunyuan-MT-7B offre des performances de pointe parmi les modèles de taille comparable.
- Hunyuan-MT-Chimera-7B est le premier modèle d'ensemble de traduction open source du secteur et porte la qualité des traductions à un niveau inédit.
- Un framework d'entraînement complet pour les modèles de traduction a été proposé, allant de pretrain → cross-lingual pretraining (CPT) → supervised fine-tuning (SFT) → translation enhancement → ensemble refinement, avec des résultats de pointe (SOTA) pour les modèles de taille similaire.
upgradeDescription: |
Mise à niveau du runtime vLLM vers v0.22.0-cu129 ; activation de l'optimisation -O3 et persistance du cache torch.compile / FlashInfer.
18 changes: 18 additions & 0 deletions vllmhymt157bv2/i18n/it-IT/OlaresManifest.yaml
Original file line number Diff line number Diff line change
@@ -0,0 +1,18 @@
metadata:
title: HY-MT1.5-7B (vLLM)
description: Modello di traduzione multilingue di Hunyuan
spec:
fullDescription: |
**NOTA IMPORTANTE**
Questa è un'app condivisa. Verrà installato un solo servizio nell'intero sistema Olares. Ogni utente può installare un collegamento sul desktop per accedervi oppure usare l'accesso condiviso per chiamare l'API del servizio.

**PANORAMICA**
Hunyuan-MT comprende il modello di traduzione Hunyuan-MT-7B e il modello ensemble Hunyuan-MT-Chimera. Il modello di traduzione converte il testo sorgente nella lingua di destinazione, mentre il modello ensemble integra più risultati per produrre una traduzione di qualità superiore. Supporta principalmente la traduzione reciproca fra 33 lingue, incluse cinque lingue di minoranze etniche cinesi.

**Funzionalità e vantaggi principali**
- Nella competizione WMT25, il modello si è classificato al primo posto in 30 delle 31 categorie linguistiche a cui ha partecipato.
- Hunyuan-MT-7B offre prestazioni leader del settore tra modelli di scala comparabile.
- Hunyuan-MT-Chimera-7B è il primo modello ensemble di traduzione open source del settore e porta la qualità della traduzione a un nuovo livello.
- È stato proposto un framework di addestramento completo per i modelli di traduzione, che comprende pretrain → cross-lingual pretraining (CPT) → supervised fine-tuning (SFT) → translation enhancement → ensemble refinement e ottiene risultati all'avanguardia (SOTA) per modelli di dimensioni simili.
upgradeDescription: |
Aggiornato il runtime vLLM a v0.22.0-cu129; abilitata l'ottimizzazione -O3 e resa persistente la cache di torch.compile / FlashInfer.
18 changes: 18 additions & 0 deletions vllmhymt157bv2/i18n/ja-JP/OlaresManifest.yaml
Original file line number Diff line number Diff line change
@@ -0,0 +1,18 @@
metadata:
title: HY-MT1.5-7B (vLLM)
description: Hunyuan の多言語翻訳モデル
spec:
fullDescription: |
**重要なお知らせ**
これは共有アプリです。Olares システム全体にインストールされるサービスは1つだけです。各ユーザーはデスクトップエントリをインストールしてアクセスするか、共有エントランスからサービス API を呼び出せます。

**概要**
Hunyuan-MT は、翻訳モデル Hunyuan-MT-7B とアンサンブルモデル Hunyuan-MT-Chimera で構成されます。翻訳モデルは原文を対象言語へ翻訳し、アンサンブルモデルは複数の翻訳結果を統合して、より高品質な結果を生成します。中国の少数民族言語5つを含む、主に33言語間の相互翻訳に対応します。

**主な機能と利点**
- WMT25 コンペティションでは、参加した31言語カテゴリーのうち30カテゴリーで1位を獲得。
- Hunyuan-MT-7B は同規模のモデルで業界最高水準の性能を実現。
- Hunyuan-MT-Chimera-7B は業界初のオープンソース翻訳アンサンブルモデルで、翻訳品質を新たな水準へ向上。
- pretrain → cross-lingual pretraining (CPT) → supervised fine-tuning (SFT) → translation enhancement → ensemble refinement までを網羅する包括的な翻訳モデル学習 framework を提案し、同規模モデルで最先端(SOTA)の結果を達成。
upgradeDescription: |
vLLM ランタイムを v0.22.0-cu129 にアップグレードし、-O3 最適化を有効化して torch.compile / FlashInfer キャッシュを永続化。
25 changes: 21 additions & 4 deletions vllmhymt157bv2/vllmhymt157bv2/templates/clientproxy.yaml
Original file line number Diff line number Diff line change
Expand Up @@ -7,9 +7,14 @@ metadata:
data:
app_backend.conf: |
server {
client_body_temp_path /tmp/client_body;
proxy_temp_path /tmp/proxy;
fastcgi_temp_path /tmp/fastcgi;
uwsgi_temp_path /tmp/uwsgi;
scgi_temp_path /tmp/scgi;
listen 8080;
access_log /opt/bitnami/openresty/nginx/logs/access.log;
error_log /opt/bitnami/openresty/nginx/logs/error.log;
access_log /dev/stdout;
error_log /dev/stderr;
proxy_connect_timeout 60s;
proxy_send_timeout 60s;
proxy_read_timeout 1800s;
Expand Down Expand Up @@ -52,9 +57,19 @@ spec:
items:
- key: app_backend.conf
path: app_backend.conf
- name: nginx-runtime
emptyDir: {}
containers:
- name: nginx
image: "docker.io/beclab/aboveos-bitnami-openresty:1.25.3-2"
image: "docker.io/openresty/openresty:1.29.2.5-bookworm-fat"
command:
- /usr/local/openresty/bin/openresty
args:
- -g
- "daemon off; pid /tmp/nginx.pid;"
securityContext:
runAsUser: 1000
runAsGroup: 1000
ports:
- containerPort: 8080
protocol: TCP
Expand Down Expand Up @@ -83,8 +98,10 @@ spec:
failureThreshold: 10
volumeMounts:
- name: nginx-config
mountPath: /opt/bitnami/openresty/nginx/conf/server_blocks/app_backend.conf
mountPath: /etc/nginx/conf.d/default.conf
subPath: app_backend.conf
- name: nginx-runtime
mountPath: /var/run/openresty
---
apiVersion: v1
kind: Service
Expand Down