Mistral AI - VPS

Automatisation
1

Hello l’équipe

Petite question, marre de payer les apis ChatGPT.

Savez vous si il est possible d’installer Mistral AI sur un serveur VPS ubuntu afin de le connecter à N8N.

Je souhaite passer via Contabo, connaissez vous les config requise svp ?

Merci d’avance

1 « J'aime »
2

Hello @vivien_gaillard
Tu peux passer par https://replicate.com/ sinon. Tu peux payer soit au token soit au temps d’exécution serveur selon ce qui t’arrange.

3 « J'aime »
3

Hello @vivien_gaillard,

Je pense qu’il faudra des GPU.

Tu peux peut-être aussi passer par ça si tu veux pas t’embêter :

Le LPU (Language Processing Unit) de Groq

Avec le développement de son LPU (Language Processing Unit), Groq promet une exécution des modèles d’IA, notamment des modèles de langage comme ChatGPT, jusqu’à dix fois plus rapide que les solutions actuelles basées sur les GPU. Mieux encore, le rapport prix-performance serait 100 fois meilleur que celui de Nvidia.
Source : Frandroid

Ils sont apparemment plus de 2x moins cher que la concu pour la partie API qu’ils proposent.

cc @josselin qui est en plein dedans tout ça et qui pourrait peut-être donner des pistes intéressantes.

2 « J'aime »
4

Hello !

Merci pour vos retours mais sauf erreur de ma part si je fais tourner en local je n’ai pas a payer les apis les gars

5

Tu veux dévoiler mes secrets…

2 « J'aime »
6

Je me suis renseigné sur la config necessaire pour un serveur Mistral AI :

VRAM : 6GB
RAM : 16GB

@josselin tu peux m’en dire plus en DM stp ?

7

C’est vrai tu ne paieras pas l’API mais tu paieras le VPS, ça revient un peu au même. Surtout si ton VPS tourne en continu vs un serveur spécialisé qui tournera uniquement quand tu en as besoin

8

Et surtout qu’il est quasi impossible de trouver des vps avec VRAM …

9

Alors j’ai installé ollama notamment avec open-ui sur une machine avec 16 GO de RAM et un peu de GPU, c’est quand même très lent.
Et je confirme pour le prix d’hébergement du VPS et du temps, le service OpenAI reste moins chère !

2 « J'aime »
10

Merci pour l’info !

Même si ca tourne h24 avec un n8n ?

Cdlt

11

Combien dépenses-tu par mois pour l’API ?

Les modèles sont vraiment très gros donc le VPS ne va pas être donné non plus. Pas sûr ce que ça revienne moins cher

As-tu essayé de voir du côté de Shadow ? Shadow PC Gaming

2 « J'aime »
12

D’ailleurs, j’ai vu passer ça, ça se fait des rig IA et plus des rig crypto :joy:

Naturally the most important aspect to look for is the GPU VRAM . For LLMs I recommend at least 24 GB memory and for computer vision tasks I wouldn’t go below 12 GB.

https://towardsdatascience.com/how-to-build-a-multi-gpu-system-for-deep-learning-in-2023-e5bbb905d935

J’ai vu aussi passer de souvenir des 2060 modifiées exprès pour l’IA (augmentation de la VRAM)

2 « J'aime »
13

Ca donne envie de plonger dans le rabbit hole ahah

2 « J'aime »
14

J’en profite pour compléter mon propos avec cette nouvelle vidéo de Underscore :

2 « J'aime »
15

Hello :wave: @vivien_gaillard ,

Un service de Cloudflare très abordable et en full serverless qui peut t’intéresser: Workers AI · Cloudflare Workers AI docs

2 « J'aime »
16

Parmi les alternatives intéressantes, tu aussi la location à l’heure

Faut juste que ton projet ne soit pas en 24/7

Tu modélises tes scénarios et tu nous dis ?

1 « J'aime »