Conclusion de mes recherches actuelles : le Mixture of Expert sur Gemma 4-gemma-4-26b-a4b, ça ne marche pas très bien, c’est très lent. Et il a vraiment du mal avec les fenêtres contextuelles trop longue. Je crois que je vais rester sur Qwen.