د. محمد الشريف - D. Mohamed Cherif

18/08/2025

من أسرع محركات الاستدلال لنماذج اللغة الكبيرة (LLMs) 🤯🔥

إذا كنت تعمل مع نماذج طويلة السياق، فبالتأكيد واجهت مشكلة زمن الحصول على أول ناتج (TTFT) المتأخر وبطء الاستجابة ؛؛

هذا الظرف يستدعي وجود حلول مثل LMCache 🔥

ما الذي يقدمه LMCache:

✴️ يقوم LMCache بتخزين وإعادة استخدام أزواج المفاتيح والقيم (KV pairs) لأي نص متكرر، سواء على وحدة GPU أو ذاكرة CPU DRAM أو حتى القرص المحلي.
✴️ على عكس الأساليب التقليدية التي تقتصر على Prefix Caching، يستطيع LMCache إعادة استخدام أي نص متكرر عبر أي خادم أو مثيل للنموذج.
✴️ كل هذا يوفّر موارد الـGPU ويُقلل بشكل كبير من زمن الاستجابة.

أهم الخصائص:

✴️ أداء عالٍ عبر تفريغ ذاكرة KV للـCPU
✴️ انفصال لـ Prefill يتيح التوسّع بكفاءة عالية
✴️ مشاركة peer-إلى-peer للـKV Cache بين الخوادم.

بالرجوع إلى تحارب المطورين فقد حقق الجمع بين LMCache وvLLM، تحسنا كبيرا في تقليص التأخير يتراوح بين 3 إلى 10 أضعاف، وكذلك تقليل دورة وحدة معالجة الرسومات في العديد من حالات استخدام LLM، بما في ذلك multi-round Q&S وRAG 😍

الكود متاح على GitHub
ــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ

17/08/2025

هذه الأداة برأيي ستكون بداية نهاية التصميم العربي.

MyLens is a free AI that turns your raw ideas, complex documents, or other content into interactive, editable, and ready to present visuals—mindmaps, timelines, tables, flowcharts, charts, and more.

03/08/2025

Réflexion:

bipolarité virtuelle : quand les réseaux forgent un double de nous-mêmes.

À force de vivre connectés, nous finissons par développer une seconde personnalité — soigneusement façonnée, exposée, validée — qui peut s’éloigner dangereusement de ce que nous sommes réellement.
Ce "moi numérique", entre filtres et likes, finit par entrer en conflit avec le "moi intime".

Et si l’ultra-connexion nourrissait une forme de dissociation moderne ?