മിനി PC-ക്ക് LLM ലോക്കലായി പ്രവർത്തിപ്പിക്കാനാകുമോ?
അതെ. ഒരു Thinvent മിനി PC-ക്ക് inference-നായി വലിയ ഭാഷാ മോഡൽ (LLM) ലോക്കലായി പ്രവർത്തിപ്പിക്കാനാകും. അതായത്, ഒരു ക്ലൗഡ് സേവനത്തിലേക്ക് ഡാറ്റ അയക്കാതെ നിങ്ങളുടെ സ്വന്തം ഹാർഡ്‌വെയറിൽ പ്രോംപ്റ്റുകൾക്ക് ഉത്തരം നൽകാം. ലോക്കൽ LLM-ന് മോഡൽ weights സൂക്ഷിക്കാൻ മതിയായ സിസ്റ്റം മെമ്മറി, preprocessing, tokenization എന്നിവ കൈകാര്യം ചെയ്യാൻ കഴിവുള്ള പ്രോസസർ, മോഡലുകൾ ലോഡ് ചെയ്യാൻ വേഗമുള്ള സ്റ്റോറേജ് എന്നിവ ആവശ്യമാണ്. മോഡലുകൾ ലോക്കലായി പ്രവർത്തിപ്പിക്കുന്നത് ഡെവലപ്പർമാർക്ക് കൂടുതൽ സ്വകാര്യത, വേഗത്തിലുള്ള ആവർത്തനം, പരിസ്ഥിതിയുടെ പൂർണ്ണ നിയന്ത്രണം എന്നിവ നൽകുന്നു.
ലോക്കൽ LLM-നുള്ള പ്രധാന ഹാർഡ്‌വെയർ ആവശ്യകതകൾ
LLM-ൽ ബില്യൺ കണക്കിന് parameters ഉണ്ടാകും, അവ വലിയ matrix പ്രവർത്തനങ്ങളെ ആശ്രയിക്കുന്നു. സുഗമമായ inference-നായി ഏറ്റവും പ്രധാനപ്പെട്ട ഘടകങ്ങൾ ഇവയാണ്:
-
മെമ്മറി: മോഡൽ weights RAM-ൽ ഒതുങ്ങണം. 16 GB അല്ലെങ്കിൽ അതിൽ കൂടുതലുള്ള സിസ്റ്റങ്ങൾ quantized മോഡലുകൾക്ക് കൂടുതൽ സ്ഥലം നൽകുന്നു.
-
പ്രോസസർ: കൂടുതൽ core എണ്ണവും clock വേഗവും tokenization, ഡാറ്റ കൈകാര്യം ചെയ്യൽ, multitasking എന്നിവ മെച്ചപ്പെടുത്തുന്നു. ഈ ജോലിക്കായി Intel Core i5, i7, AMD Ryzen 5, Ryzen 7 പ്രോസസറുകൾ സാധാരണ തിരഞ്ഞെടുപ്പുകളാണ്.
-
സ്റ്റോറേജ്: മോഡൽ ഫയലുകൾ സൂക്ഷിക്കാൻ മതിയായ ശേഷിയുള്ള SSD. Thinvent മോഡലുകളിൽ 256 GB മുതൽ 512 GB വരെ SSD ലഭ്യമാണ്.
ഈ ശ്രേണിയിലെ Thinvent മിനി PC-കൾ CPU അടിസ്ഥാനമാക്കിയുള്ള inference ഉപയോഗിക്കുന്നു. Thinvent ശ്രേണിയിൽ പ്രത്യേക GPU ഉൾപ്പെടുന്നില്ല, അതിനാൽ ഈ സിസ്റ്റങ്ങൾക്ക് പ്രവർത്തിപ്പിക്കാനാകുന്ന മോഡൽ വലുപ്പം നിശ്ചയിക്കുന്നത് പ്രോസസറും സിസ്റ്റം മെമ്മറിയുമാണ്.
Thinvent മിനി PC താരതമ്യം
| Model | Processor | Cores | Max Frequency | Memory | Storage |
|---|---|---|---|---|---|
| Aero Mini PC (i5-1335U) | Intel Core i5-1335U | 10 | 4.6 GHz | 16 GB DDR4 | 512 GB SSD |
| Aero Mini PC (Core 5 120U) | Intel Core 5 120U | 10 | 5.0 GHz | 16 GB DDR4 | 512 GB SSD |
| Aero Mini PC (i7-1255U) | Intel Core i7-1255U | 10 | 4.7 GHz | 16 GB DDR4 | 256 GB SSD |
| Treo Mini PC (Ryzen 5 7430U) | AMD Ryzen 5 7430U | 6 | 4.3 GHz | 16 GB DDR4 | 512 GB SSD |
| Treo Mini PC (Ryzen 5 7430U) | AMD Ryzen 5 7430U | 6 | 4.3 GHz | 8 GB DDR4 | 256 GB SSD |
| Aero Mini PC (i3-1215U) | Intel Core i3-1215U | 6 | 4.4 GHz | 8 GB DDR4 | 256 GB SSD |
ലോക്കൽ LLM ജോലികൾക്ക് ഏത് Thinvent മോഡൽ യോജിക്കും
ഏറ്റവും കൂടുതൽ മെമ്മറിക്കായി 512 GB SSD ഉള്ള 16 GB മോഡൽ തിരഞ്ഞെടുക്കുക. ഉദാഹരണത്തിന്, Intel Core 5 120U അല്ലെങ്കിൽ Intel Core i5-1335U ഉള്ള Thinvent Aero Mini PC, അല്ലെങ്കിൽ AMD Ryzen 5 7430U ഉള്ള Thinvent Treo Mini PC. ലഘുവായ ജോലികൾക്കും ചെറിയ quantized മോഡലുകൾക്കും Intel Core i3-1215U ഉള്ള 8 GB Thinvent Aero Mini PC അല്ലെങ്കിൽ AMD Ryzen 5 7430U ഉള്ള 8 GB Thinvent Treo Mini PC അനുയോജ്യമാണ്. Thinvent Micro 6 Pro-യിൽ 4 GB onboard RAM ഉള്ള ARM Cortex A55 പ്രോസസറുണ്ട്, ഇത് embedded, ലഘു ജോലികൾക്ക് യോജിക്കുന്നു.
ലോക്കൽ LLM-നുള്ള Thinvent മിനി PC-കൾ
ലോക്കൽ LLM inference-നായി Intel Core, AMD Ryzen പ്രോസസറുകളുള്ള മിനി PC-കൾ Thinvent-ലുണ്ട്. Aero Mini PC ശ്രേണിയിൽ i3 മുതൽ i7 വരെയുള്ള Intel Core പ്രോസസറുകളുണ്ട്, 16 GB വരെ DDR4 RAMഉം 512 GB വരെ SSD സ്റ്റോറേജും ഉണ്ട്. Treo Mini PC ശ്രേണിയിൽ AMD Ryzen 5 7430U, Intel N5095A പ്രോസസറുകളുണ്ട്. ഈ ശ്രേണിയിലെ എല്ലാ മോഡലുകളും CPU-യിൽ പ്രവർത്തിക്കുന്ന ലോക്കൽ AI ജോലികളെ പിന്തുണയ്ക്കുന്നു.
