ਕੀ ਮਿੰਨੀ PC ਲੋਕਲ ਤੌਰ 'ਤੇ LLM ਚਲਾ ਸਕਦਾ ਹੈ?
ਹਾਂ। ਇੱਕ Thinvent ਮਿੰਨੀ PC ਇਨਫਰੈਂਸ ਲਈ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ (LLM) ਨੂੰ ਲੋਕਲ ਤੌਰ 'ਤੇ ਚਲਾ ਸਕਦਾ ਹੈ, ਭਾਵ ਕਿਸੇ ਕਲਾਉਡ ਸੇਵਾ ਨੂੰ ਡੇਟਾ ਭੇਜੇ ਬਿਨਾਂ ਆਪਣੇ ਹੀ ਹਾਰਡਵੇਅਰ 'ਤੇ ਪ੍ਰੋਂਪਟਾਂ ਦੇ ਜਵਾਬ ਦਿੱਤੇ ਜਾ ਸਕਦੇ ਹਨ। ਲੋਕਲ LLM ਨੂੰ ਮਾਡਲ ਦੇ ਵੇਟਸ ਰੱਖਣ ਲਈ ਕਾਫ਼ੀ ਸਿਸਟਮ ਮੈਮਰੀ, preprocessing ਅਤੇ tokenization ਸੰਭਾਲਣ ਵਾਲਾ ਸਮਰੱਥ ਪ੍ਰੋਸੈਸਰ, ਅਤੇ ਮਾਡਲ ਲੋਡ ਕਰਨ ਲਈ ਤੇਜ਼ ਸਟੋਰੇਜ ਚਾਹੀਦੀ ਹੈ। ਮਾਡਲ ਲੋਕਲ ਤੌਰ 'ਤੇ ਚਲਾਉਣ ਨਾਲ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਵਧੇਰੇ ਪ੍ਰਾਈਵੇਸੀ, ਤੇਜ਼ iteration ਅਤੇ ਵਾਤਾਵਰਣ 'ਤੇ ਪੂਰਾ ਕੰਟਰੋਲ ਮਿਲਦਾ ਹੈ।
ਲੋਕਲ LLM ਲਈ ਮੁੱਖ ਹਾਰਡਵੇਅਰ ਲੋੜਾਂ
LLM ਵਿੱਚ ਅਰਬਾਂ parameters ਹੁੰਦੇ ਹਨ ਅਤੇ ਇਹ ਵੱਡੇ matrix operations 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ। ਸੁਚਾਰੂ inference ਲਈ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਕਾਰਕ ਇਹ ਹਨ:
-
ਮੈਮਰੀ: ਮਾਡਲ ਦੇ ਵੇਟਸ RAM ਵਿੱਚ ਫਿੱਟ ਹੋਣੇ ਚਾਹੀਦੇ ਹਨ। 16 GB ਜਾਂ ਇਸ ਤੋਂ ਵੱਧ ਵਾਲੇ ਸਿਸਟਮ quantized ਮਾਡਲਾਂ ਲਈ ਵਧੇਰੇ ਥਾਂ ਦਿੰਦੇ ਹਨ।
-
ਪ੍ਰੋਸੈਸਰ: ਵੱਧ core ਗਿਣਤੀ ਅਤੇ clock speed tokenization, ਡੇਟਾ ਹੈਂਡਲਿੰਗ ਅਤੇ multitasking ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਂਦੇ ਹਨ। ਇਸ ਕੰਮ ਲਈ Intel Core i5 ਅਤੇ i7, ਅਤੇ AMD Ryzen 5 ਅਤੇ Ryzen 7 ਪ੍ਰੋਸੈਸਰ ਆਮ ਚੋਣ ਹਨ।
-
ਸਟੋਰੇਜ: ਮਾਡਲ ਫਾਈਲਾਂ ਰੱਖਣ ਲਈ ਕਾਫ਼ੀ ਸਮਰੱਥਾ ਵਾਲੀ SSD। Thinvent ਮਾਡਲਾਂ ਵਿੱਚ 256 GB ਤੋਂ 512 GB ਤੱਕ ਦੀਆਂ SSD ਮਿਲਦੀਆਂ ਹਨ।
ਇਸ ਰੇਂਜ ਦੇ Thinvent ਮਿੰਨੀ PC CPU-ਆਧਾਰਿਤ inference ਵਰਤਦੇ ਹਨ। Thinvent ਰੇਂਜ ਵਿੱਚ ਕੋਈ ਵੱਖਰਾ GPU ਸ਼ਾਮਲ ਨਹੀਂ ਹੈ, ਇਸ ਲਈ ਪ੍ਰੋਸੈਸਰ ਅਤੇ ਸਿਸਟਮ ਮੈਮਰੀ ਹੀ ਤੈਅ ਕਰਦੇ ਹਨ ਕਿ ਇਹ ਸਿਸਟਮ ਕਿਸ ਆਕਾਰ ਦੇ ਮਾਡਲ ਚਲਾ ਸਕਦੇ ਹਨ।
Thinvent ਮਿੰਨੀ PC ਦੀ ਤੁਲਨਾ
| Model | Processor | Cores | Max Frequency | Memory | Storage |
|---|---|---|---|---|---|
| Aero Mini PC (i5-1335U) | Intel Core i5-1335U | 10 | 4.6 GHz | 16 GB DDR4 | 512 GB SSD |
| Aero Mini PC (Core 5 120U) | Intel Core 5 120U | 10 | 5.0 GHz | 16 GB DDR4 | 512 GB SSD |
| Aero Mini PC (i7-1255U) | Intel Core i7-1255U | 10 | 4.7 GHz | 16 GB DDR4 | 256 GB SSD |
| Treo Mini PC (Ryzen 5 7430U) | AMD Ryzen 5 7430U | 6 | 4.3 GHz | 16 GB DDR4 | 512 GB SSD |
| Treo Mini PC (Ryzen 5 7430U) | AMD Ryzen 5 7430U | 6 | 4.3 GHz | 8 GB DDR4 | 256 GB SSD |
| Aero Mini PC (i3-1215U) | Intel Core i3-1215U | 6 | 4.4 GHz | 8 GB DDR4 | 256 GB SSD |
ਲੋਕਲ LLM ਕੰਮ ਲਈ ਕਿਹੜਾ Thinvent ਮਾਡਲ ਢੁਕਵਾਂ ਹੈ
ਸਭ ਤੋਂ ਵੱਧ ਮੈਮਰੀ ਲਈ 512 GB SSD ਵਾਲਾ 16 GB ਮਾਡਲ ਚੁਣੋ, ਜਿਵੇਂ Intel Core 5 120U ਜਾਂ Intel Core i5-1335U ਵਾਲਾ Thinvent Aero Mini PC, ਜਾਂ AMD Ryzen 5 7430U ਵਾਲਾ Thinvent Treo Mini PC। ਹਲਕੇ ਕੰਮਾਂ ਅਤੇ ਛੋਟੇ quantized ਮਾਡਲਾਂ ਲਈ Intel Core i3-1215U ਵਾਲਾ 8 GB Thinvent Aero Mini PC ਜਾਂ AMD Ryzen 5 7430U ਵਾਲਾ 8 GB Thinvent Treo Mini PC ਢੁਕਵਾਂ ਹੈ। Thinvent Micro 6 Pro ਵਿੱਚ 4 GB onboard RAM ਨਾਲ ARM Cortex A55 ਪ੍ਰੋਸੈਸਰ ਹੈ, ਜੋ embedded ਅਤੇ ਹਲਕੇ ਕੰਮਾਂ ਲਈ ਠੀਕ ਹੈ।
ਲੋਕਲ LLM ਲਈ Thinvent ਮਿੰਨੀ PC
Thinvent ਕੋਲ ਲੋਕਲ LLM inference ਲਈ Intel Core ਅਤੇ AMD Ryzen ਪ੍ਰੋਸੈਸਰਾਂ ਵਾਲੇ ਮਿੰਨੀ PC ਹਨ। Aero Mini PC ਲਾਈਨ ਵਿੱਚ i3 ਤੋਂ i7 ਤੱਕ ਦੇ Intel Core ਪ੍ਰੋਸੈਸਰ ਹਨ, ਜਿਨ੍ਹਾਂ ਵਿੱਚ 16 GB ਤੱਕ DDR4 RAM ਅਤੇ 512 GB ਤੱਕ SSD ਸਟੋਰੇਜ ਹੈ। Treo Mini PC ਲਾਈਨ ਵਿੱਚ AMD Ryzen 5 7430U ਅਤੇ Intel N5095A ਪ੍ਰੋਸੈਸਰ ਹਨ। ਇਸ ਰੇਂਜ ਦੇ ਸਾਰੇ ਮਾਡਲ CPU 'ਤੇ ਚੱਲਣ ਵਾਲੇ ਲੋਕਲ AI ਕੰਮਾਂ ਨੂੰ ਸਪੋਰਟ ਕਰਦੇ ਹਨ।
