ਅਨੁਵਾਦ ਕਤਾਰ: ਬੈਚ ਪ੍ਰੋਸੈਸਿੰਗ ਸਿਸਟਮ

ਇਹ ਲੇਖ ਦੱਸਦਾ ਹੈ ਕਿ ਅਸੀਂ AI API ਵਰਤੋਂ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਅਨੁਵਾਦਾਂ ਨੂੰ ਕਿਵੇਂ ਕਤਾਰਬੱਧ ਅਤੇ ਬੈਚ-ਪ੍ਰੋਸੈਸ ਕਰਦੇ ਹਾਂ।

ਸਮੱਸਿਆ: ਮੰਗ 'ਤੇ ਅਨੁਵਾਦ ਮਹਿੰਗਾ ਹੈ

ਮੰਗ 'ਤੇ ਸਮੱਗਰੀ ਦਾ ਅਨੁਵਾਦ ਕਰਨ ਵਿੱਚ ਸਮੱਸਿਆਵਾਂ ਹਨ:

  • ਹੌਲੀ: ਹਰ ਅਨੁਵਾਦ ਵਿੱਚ 1-2 ਸਕਿੰਟ ਲੱਗਦੇ ਹਨ

  • ਮਹਿੰਗਾ: ਪ੍ਰਤੀ ਬੇਨਤੀ API ਖਰਚੇ

  • ਬੇਲੋੜਾ: ਇੱਕੋ ਟੈਕਸਟ ਦਾ ਕਈ ਵਾਰ ਅਨੁਵਾਦ

  • ਅਵਰੋਧਕ: ਉਪਭੋਗਤਾ ਅਨੁਵਾਦ ਦੀ ਉਡੀਕ ਕਰਦਾ ਹੈ

ਸਾਨੂੰ ਇੱਕ ਬਿਹਤਰ ਤਰੀਕੇ ਦੀ ਲੋੜ ਹੈ।

ਹੱਲ: ਕਤਾਰ ਅਤੇ ਬੈਚ

ਕਤਾਰ: ਅਨੁਵਾਦ ਬੇਨਤੀਆਂ ਇਕੱਠੀਆਂ ਕਰੋ

ਬੈਚ: ਕਈ ਅਨੁਵਾਦ ਇਕੱਠੇ ਪ੍ਰੋਸੈਸ ਕਰੋ

ਕੈਸ਼: ਦੁਬਾਰਾ ਵਰਤੋਂ ਲਈ ਨਤੀਜੇ ਸਟੋਰ ਕਰੋ

ਸ਼ਡਿਊਲ: ਕਤਾਰ ਨੂੰ ਸਮੇਂ-ਸਮੇਂ 'ਤੇ ਪ੍ਰੋਸੈਸ ਕਰੋ (ਰੀਅਲ-ਟਾਈਮ ਨਹੀਂ)

ਕਤਾਰ ਸੰਰਚਨਾ

ਕਤਾਰ ਫਾਈਲ

ਟਿਕਾਣਾ: ਡਿਸਕ 'ਤੇ JSON ਫਾਈਲ

ਫਾਰਮੈਟ: ਅਨੁਵਾਦ ਬੇਨਤੀਆਂ ਦੀ ਐਰੇ

ਫੀਲਡਾਂ:

  • text: ਅਨੁਵਾਦ ਕਰਨ ਲਈ ਅੰਗਰੇਜ਼ੀ ਟੈਕਸਟ

  • target_lang: ਭਾਸ਼ਾ ਕੋਡ (hi, de, fr, ਆਦਿ)

  • context: ਟੈਕਸਟ ਕਿੱਥੇ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ (ਉਤਪਾਦ, ਕਵੈਰੀ, ਲੇਖ)

  • priority: ਉੱਚ/ਸਾਧਾਰਨ/ਘੱਟ

ਕਤਾਰ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰਨਾ

ਜਦੋਂ ਅਨੁਵਾਦ ਗੁੰਮ ਹੋਵੇ:

queue_translation(text, target_lang, context="product")

ਡੀਡუცਲੀਕੇਸ਼ਨ: ਜਾਂਚੋ ਕਿ ਕੀ ਪਹਿਲਾਂ ਹੀ ਕਤਾਰ ਵਿੱਚ ਹੈ

ਵੈਲੀਡੇਸ਼ਨ: ਅਵੈਧ ਮੁੱਲਾਂ ਨੂੰ ਅਸਵੀਕਾਰ ਕਰੋ

ਬੈਚ ਪ੍ਰੋਸੈਸਿੰਗ

ਸਕ੍ਰਿਪਟ

ਟਿਕਾਣਾ: scripts/web/process_translation_queue.py

ਸ਼ਡਿਊਲ: cron ਰਾਹੀਂ ਹਰ 6 ਘੰਟੇ ਬਾਅਦ ਚੱਲਦਾ ਹੈ

ਲਾਕ ਫਾਈਲ: ਇਕੱਠੇ ਚੱਲਣ ਤੋਂ ਰੋਕਦੀ ਹੈ

ਪ੍ਰੋਸੈਸ ਫਲੋ

1. ਕਤਾਰ ਲੋਡ ਕਰੋ: ਸਾਰੀਆਂ ਬਕਾਇਆ ਬੇਨਤੀਆਂ ਪੜ੍ਹੋ

2. ਭਾਸ਼ਾ ਅਨੁਸਾਰ ਸਮੂਹ ਬਣਾਓ: ਇੱਕੋ ਭਾਸ਼ਾ ਦੀਆਂ ਬੇਨਤੀਆਂ ਬੈਚ ਕਰੋ

3. ਡੀਡੁਪਲੀਕੇਟ ਕਰੋ: ਬੈਚ ਦੇ ਅੰਦਰ ਡੁਪਲੀਕੇਟ ਹਟਾਓ

4. ਕੈਸ਼ ਜਾਂਚੋ: ਪਹਿਲਾਂ ਹੀ ਅਨੁਵਾਦ ਕੀਤੇ ਟੈਕਸਟ ਛੱਡੋ

5. ਬੈਚ ਅਨੁਵਾਦ ਕਰੋ: DeepSeek API ਨੂੰ ਭੇਜੋ

6. ਨਤੀਜੇ ਪਾਰਸ ਕਰੋ: ਜਵਾਬ ਤੋਂ ਅਨੁਵਾਦ ਕੱਢੋ

7. ਕੈਸ਼ ਵਿੱਚ ਸੇਵ ਕਰੋ: ਵਾਕਾਂਸ਼ ਟੇਬਲਾਂ ਵਿੱਚ ਸਟੋਰ ਕਰੋ

8. ਕਤਾਰ ਸਾਫ਼ ਕਰੋ: ਪ੍ਰੋਸੈਸ ਕੀਤੀਆਂ ਬੇਨਤੀਆਂ ਹਟਾਓ

ਬੈਚ ਅਨੁਵਾਦ

API ਕਾਲ

ਮਾਡਲ: DeepSeek-V3 (Together.ai ਰਾਹੀਂ)

ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ: ਕੈਸ਼ ਕੀਤਾ (ਭਾਸ਼ਾ ਵਿੱਚ ਸਾਰੇ ਬੈਚਾਂ ਲਈ ਇੱਕੋ)

ਯੂਜ਼ਰ ਪ੍ਰੋਂਪਟ: ਵੇਰੀਏਬਲ (ਬੈਚ-ਵਿਸ਼ੇਸ਼)

ਫਾਰਮੈਟ: ਨੰਬਰ ਵਾਲੀ ਸੂਚੀ

ਉਦਾਹਰਨ:

Translate these 10 texts:
1. Mini PC
2. Thin Client
3. Compact Desktop
...

ਜਵਾਬ:

1. मिनी पीसी
2. थिन क्लाइंट
3. कॉम्पैक्ट डेस्कटॉप
...

ਪਾਰਸਿੰਗ

ਲਾਈਨ ਨੰਬਰ ਦੁਆਰਾ ਅਨੁਵਾਦ ਕੱਢੋ:

  • ਨੰਬਰ ਪ੍ਰੀਫਿਕਸ ਹਟਾਓ (1., 2., ਆਦਿ)

  • ਸਥਿਤੀ ਦੁਆਰਾ ਅਸਲ ਟੈਕਸਟ ਨਾਲ ਮਿਲਾਓ

  • ਗਿਣਤੀ ਮੇਲ ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ

ਐਰਰ ਹੈਂਡਲਿੰਗ

API ਫੇਲ: ਫਾਲਬੈਕ API ਨਾਲ ਦੁਬਾਰਾ ਕੋਸ਼ਿਸ਼ ਕਰੋ

ਪਾਰਸ ਫੇਲ: ਅਸਲ ਟੈਕਸਟ ਵਾਪਸ ਕਰੋ

ਅੰਸ਼ਿਕ ਸਫਲਤਾ: ਸਫਲ ਅਨੁਵਾਦ ਸੇਵ ਕਰੋ, ਫੇਲ ਹੋਏ ਦੁਬਾਰਾ ਕਤਾਰਬੱਧ ਕਰੋ

ਕੈਸ਼ਿੰਗ ਰਣਨੀਤੀ

ਵਾਕਾਂਸ਼ ਟੇਬਲਾਂ

ਟਿਕਾਣਾ: ਪ੍ਰਤੀ ਭਾਸ਼ਾ JSON ਫਾਈਲਾਂ

ਫਾਰਮੈਟ: {"English": "Translation"}

ਲੋਡਿੰਗ: ਸ਼ੁਰੂਆਤ ਵੇਲੇ ਇੱਕ ਵਾਰ ਲੋਡ ਕੀਤਾ

ਲਾਭ: ਤੇਜ਼ ਲੁੱਕਅੱਪ, ਕੋਈ API ਕਾਲ ਨਹੀਂ

ਕੈਸ਼ ਹਿੱਟ ਰੇਟ

ਪਹਿਲੀ ਵਾਰ ਚਲਾਉਣਾ: ਘੱਟ (ਸਭ ਕੁਝ ਨਵਾਂ)

ਬਾਅਦ ਦੇ ਚੱਲਣ: ਉੱਚ (ਜ਼ਿਆਦਾਤਰ ਟੈਕਸਟ ਕੈਸ਼ ਕੀਤੇ)

ਲਾਭ: ਘਟੀਆਂ API ਲਾਗਤਾਂ

ਸੰਭਾਲਣ ਦੇ ਨਿਯਮ

ਅਨੁਵਾਦ ਦੌਰਾਨ, ਅਸੀਂ ਸੰਭਾਲਦੇ ਹਾਂ:

ਬ੍ਰਾਂਡ ਨਾਮ: Thinvent®, Intel®, AMD®

HTML ਟੈਗ: <p>, <br>, <strong>

URLs: https://www.thinvent.in

SKUs: Treo-N100-8-256

ਨੰਬਰ: 8GB, 256GB, 4 cores

ਲਾਗੂ ਕਰਨਾ: ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ ਵਿੱਚ Regex ਪੈਟਰਨ

ਭਾਸ਼ਾ ਖੋਜ

ਅਨੁਵਾਦ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ, ਜਾਂਚੋ ਕਿ ਕੀ ਪਹਿਲਾਂ ਹੀ ਅਨੁਵਾਦ ਹੋ ਚੁੱਕਾ ਹੈ:

ਢੰਗ: ਕੈਰੈਕਟਰ ਸੈੱਟ ਵਿਸ਼ਲੇਸ਼ਣ

ਹਿੰਦੀ: ਦੇਵਨਾਗਰੀ ਲਿਪੀ

ਚੀਨੀ: CJK ਅੱਖਰ

ਅਰਬੀ: ਅਰਬੀ ਲਿਪੀ

ਲਾਭ: ਗੈਰ-ਜ਼ਰੂਰੀ ਅਨੁਵਾਦ ਛੱਡੋ

ਪ੍ਰਾਇਰਟੀ ਹੈਂਡਲਿੰਗ

ਉੱਚ ਪ੍ਰਾਇਰਟੀ: ਉਤਪਾਦ ਨਾਮ, ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ (ਪਹਿਲਾਂ ਪ੍ਰੋਸੈਸ ਕਰੋ)

ਸਾਧਾਰਨ ਪ੍ਰਾਇਰਟੀ: ਵਰਣਨ, ਲੇਖ (ਦੂਜਾ ਪ੍ਰੋਸੈਸ ਕਰੋ)

ਘੱਟ ਪ੍ਰਾਇਰਟੀ: ਪੁਰਾਣੀ ਸਮੱਗਰੀ, ਘੱਟ ਦੇਖੀ ਜਾਂਦੀ (ਆਖਰੀ ਪ੍ਰੋਸੈਸ ਕਰੋ)

ਲਾਭ: ਮਹੱਤਵਪੂਰਨ ਸਮੱਗਰੀ ਪਹਿਲਾਂ ਅਨੁਵਾਦ

ਸ਼ਡਿਊਲਿੰਗ

Cron ਜੌਬ

ਆਵਿਰਤੀ: ਹਰ 6 ਘੰਟੇ ਬਾਅਦ

ਕਮਾਂਡ: python3 scripts/web/process_translation_queue.py

ਲਾਕ ਫਾਈਲ: /tmp/process_translation_queue.lock

ਲਾਭ: ਸਵੈਚਾਲਿਤ ਪ੍ਰੋਸੈਸਿੰਗ, ਕੋਈ ਮੈਨੂਅਲ ਦਖਲ ਨਹੀਂ

ਹਫ਼ਤਾਵਾਰੀ ਕੰਮ

ਲੇਖ: ਹਰ ਹਫ਼ਤੇ ਨਵੇਂ ਲੇਖਾਂ ਦਾ ਅਨੁਵਾਦ ਕਰੋ

Babel ਸਟ੍ਰਿੰਗਾਂ: ਹਫ਼ਤਾਵਾਰੀ ਟੈਂਪਲੇਟ ਅਨੁਵਾਦ ਅੱਪਡੇਟ ਕਰੋ

ਸਕ੍ਰਿਪਟ: scripts/web/translate_articles_weekly.sh

ਨਿਗਰਾਨੀ

ਕਤਾਰ ਆਕਾਰ

ਬਕਾਇਆ ਬੇਨਤੀਆਂ ਟ੍ਰੈਕ ਕਰੋ:

  • ਕੁੱਲ ਬੇਨਤੀਆਂ

  • ਪ੍ਰਤੀ ਭਾਸ਼ਾ ਬੇਨਤੀਆਂ

  • ਸਭ ਤੋਂ ਪੁਰਾਣੀ ਬੇਨਤੀ ਦੀ ਉਮਰ

ਅਲਰਟ: ਜੇ ਕਤਾਰ ਬਹੁਤ ਵੱਡੀ ਹੋ ਜਾਵੇ

ਅਨੁਵਾਦ ਅੰਕੜੇ

ਪ੍ਰੋਸੈਸਿੰਗ ਟ੍ਰੈਕ ਕਰੋ:

  • ਪ੍ਰਤੀ ਬੈਚ ਅਨੁਵਾਦ

  • API ਸਫਲਤਾ ਦਰ

  • ਕੈਸ਼ ਹਿੱਟ ਰੇਟ

  • ਪ੍ਰੋਸੈਸਿੰਗ ਸਮਾਂ

ਲਾਗਤ ਟ੍ਰੈਕਿੰਗ

API ਵਰਤੋਂ ਦੀ ਨਿਗਰਾਨੀ ਕਰੋ:

  • ਪ੍ਰਤੀ ਦਿਨ ਬੇਨਤੀਆਂ

  • ਪ੍ਰਤੀ ਬੇਨਤੀ ਟੋਕਨ

  • ਪ੍ਰਤੀ ਭਾਸ਼ਾ ਲਾਗਤ

ਹਵਾਲੇ

ਸੰਬੰਧਿਤ ਲੇਖ

ਸਾਰਾਂਸ਼

ਅਨੁਵਾਦ ਕਤਾਰ ਕੁਸ਼ਲ ਬੈਚ ਪ੍ਰੋਸੈਸਿੰਗ ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਂਦੀ ਹੈ:

ਕਤਾਰ:

  • ਅਨੁਵਾਦ ਬੇਨਤੀਆਂ ਇਕੱਠੀਆਂ ਕਰੋ

  • ਬੈਚ ਦੇ ਅੰਦਰ ਡੀਡੁਪਲੀਕੇਟ ਕਰੋ

  • ਪ੍ਰਾਇਰਟੀ ਹੈਂਡਲਿੰਗ

  • ਵੈਲੀਡੇਸ਼ਨ ਅਤੇ ਫਿਲਟਰਿੰਗ

ਬੈਚ ਪ੍ਰੋਸੈਸਿੰਗ:

  • ਭਾਸ਼ਾ ਅਨੁਸਾਰ ਸਮੂਹ ਬਣਾਓ

  • DeepSeek API ਨੂੰ ਭੇਜੋ

  • ਨੰਬਰ ਵਾਲੇ ਜਵਾਬ ਪਾਰਸ ਕਰੋ

  • ਵਾਕਾਂਸ਼ ਟੇਬਲਾਂ ਵਿੱਚ ਸੇਵ ਕਰੋ

ਕੈਸ਼ਿੰਗ:

  • ਅਨੁਵਾਦ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਕੈਸ਼ ਜਾਂਚੋ

  • ਉੱਚ ਕੈਸ਼ ਹਿੱਟ ਰੇਟ

  • ਘਟੀਆਂ API ਲਾਗਤਾਂ

ਸ਼ਡਿਊਲਿੰਗ:

  • cron ਰਾਹੀਂ ਹਰ 6 ਘੰਟੇ ਬਾਅਦ

  • ਲਾਕ ਫਾਈਲ ਇਕੱਠੇ ਚੱਲਣ ਤੋਂ ਰੋਕਦੀ ਹੈ

  • ਹਫ਼ਤਾਵਾਰੀ ਲੇਖ ਅਨੁਵਾਦ

ਸੰਭਾਲਣਾ:

  • ਬ੍ਰਾਂਡ ਨਾਮ

  • HTML ਟੈਗ

  • URLs ਅਤੇ SKUs

ਇਹ ਪਹੁੰਚ ਬੈਚਿੰਗ ਅਤੇ ਕੈਸ਼ਿੰਗ ਰਾਹੀਂ API ਲਾਗਤਾਂ ਘਟਾਉਂਦੀ ਹੈ ਅਤੇ ਅਨੁਵਾਦ ਦੀ ਗੁਣਵੱਤਾ ਸੁਧਾਰਦੀ ਹੈ।

← ਦਸਤਾਵੇਜ਼ ਸੂਚੀ 'ਤੇ ਵਾਪਸ ਜਾਓ