সোর্স ডেটা এমবেডিং (ধাপ ০): ভিত্তি তৈরি

এই নিবন্ধে ব্যাখ্যা করা হয়েছে কিভাবে আমরা সমস্ত আবিষ্কারযোগ্য সোর্স কন্টেন্ট (পণ্য, যন্ত্রাংশ এবং অন-সাইট পৃষ্ঠা) একটি শেয়ার্ড ভেক্টর স্পেসে এমবেড করি যাতে এসইও এবং সার্চ পাইপলাইন জুড়ে সিম্যান্টিক ম্যাচিং সমর্থন করা যায়।

সমস্যা: অর্থের ভিত্তিতে কন্টেন্টের সাথে কোয়েরি মেলানো

ব্যবহারকারীরা বিভিন্ন বাক্য গঠনের মাধ্যমে তাদের অভিপ্রায় প্রকাশ করে। যখন কোয়েরির শব্দবিন্যাস ক্যাটালগের শব্দবিন্যাসের সাথে মিলে না তখন কীওয়ার্ড ম্যাচিং কাজ করে না।

আমরা সিম্যান্টিক এমবেডিং ব্যবহার করি যাতে কোয়েরি এবং সোর্স কন্টেন্ট উভয়ই অর্থের ভিত্তিতে তুলনা করা যায় (সাধারণত কোসাইন সাদৃশ্য এর মাধ্যমে)।

কী এমবেড করা হয়

আমরা সমস্ত কন্টেন্ট এমবেড করি যা একজন ব্যবহারকারী আবিষ্কার করতে পারেন এবং যা পাইপলাইন রুট করতে পারে:

  • পণ্য: বিক্রয়যোগ্য ক্যাটালগ আইটেম (শিরোনাম + বৈশিষ্ট্য টেক্সট + যেকোনো কিউরেটেড/এআই কপি)।

  • যন্ত্রাংশ: বিক্রয়যোগ্য উপাদান এবং আনুষাঙ্গিক (নাম + স্পেসিফিকেশন)।

  • অন-সাইট পৃষ্ঠা: আর্টিকেল (/a/), এবং অন্যান্য নেভিগেটযোগ্য পৃষ্ঠা যা সার্চ এবং ইন্টার্নাল লিংক-এ প্রদর্শিত হতে পারে।

সমস্ত আবিষ্কারযোগ্য কন্টেন্ট এমবেড করা ক্রস-টাইপ রিট্রিভাল সক্ষম করে (যেমন, একটি আর্টিকেল পণ্য-ভিত্তিক কোয়েরির জন্য র্যাঙ্ক করতে পারে, এবং একটি পণ্য তথ্যমূলক কোয়েরির জন্য উপযুক্ত হলে র্যাঙ্ক করতে পারে)।

উচ্চ-স্তরের আর্কিটেকচার

flowchart TD
    A[Catalog + parts + pages] --> B[Normalize & build descriptions]
    B --> C[Deduplicate by canonical URL]
    C --> D[Incremental embedding]
    D --> E[Source embedding matrix + key index]
    E --> F[Downstream: matching, routing, related searches, search service]

এমবেডিং পাইপলাইন

ধাপ A: সোর্স ডেটা একত্রীকরণ

  • উদ্দেশ্য: সোর্স আইটেমগুলির একটি ক্যানোনিকাল ডেটাসেট তৈরি করা।

  • ইনপুট: পণ্য ক্যাটালগ, যন্ত্রাংশ ডেটাসেট এবং পৃষ্ঠা কন্টেন্ট।

  • আউটপুট: একটি একত্রিত সোর্স ডেটাসেট যাতে রয়েছে:

    • কী: ক্যানোনিকাল URL (স্থিতিশীল আইডেন্টিফায়ার হিসেবে ব্যবহৃত)
    • বর্ণনা: এমবেডিং-এর জন্য ব্যবহৃত টেক্সট
    • প্রকার: পণ্য / যন্ত্রাংশ / আর্টিকেল / পৃষ্ঠা (ডাউনস্ট্রিম রাউটিং-এর জন্য)

  • প্রক্রিয়া:

    1. প্রতিটি সোর্স থেকে আইটেম এক্সট্র্যাক্ট করুন।
    2. প্রতি আইটেমের জন্য একটি বর্ণনা তৈরি করুন।
    3. ক্যানোনিকাল URL দ্বারা ডিডুপ্লিকেট করুন যাতে প্রতিটি URL একবার উপস্থাপিত হয়।

ধাপ B: ইনক্রিমেন্টাল এমবেডিং

আমরা ইনক্রিমেন্টাল লার্নিং নীতি ব্যবহার করি যাতে পরিবর্তন হয়নি এমন কন্টেন্টের এমবেডিং পুনরায় গণনা করা এড়ানো যায়।

  • উদ্দেশ্য: শুধুমাত্র নতুন/পরিবর্তিত আইটেম এমবেড করা, অপরিবর্তিত আইটেমের জন্য ক্যাশ করা এমবেডিং পুনরায় ব্যবহার করা।

  • ইনপুট: একত্রিত সোর্স ডেটাসেট এবং একটি এমবেডিং ক্যাশ (পূর্ববর্তী রান)।

  • আউটপুট: আপডেট করা এমবেডিং ম্যাট্রিক্স এবং কী ইনডেক্স।

  • প্রক্রিয়া:

    1. ক্যাশ করা কী এবং এমবেডিং লোড করুন।
    2. প্রতিটি আইটেমের জন্য একটি পরিবর্তন সংকেত গণনা করুন (আইটেমের এমবেডিং টেক্সটের ভিত্তিতে)।
    3. কনফিগার করা মডেল ব্যবহার করে শুধুমাত্র নতুন/পরিবর্তিত আইটেম এমবেড করুন (দেখুন এমবেডিং কৌশল)।
    4. ক্যাশ করা এবং নতুন গণনা করা এমবেডিংগুলিকে URL দ্বারা কী করা একটি স্থিতিশীল ক্রমে মার্জ করুন।

ধাপ C: আর্টিফ্যাক্ট সংরক্ষণ

এমবেডিংগুলি একটি দক্ষ সংখ্যাসূচক ফরম্যাটে সংরক্ষণ করা হয় (সাধারণত NumPy এর মাধ্যমে) একটি পৃথক কী ইনডেক্সের সাথে যাতে ডাউনস্ট্রিম ধাপগুলি ভেক্টর সারিগুলোকে আবার ক্যানোনিকাল URL-এ ম্যাপ করতে পারে।

বর্ণনা নির্মাণ (আমরা কোন টেক্সট এমবেড করি)

পণ্য

পণ্যের বর্ণনা তৈরি করা হয়:

  • সরলীকৃত নাম: পণ্যের নাম এবং মূল শনাক্তকারী (যেমন, SKU/সিরিজের নামকরণ)।

  • বৈশিষ্ট্য টেক্সট: পণ্যের বৈশিষ্ট্যের মানুষের পাঠযোগ্য উপস্থাপনা (দেখুন SKU স্ট্রাকচার)।

  • দীর্ঘ-ফর্ম কপি: যেখানে উপলব্ধ সেখানে কিউরেটেড বা এআই-জেনারেটেড কপি (দেখুন কন্টেন্ট এআই জেনারেশন)।

উদাহরণ (দৃষ্টান্তমূলক):

<product name>
<short description>
<key feature highlights>

যন্ত্রাংশ

যন্ত্রাংশের বর্ণনা তৈরি করা হয়:

  • গ্রাহক-মুখী নাম

  • অভ্যন্তরীণ নাম (প্রযুক্তিগত শনাক্তকারী)

  • বিভাগ

  • স্পেসিফিকেশন/অ্যাট্রিবিউট টেক্সট হিসেবে রেন্ডার করা

অন-সাইট পৃষ্ঠা

পৃষ্ঠার বর্ণনা তৈরি করা হয়:

  • শিরোনাম

  • প্রাথমিক বডি স্নিপেট (ভূমিকা/লিড সেকশন)

  • প্রাসঙ্গিক শনাক্তকারী (যেখানে প্রযোজ্য সেখানে বিভাগ/পরিবারের লেবেল)

লক্ষ্য হল স্থিতিশীল, কন্টেন্ট-প্রতিনিধিত্বকারী টেক্সট যা পৃষ্ঠার অর্থ পরিবর্তিত হলে পরিবর্তিত হয়।

ডিডুপ্লিকেশন নিয়ম

প্রতিটি ক্যানোনিকাল URL একত্রিত ডেটাসেটে একবার প্রদর্শিত হয়।

  • কেন: একাধিক সোর্স বিভিন্ন জেনারেশন পাথের মাধ্যমে একই URL বর্ণনা করতে পারে; ডুপ্লিকেট রাউটিং, ম্যাচিং এবং ডাউনস্ট্রিম ইনডেক্সিং নষ্ট করে।

  • কিভাবে: ক্যানোনিকাল URL দ্বারা কী করা একটি ডিকশনারি তৈরি করুন এবং একত্রীকরণের সময় স্বতন্ত্রতা প্রয়োগ করুন। যদি ডুপ্লিকেট পাওয়া যায়, স্ক্রিপ্ট সংখ্যা প্রিন্ট করে এবং সেগুলো সরিয়ে দেয়

অন্যান্য ধাপ কীভাবে সোর্স এমবেডিং ব্যবহার করে

  • পণ্য ম্যাচিং: ক্লাস্টার বা কোয়েরিগুলি সিম্যান্টিক সাদৃশ্যের ভিত্তিতে নিকটতম সোর্স আইটেমের সাথে মেলানো হয় (দেখুন এসইও পণ্য ম্যাচিং)।

  • সম্পর্কিত সার্চ: সম্পর্কিত-সার্চ জেনারেটর প্রাসঙ্গিক নেভিগেশন লিংক প্রস্তাব করতে এমবেডিং সাদৃশ্য ব্যবহার করে (দেখুন এসইও সম্পর্কিত সার্চ)।

  • সার্চ সার্ভিস: অনলাইন সার্চ ইনডেক্স করা এমবেডিংগুলির উপর ভেক্টর সাদৃশ্য ব্যবহার করতে পারে (দেখুন সার্চ সার্ভিস আর্কিটেকচার)।

আরও দেখুন

তথ্যসূত্র

সারসংক্ষেপ

  • কী: পণ্য, যন্ত্রাংশ এবং আবিষ্কারযোগ্য পৃষ্ঠাগুলিকে একটি শেয়ার্ড ভেক্টর স্পেসে এমবেড করা।

  • কিভাবে: ক্যানোনিকাল URL দ্বারা একত্রীকরণ এবং ডিডুপ্লিকেশন, তারপর শুধুমাত্র পরিবর্তিত আইটেম ইনক্রিমেন্টালি এমবেড করা।

  • কেন: এটি পাইপলাইন জুড়ে সিম্যান্টিক রিট্রিভাল এবং রাউটিং সক্ষম করে (ম্যাচিং, সম্পর্কিত সার্চ এবং অনলাইন ভেক্টর সার্চ)।

← ডকুমেন্টেশন ইনডেক্সে ফিরে যান