বাণিজ্যিক কনটেন্ট মডারেশন API-র নিরীক্ষণ: গ্রুপ-লক্ষ্য ঘৃণামূলক বক্তৃতার অতিরিক্ত ও অপর্যাপ্ত মডারেশন

সূচিপত্র

1 ভূমিকা

বাণিজ্যিক কনটেন্ট মডারেশন API-গুলো অনলাইন ঘৃণামূলক বক্তৃতা মোকাবেলায় স্কেলযোগ্য সমাধান হিসেবে বিপণন করা হয়, কিন্তু এগুলো বৈধ বক্তৃতাকে নিষ্পত্তি করা (অতিমডারেশন) এবং ব্যবহারকারীদের ক্ষতিকর কনটেন্ট থেকে রক্ষা করতে ব্যর্থ হওয়া (অপমডারেশন) - উভয় ঝুঁকিই বহন করে। এই গবেষণাপত্র কনটেন্ট মডারেশনে ব্যবহৃত ব্ল্যাক-বক্স NLP সিস্টেম নিরীক্ষণের জন্য একটি ব্যাপক কাঠামো উপস্থাপন করে।

2 পদ্ধতি

2.1 নিরীক্ষণ কাঠামো

আমাদের ব্ল্যাক-বক্স নিরীক্ষণ কাঠামো একাধিক পদ্ধতিতে বাণিজ্যিক কনটেন্ট মডারেশন API-গুলোর মূল্যায়ন করে: কর্মদক্ষতা মূল্যায়ন, SHAP ব্যাখ্যামূলক বিশ্লেষণ, এবং পের্টার্বেশন বিশ্লেষণ। এই কাঠামো চারটি ডেটাসেট জুড়ে পঞ্চাশ লক্ষ কুয়েরি বিশ্লেষণ করে পদ্ধতিগতভাবে পক্ষপাতের ধরণগুলি মূল্যায়ন করে।

2.2 ডেটাসেট

গবেষণাটি চারটি বৈচিত্র্যময় ডেটাসেট ব্যবহার করে: সাধারণ ঘৃণামূলক বক্তৃতার জন্য HateXplain, দীর্ঘ টেক্সটের জন্য Civil Comments, অন্তর্নিহিত ঘৃণামূলক বক্তৃতার জন্য ToxiGen, এবং স্টেরিওটাইপ ও অন্তর্নিহিত পক্ষপাতের জন্য SBIC। এই বৈচিত্র্য বিভিন্ন ঘৃণামূলক বক্তৃতার প্রকাশভঙ্গি জুড়ে সামগ্রিক মূল্যায়ন নিশ্চিত করে।

2.3 মূল্যায়নকৃত API

পাঁচটি বাণিজ্যিক API মূল্যায়ন করা হয়েছে: Google Natural Language API, Microsoft Azure Content Moderation, OpenAI Content Moderation API, Perspective API, এবং Amazon Comprehend। এগুলি বাণিজ্যিক কনটেন্ট মডারেশন বাজারের প্রধান প্রদানকারীদের প্রতিনিধিত্ব করে।

3 প্রযুক্তিগত কাঠামো

3.1 SHAP বিশ্লেষণ

SHAP (SHapley Additive exPlanations) মানগুলি মেশিন লার্নিং মডেলের আউটপুট ব্যাখ্যা করতে ব্যবহৃত হয়। ফিচার $i$-এর জন্য SHAP মান নিম্নরূপে গণনা করা হয়:

$\phi_i = \sum_{S \subseteq N \setminus \{i\}} \frac{|S|!(|N|-|S|-1)!}{|N|!}[f(S \cup \{i\}) - f(S)]$

যেখানে $N$ হল সমস্ত ফিচারের সেট, $S$ হল ফিচারের একটি উপসেট, এবং $f$ হল মডেল প্রেডিকশন ফাংশন।

3.2 পের্টার্বেশন বিশ্লেষণ

কাউন্টারফ্যাকচুয়াল টোকেন ফেয়ারনেস স্কোর ইনপুট টেক্সটকে পদ্ধতিগতভাবে পরিবর্তন করে এবং মডারেশন সিদ্ধান্তের পরিবর্তন পরিমাপ করে গণনা করা হয়। এটি চিহ্নিত করতে সাহায্য করে যে কোন টোকেনগুলি মডারেশন ফলাফলকে অসমভাবে প্রভাবিত করে।

4 ফলাফল

4.1 কর্মদক্ষতা মেট্রিক্স

গবেষণায় API-এর কর্মদক্ষতায় উল্লেখযোগ্য তারতম্য পাওয়া গেছে। OpenAI এবং Amazon যথাক্রমে 0.83 এবং 0.81 F1 স্কোর নিয়ে কিছুটা ভালো পারফর্ম করেছে, অন্যদিকে অন্যান্য API-গুলি নিম্ন কর্মদক্ষতা দেখিয়েছে (Microsoft: 0.74, Perspective: 0.62, Google: 0.59)।

4.2 পক্ষপাতের ধরণ

সমস্ত API-ই পদ্ধতিগত পক্ষপাত প্রদর্শন করেছে: কাউন্টার-স্পিচ, পুনরুদ্ধারকৃত অভিশাপ, এবং কালো, LGBTQIA+, ইহুদি ও মুসলমানদের উল্লেখ করা কনটেন্টের অতিমডারেশন। একই সময়ে, তারা অন্তর্নিহিত ঘৃণামূলক বক্তৃতা, বিশেষ করে LGBTQIA+ ব্যক্তিদের বিরুদ্ধে, অপমডারেশন করেছে।

5 কোড বাস্তবায়ন

নিচে নিরীক্ষণ কাঠামোর একটি সরলীকৃত পাইথন বাস্তবায়ন দেওয়া হল:

import requests
import pandas as pd
from sklearn.metrics import precision_recall_fscore_support

class ContentModerationAudit:
    def __init__(self, api_endpoints):
        self.apis = api_endpoints
        
    def query_api(self, text, api_config):
        """কনটেন্ট মডারেশন API কুয়েরি করুন"""
        headers = {'Authorization': f'Bearer {api_config["key"]}'}
        payload = {'text': text, 'threshold': api_config.get('threshold', 0.5)}
        response = requests.post(api_config['url'], json=payload, headers=headers)
        return response.json()
    
    def calculate_bias_metrics(self, predictions, ground_truth, protected_groups):
        """সুরক্ষিত গোষ্ঠী জুড়ে পক্ষপাত মেট্রিক্স গণনা করুন"""
        metrics = {}
        for group in protected_groups:
            group_mask = protected_groups[group]
            precision, recall, f1, _ = precision_recall_fscore_support(
                ground_truth[group_mask], predictions[group_mask], average='binary'
            )
            metrics[group] = {'precision': precision, 'recall': recall, 'f1': f1}
        return metrics

# উদাহরণ ব্যবহার
api_configs = {
    'openai': {'url': 'https://api.openai.com/v1/moderations', 'key': 'YOUR_KEY'},
    'amazon': {'url': 'https://comprehend.amazonaws.com', 'key': 'YOUR_KEY'}
}

audit = ContentModerationAudit(api_configs)

6 ভবিষ্যত প্রয়োগ

এই গবেষণার ফলাফল ভবিষ্যতের কনটেন্ট মডারেশন সিস্টেমের জন্য উল্লেখযোগ্য প্রভাব বহন করে। ভবিষ্যতের গবেষণার ক্ষতিকর ঘৃণামূলক বক্তৃতা এবং আইডেন্টিটির বৈধ আলোচনার মধ্যে পার্থক্য করতে সক্ষম এমন আরও সূক্ষ্ম মডেল উন্নয়নের উপর ফোকাস করা উচিত। CycleGAN গবেষণাপত্রে (Zhu et al., 2017) উল্লিখিত হিসাবে, ডোমেইন অ্যাডাপ্টেশন টেকনিক বিভিন্ন জনসংখ্যাগত গোষ্ঠী জুড়ে ডিস্ট্রিবিউশন শিফট মোকাবেলায় সাহায্য করতে পারে। এছাড়াও, Perspective API টিমের পদ্ধতি (Lees et al., 2022) অনুসরণ করে, ভবিষ্যতের সিস্টেমগুলিতে কমিউনিটি-স্পেসিফিক নর্ম এবং কনটেক্সট-অ্যাওয়্যার প্রসেসিং অন্তর্ভুক্ত করা উচিত।

উদীয়মান দিকগুলির মধ্যে রয়েছে:

• টেক্সট, ইমেজ এবং কনটেক্সট বিশ্লেষণ সমন্বিত মাল্টি-মোডাল কনটেন্ট মডারেশন
• মডেল কর্মদক্ষতা উন্নত করার সময় প্রাইভেসি সংরক্ষণের জন্য ফেডারেটেড লার্নিং পদ্ধতি
• স্বচ্ছ মডারেশন সিদ্ধান্ত প্রদানের জন্য এক্সপ্লেইনেবল AI টেকনিক
• গ্লোবাল প্ল্যাটফর্মের জন্য মডারেশন সিস্টেমের ক্রস-কালচারাল অ্যাডাপ্টেশন

7 তথ্যসূত্র

1. Hartmann, D., Oueslati, A., Staufer, D., Pohlmann, L., Munzert, S., & Heuer, H. (2025). Lost in Moderation: How Commercial Content Moderation APIs Over- and Under-Moderate Group-Targeted Hate Speech and Linguistic Variations. arXiv:2503.01623
2. Sap, M., Card, D., Gabriel, S., Choi, Y., & Smith, N. A. (2019). The Risk of Racial Bias in Hate Speech Detection. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics.
3. Röttger, P., Vidgen, B., Nguyen, D., Waseem, Z., Margetts, H., & Pierrehumbert, J. (2021). HateCheck: Functional Tests for Hate Speech Detection Models. Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics.
4. Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. IEEE International Conference on Computer Vision.
5. Lees, A., Tran, V. Q., Tay, Y., Sorensen, J., Gupta, A., Metzler, D., & Vasserman, L. (2022). A New Generation of Perspective API: Efficient Multilingual Character-level Transformers. Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining.
6. Barocas, S., Hardt, M., & Narayanan, A. (2019). Fairness and Machine Learning. fairmlbook.org.
7. Topol, E. J. (2019). High-performance medicine: the convergence of human and artificial intelligence. Nature Medicine, 25(1), 44-56.