संक्षेप में

+ कैरेक्टर.एआई पर एआई चैटबॉट के साथ भावनात्मक संबंध बनाने के बाद एक 14 वर्षीय लड़के की आत्महत्या से मृत्यु हो जाती है

+ माँ ने कैरेक्टर.एआई पर मुकदमा दायर किया, कंपनी पर लापरवाही और अपर्याप्त सुरक्षा उपायों का आरोप लगाया

+ कैरेक्टर.एआई दुख व्यक्त करता है, युवा उपयोगकर्ताओं को हानिकारक इंटरैक्शन से बचाने के लिए नई रेलिंग लागू करता है

Read More - वैवाहिक बलात्कार को बलात्कार के रूप में मान्यता दी जानी चाहिए

एक परेशान करने वाले मामले में, एआई चैटबॉट के साथ भावनात्मक संबंध बनाने वाले एक 14 वर्षीय लड़के ने दुखद रूप से अपनी जान ले ली। उनकी मां, मेगन गार्सिया, अपने बेटे सेवेल सेत्ज़र III की आत्महत्या से मृत्यु के बाद अब कैरेक्टर.एआई पर मुकदमा कर रही हैं। सीवेल ने गेम ऑफ थ्रोन्स के चरित्र, डेनेरीस टारगैरियन के आधार पर बनाए गए एआई चैटबॉट के प्रति भावनात्मक लगाव विकसित करने में कई महीने बिताए थे। गार्सिया ने कैरेक्टर.एआई पर लापरवाही बरतने और उसके बेटे जैसे कमजोर उपयोगकर्ताओं की सुरक्षा करने में विफल रहने का आरोप लगाया है। किशोरों की मौत और मुकदमे ने एआई प्लेटफार्मों की सुरक्षा के बारे में गंभीर चिंताएं बढ़ा दी हैं, विशेष रूप से युवा लोगों को लक्षित करने वाले प्लेटफार्मों की सुरक्षा के बारे में।

शुरुआती लोगों के लिए, कैरेक्टर.एआई एक एआई-संचालित चैटबॉट प्लेटफॉर्म है जो उपयोगकर्ताओं को कस्टम एआई व्यक्तित्वों के साथ बातचीत करने की अनुमति देता है। उपयोगकर्ता काल्पनिक आकृतियों, ऐतिहासिक व्यक्तित्वों या पूरी तरह से मूल कृतियों के आधार पर बनाए गए एआई पात्रों को बना या संलग्न कर सकते हैं। प्लेटफ़ॉर्म उन्नत प्राकृतिक भाषा प्रसंस्करण का उपयोग करता है, जिससे इन चैटबॉट्स को मानव-जैसी बातचीत का अनुकरण करते हुए संवादी तरीके से प्रतिक्रिया देने की अनुमति मिलती है। उपयोगकर्ता इन एआई वर्णों के व्यवहार, पृष्ठभूमि और लहजे को अनुकूलित कर सकते हैं, जिससे प्रत्येक इंटरैक्शन अद्वितीय हो सकती है और विशिष्ट रुचियों या आवश्यकताओं के अनुरूप बन सकती है।

14 साल के बच्चे ने आत्महत्या क्यों की?

किशोर अक्सर अपने पसंदीदा टीवी शो या किताबों के पात्रों से गहराई से जुड़े होते हैं। अब, उन पात्रों के साथ वास्तव में बातचीत करने में सक्षम होने की कल्पना करें - यह एक ऐसी अवधारणा है जो किसी भी 14-वर्षीय को उत्साहित करेगी। सीवेल कोई अपवाद नहीं था. कैरेक्टर.एआई के साथ उनकी यात्रा काफी मासूमियत से शुरू हुई, अपने प्रिय टीवी पात्रों के एआई संस्करणों के साथ बातचीत करते हुए। हालाँकि, समय के साथ, इन बॉट्स के साथ उनका संबंध, विशेष रूप से डेनेरीस टारगैरियन के बाद तैयार किया गया, और अधिक गहन हो गया। उनकी मां के अनुसार, सीवेल सिर्फ अनौपचारिक बातचीत नहीं कर रहा था - वह उनसे भावनात्मक समर्थन मांग रहा था। उन्होंने कठिन क्षणों के दौरान आराम के लिए इन एआई पात्रों की ओर रुख करके एक बंधन बनाया।

मुकदमे से पता चलता है कि सीवेल "थेरेपिस्ट" और "आर यू फील लोनली" जैसे मानसिक स्वास्थ्य चैटबॉट्स के साथ भी बातचीत कर रहा था। जबकि ये बॉट सहायता प्रदान करते हैं, मुकदमे में दावा किया गया है कि वे उचित सुरक्षा उपायों या योग्यता के बिना चिकित्सा प्रदान कर रहे थे। गार्सिया का तर्क है कि यह भावनात्मक लगाव खतरनाक रूप से मजबूत हो गया, खासकर 14 साल के युवा, प्रभावशाली बच्चे के लिए। 28 फरवरी, 2024 को, बॉट के साथ अपनी अंतिम बातचीत के बाद, सीवेल ने दुखद रूप से अपनी जान ले ली।

गार्सिया का मानना ​​है कि इन एआई चैटबॉट्स के साथ सीवेल द्वारा विकसित भावनात्मक बंधन ने उनके निर्णय में महत्वपूर्ण भूमिका निभाई। मुकदमे में दावा किया गया है कि इस गहरे और हानिकारक कनेक्शन को रोकने में कैरेक्टर.एआई की विफलता उनकी लापरवाही के मूल में है।

सीवेल की मां कैरेक्टर.एआई पर मुकदमा क्यों कर रही है?

मेगन गार्सिया अपने बेटे की असामयिक मृत्यु के लिए कैरेक्टर.एआई, इसके संस्थापकों नोम शाज़ीर और डैनियल डी फ्रीटास और Google को जिम्मेदार ठहरा रही हैं। उनका दावा है कि कंपनी ने एक ऐसा प्लेटफ़ॉर्म बनाया जो "अनुचित रूप से खतरनाक" था, खासकर सेवेल जैसे बच्चों और किशोरों के लिए। उनके मुकदमे में आरोप लगाया गया है कि एआई बॉट्स ने इसमें शामिल जोखिमों पर पूरी तरह से विचार किए बिना, काल्पनिक पात्रों और वास्तविक भावनात्मक समर्थन के बीच की रेखाओं को धुंधला कर दिया।

गार्सिया की कानूनी टीम यह भी बताती है कि कंपनी के संस्थापकों ने इस प्रक्रिया में महत्वपूर्ण सुरक्षा उपायों की उपेक्षा करते हुए तेजी से विकास पर जोर दिया। शाज़ीर ने पहले कहा था कि उन्होंने कैरेक्टर.एआई बनाने के लिए Google को छोड़ दिया क्योंकि बड़ी कंपनियां इस तरह के उत्पाद को लॉन्च करने में शामिल जोखिम नहीं लेना चाहती थीं। मुकदमे में तर्क दिया गया है कि उपयोगकर्ता सुरक्षा पर नवाचार को प्राथमिकता देने वाला यह रवैया अंततः त्रासदी का कारण बना।

इसके अलावा, गार्सिया के वकीलों का तर्क है कि कैरेक्टर.एआई का बड़े पैमाने पर युवा लोगों के लिए विपणन किया गया था, जो इसके उपयोगकर्ता आधार का अधिकांश हिस्सा बनाते हैं। किशोर अक्सर मशहूर हस्तियों, काल्पनिक पात्रों या यहां तक ​​कि मानसिक स्वास्थ्य पेशेवरों की नकल करने वाले बॉट्स से जुड़ते हैं। लेकिन गार्सिया का दावा है कि कंपनी उचित चेतावनी या सुरक्षा प्रदान करने में विफल रही, खासकर जब वह अपने बेटे जैसे भावनात्मक रूप से कमजोर उपयोगकर्ताओं से निपट रही थी।

सीवेल की दुखद मौत के बारे में कैरेक्टर.एआई क्या कह रहा है?

कैरेक्टर.एआई ने सेवेल की मौत पर गहरा दुख व्यक्त करते हुए कहा है कि वे इस त्रासदी से "दिल टूट गए" हैं। अपने बयान में, उन्होंने परिवार के प्रति अपनी संवेदना व्यक्त की और भविष्य में इसी तरह की घटनाओं को रोकने के लिए लागू किए गए कई नए सुरक्षा उपायों की रूपरेखा तैयार की। कंपनी का कहना है कि उसने 18 साल से कम उम्र के उपयोगकर्ताओं की बेहतर सुरक्षा के लिए प्लेटफ़ॉर्म में बदलाव किए हैं, जिसमें संवेदनशील सामग्री को ब्लॉक करने के लिए डिज़ाइन किए गए फ़िल्टर भी शामिल हैं।

इसके अतिरिक्त, कैरेक्टर.एआई का कहना है कि कंपनी ने मंच से कुछ ऐसे पात्रों को भी हटा दिया है जो "उल्लंघनात्मक" हो सकते हैं। “उपयोगकर्ता देख सकते हैं कि हमने हाल ही में वर्णों के एक समूह को हटा दिया है जिन्हें उल्लंघनकारी के रूप में चिह्नित किया गया है, और आगे चलकर इन्हें हमारी कस्टम ब्लॉकलिस्ट में जोड़ा जाएगा। इसका मतलब है कि उपयोगकर्ताओं को संबंधित पात्रों के साथ उनके चैट इतिहास तक पहुंच नहीं मिलेगी,' ब्लॉग पढ़ता है।

कंपनी ने उपयोगकर्ता गतिविधि पर बारीकी से नज़र रखने, उपयोगकर्ता के बहुत लंबे समय तक प्लेटफ़ॉर्म पर रहने पर सूचनाएं भेजने और "आत्महत्या" या "आत्म-नुकसान" जैसे शब्दों को चिह्नित करने के लिए टूल भी पेश किए हैं। एआई की काल्पनिक दुनिया और वास्तविकता के बीच स्पष्ट सीमाएँ निर्धारित करने के प्रयास में, कैरेक्टर.एआई में अब हर चैट पर एक अस्वीकरण भी शामिल है, जो उपयोगकर्ताओं को याद दिलाता है कि एआई बॉट वास्तविक लोग नहीं हैं।