خلاصه مدیریتی

• بیان/شرح مسئله

امروزه فناوری هوش مصنوعی برای هیچ فردی ناآشنا نیست. پس از توسعه مدل‌های زبانی بزرگ و شاخه هوش مصنوعی مولد و ارائه چت‌بات‌هایی مانند چت‌ جی‌پی‌تی و جمینی و تولید تصاویر و فیلم و خدمات متعدد دیگر توسط سامانه‌های مبتنی‌بر هوش مصنوعی، در حال حاضر کمتر کسی است که با این فناوری مواجهه نداشته باشد. این حوزه به شکل روزافزون در جنبه‌های مختلف زندگی روزمره وارد شده و بر اقدامات و تصمیم‌گیری‌ها در بخش‌های گوناگون تأثیر گذاشته است. نقطه قوت این فناوری که موجب تحولات گسترده و روزافزون شده، قابلیت یادگیرندگی، هوشمندی، خودمختاری و تصمیم‌گیری است که در بسیاری از حوزه‌ها، نتایج جذاب و‌ خارق‌العاده‌ای ایجاد کرده است. امروزه در بخش عمومی نیز در حوزه‌هایی مانند پزشکی و سلامت،‌ حمل‌ونقل، حقوق، مالی و بانکی و... نمونه‌هایی از ورود فناوری هوش مصنوعی قابل مشاهده است. بااین‌حال ورود این فناوری به بخش عمومی نیازمند دقت و احتیاط ویژه است. هرگونه تصمیم‌گیری و اقدام در این بخش، مستلزم تضمین شفافیت، ‌پاسخ‌گویی و مسئولیت‌پذیری، رعایت قوانین و مقررات، اقناع عمومی نسبت به تصمیم‌های اتخاذ شده و اطمینان از نتایج تصمیم‌ها است.‌ علاوه‌بر این تنوع مسائل و تخصص‌های مورد نیاز در این بخش نیز بر پیچیدگی این شرایط افزوده است. بنابراین ورود فناوری هوش مصنوعی به بخش عمومی مانند بخش خصوصی و تجاری نیست، بلکه ضروری است با ملاحظاتی خاص و از مسیر و طریقی ویژه‌ به‌نحوی‌که الزامات بیان شده را تضمین کند، پیگیری شود. این گزارش به هوش مصنوعی توضیح‌پذیر که شاخه‌ای نوین در حوزه علوم هوش مصنوعی است و بر شفافیت و قابل‌فهم بودن عملکرد مدل‌های هوش مصنوعی تمرکز دارد، خواهد پرداخت و این شاخه را‌ به‌عنوان دریچه ورود فناوری هوش مصنوعی به بخش عمومی معرفی خواهد کرد. هدف هوش مصنوعی توضیح‌پذیر این است که به کاربران اجازه درک‌ اینکه یک مدل هوش مصنوعی چگونه به یک نتیجه خاص رسیده است را بدهد. این امر‌ به‌ویژه در حوزه‌هایی که تصمیمات مدل‌ها می‌تواند تأثیرات‌ قابل‌توجهی بر زندگی انسان‌ها داشته باشد، مانند پزشکی، مالی و حقوق، بسیار مهم است.

• نقطه‌نظرات/ یافته‌های کلیدی

این گزارش پس از معرفی این شاخه نوین، بیان می‌کند که برخلاف مدل‌های معمول هوش مصنوعی که عملکرد داخلی ‌آنها نامشخص و نامفهوم بوده، هوش مصنوعی توضیح‌پذیر بر ایجاد سیستم‌هایی متمرکز است که قادر به ارائه توضیحات واضح و قابل درک برای انسان‌ها درباره نحوه رسیدن به نتایج خود هستند. هرچند مفهوم و الزامات توضیح‌پذیری ممکن است بسته به زمینه یا مخاطب خاص، قابل تغییر باشد.

توضیح‌پذیری می‌تواند دستاوردهای متعددی داشته باشد. مانند:

• توانمندسازی افراد برای مقابله با پیامد منفی تصمیم‌گیری خودکار؛
• ارتقای ‌پذیرش نتایج تصمیمات خودکار با فهم شیوه حصول نتایج و انتخاب آگاهانه آنها؛
• آشکارسازی تهدیدات احتمالی و محافظت از آسیب‌پذیری‌‌های امنیتی؛
• ایجاد زمینه ادغام الگوریتم‌ها با ارزش‌‌های انسانی؛
• ارتقای استانداردهای صنعت برای توسعه محصولات مبتنی‌بر هوش مصنوعی؛
• شناخت نقاط ضعف الگوریتم‌ها و امکان ارتقای آنها؛
• امکان شهود ایده‌های جدید‌ براساس عملکرد الگوریتم‌ها؛
• امکان تحقق حق توضیح برای شهروندان در هنگام استفاده از داده‌هایشان.

‌به‌کارگیری فناوری هوش مصنوعی در بخش عمومی اگر با الزام توضیح‌پذیری و با رعایت این ویژگی محقق شود، خواهد توانست شرایط و ملاحظات تصمیم‌گیری در این بخش‌ ازجمله شفافیت، ‌پاسخ‌گویی و مسئولیت‌پذیری، رعایت قوانین و مقررات، اقناع عمومی نسبت به تصمیم‌های اتخاذ شده، اطمینان از نتایج تصمیم‌ها را تضمین کرده و به‌ ارتقای کارآمدی بخش عمومی منجر شود. در غیر این صورت، عدم سازگاری ویژگی‌های تصمیمات خودکار و الگوریتمی، یا موجب آسیب رساندن به ارزش‌های عمومی مانند شفافیت و ‌پاسخ‌گویی و حتی‌ سوء‌استفاده احتمالی افراد شده، یا بر اثر مقاومت و واپس زدن این فناوری، بخش عمومی از ظرفیت بالقوه این فناوری نوین‌ بی‌بهره خواهد شد.

هوش مصنوعی توضیح‌پذیر می‌تواند کاربردهای متعددی در بخش‌های مختلف مانند بهداشت و درمان، مالی و اقتصادی، حقوقی،‌ حمل‌ونقل، وسایل نقلیه خودران، آموزش، رسانه و سرگرمی، خرده‌فروشی و مدیریت منابع‌ انسانی داشته باشد.‌ همچنین امکان تعمیم‌پذیری،‌ ارتقای امنیت الگوریتم‌ها و استحکام الگوریتمی از دستاوردهای جانبی توجه به توضیح‌پذیری در الگوریتم‌هاست. در ضمن توجه به این شاخه از هوش مصنوعی و توسعه آن می‌تواند در بلندمدت منجر به افزایش اعتماد به هوش مصنوعی، بهبود تصمیم‌گیری‌ها و تحقق هوش مصنوعی اخلاقی و عادلانه و رشد اقتصادی و نوآوری در سطح جامعه بشود.

شایان ذکر است که توسعه این شاخه از هوش مصنوعی با چالش‌هایی مانند چالش‌ فنی و پیچیدگی بالا، توازن بین عملکرد و توضیح‌پذیری‌ و عوامل انسانی و شناختی مواجه بوده که ضروری است مدنظر قرار گیرند.

• پیشنهاد راهکارهای تقنینی، نظارتی یا سیاستی

نظر به اهمیت و دستاوردهای هوش مصنوعی توضیح‌پذیر و همچنین اهمیت بهره‌مندی از ظرفیت فناوری هوش مصنوعی در بخش‌های مختلف و‌ به‌طور خاص بخش عمومی، توصیه‌های زیر پیشنهاد می‌شود:

• الزام سیستم‌های هوش مصنوعی مورد استفاده در بخش‌های مهم و عمومی به تحقق درجاتی از توضیح‌پذیری و ایجاد چارچوب‌های قانونی و اخلاقی؛
• ایجاد استانداردها و پروتکل‌هایی برای ارزیابی و تضمین کیفیت سیستم‌های هوش مصنوعی توضیح‌پذیر به همراه سازوکارهای نظارتی مناسب در دستگاه‌های مربوطه مانند سازمان ملی استاندارد؛
• تشویق به ‌پذیرش استانداردهای توضیح‌پذیری در بخش صنعتی و ایجاد نهادهای نظارتی یا کمیته‌‌های تخصصی ناظر در بخش خصوصی؛
• قرار دادن تسهیلات و بودجه برای تحقیق و توسعه در زمینه توضیح‌پذیری الگوریتم‌ها و مدل‌ها بالاخص در تحقیقات بین‌رشته‌ای در حوزه‌های علوم‌شناختی، روان‌شناسی، علوم رایانه و هوش مصنوعی در بخش دانشگاهی و پژوهشگاهی؛
• تسهیل برنامه‌‌های آموزشی برای قانونگذاران، توسعه‌دهندگان و عموم مردم برای افزایش آگاهی و درک فناوری‌‌های هوش مصنوعی و پرداختن به نیازها و ترجیحات متنوع کاربران مختلف و افزایش آگاهی ‌آنها با هدف افزایش تقاضا برای راه‌حل‌های شفاف هوش مصنوعی؛
• حمایت از نوآوری ایجاد مشوق‌ها و تسهیلات مالی برای شرکت‌های نوپا و کارآفرینان در حوزه هوش مصنوعی توضیح‌پذیر؛
• در نظر داشتن رویکردی قابل انعطاف و آینده‌نگر در حوزه اسناد و قوانین مرتبط با فناوری هوش مصنوعی جهت ارتقای ظرفیت تطبیق با توسعه روزافزون این فناوری و مسائل مربوطه.

1. مقدمه

امروزه هوش مصنوعی فناوری‌ها و سیستم‌هایی را شامل می‌شود که امکان درک و تحلیل داده‌ها و تقلید عملکردهای انسانی را برای ماشین‌ها فراهم می‌سازد. این سیستم‌ها، قادر به انجام وظایف خاص و استخراج الگوهای پنهان هستند تا‌ براساس آنها، پیش‌بینی‌ها و تصمیمات هوشمندانه‌ای اتخاذ کنند. این فناوری تحول‌آفرین در حوزه‌‌های مختلف، کارایی را افزایش داده و مشکلات پیچیده‌ای را حل می‌کند که در غیر این صورت برای ذهن انسانی بسیار چالش‌برانگیز بودند. در این زمینه می‌توان به تحلیل کلان‌داده‌ها، قابلیت تعامل با انسان و پردازش زبان انسانی و قابلیت تولید محتوای ابتکاری اشاره کرد [1]. ‌

با توجه به اینکه مسائل بخش حاکمیتی از پیچیده‌ترین و پر حجم‌ترین مسائل هستند، خواه‌ناخواه حرکت به سمت بهره‌مندی از این فناوری تحولی، برای دولت‌ها جذابیت فراوانی خواهد داشت. در سال‌های اخیر دولت‌ها برای مدیریت عمومی، خط‌مشی‌گذاری و ارائه خدمات در بخش‌های مختلف به هوش مصنوعی رو آورده‌اند تا مؤثرتر حکمرانی کنند [2]. این امور از تقویت بخش‌های اقتصادی و مالی تا بهبود مراقبت‌های بهداشتی و مدیریت زیرساخت‌ها را شامل شده است. ادبیات خط‌مشی‌گذاری مبتنی‌بر شواهد که در ابتدای قرن ۲۱ با هدف ارتقای کیفیت تصمیم‌گیری در بخش عمومی در انگلستان مطرح شد، اکنون با تولید انبوهی از داده‌ها و ظرفیت پردازش ‌آنها توسط الگوریتم‌های هوش مصنوعی، جان تازه‌ای گرفته است [3]. بااین‌حال، این روند با مانع بزرگی با عنوان قابلیت توضیح و تفسیر تصمیم‌ها مواجه است [4].

نکته قابل‌توجه این است که روند تولید خروجی‌های این سیستم‌ها اغلب ناشناخته یا به اصطلاح «جعبه سیاه» است. به این معنا که دلایل و فرایندهای پشت این تصمیمات حتی برای متخصصان، قابل توضیح نیست [5]. این مسئله‌ به‌ویژه در حوزه‌های حساس که تصمیمات اتخاذ شده می‌توانند تأثیر زیادی بر زندگی افراد داشته باشند، مانند مراقبت‌های بهداشتی، امور مالی و قضایی و در کل، در بخش عمومی، اهمیت فراوان دارد.

بنابراین حساسیت تصمیمات بخش عمومی و گستره آثار آنها، لزوم اطمینان از کیفیت و کارآمدی تصمیمات را ضروری ساخته است.‌ علاوه‌بر این، بخش عمومی اقتضائات دیگری مانند‌ پاسخ‌گویی، شفافیت، ضرورت اقناع عمومی و عمل در محدوده قوانین و مواردی از این دست را دارد. هرگونه تحول در بخش عمومی بدون درنظرگیری این اقتضائات ممکن است‌ علاوه‌بر عدم بهبود شرایط، به عکس خود تبدیل شده و آثار مخربی بر حاکمیت بگذارد. توسعه هوش مصنوعی نیز از این امر مستثنا نیست. بنابراین ضروری است ورود این فناوری به بخش عمومی با رعایت تدابیری خاص و تحت ارزیابی و کنترل کیفیت دقیق انجام شود. این گزارش به دنبال معرفی شاخه‌ای از علوم هوش مصنوعی با عنوان هوش مصنوعی توضیح‌پذیر‌ به‌عنوان دریچه ورود سنجیده این فناوری به بخش عمومی است.

در ادامه پس از بررسی اجمالی فناوری هوش مصنوعی و ظرفیت تحولی آن در ارتقای بخش‌های مختلف، اقتضائات خاص بخش عمومی و حاکمیتی بیان شده و هوش مصنوعی توضیح‌پذیر‌ به‌عنوان الزام و متضمن این اقتضائات معرفی خواهد شد. سپس کاربردها، فواید جانبی و آینده این شاخه از هوش مصنوعی و چالش‌های پیاده‌سازی آن بررسی شده و درنهایت توصیه‌های سیاستی جهت توسعه این بستر ارائه خواهد شد.

2. درک هوش مصنوعی و تأثیر آن

2-1. انواع هوش مصنوعی

هوش مصنوعی به مجموعه‌ای از فناوری‌ها و الگوریتم‌ها گفته می‌شود که توانایی شبیه‌سازی فرایندهای شناختی انسان‌ ازجمله یادگیری، استدلال و تصمیم‌گیری را دارد. هوش مصنوعی از طریق ترکیبی از مجموعه داده‌های بزرگ، الگوریتم‌ها و فرایندهای یادگیری به دنبال تحقق این فرایندهای شناختی است.

محبوبیت فزاینده این فناوری در سال‌‌های اخیر عمدتاً به‌دلیل توانایی آن در خودکارسازی وظایف، مانند پردازش مقادیر زیادی از اطلاعات یا شناسایی الگوها و در دسترس بودن گسترده آن برای عموم است [6].

فن آوری‌های هوش مصنوعی را می‌توان‌ به‌طور عمده به دو نوع تقسیم کرد:

-هوش مصنوعی خاص منظور: این نوع هوش مصنوعی که‌ به‌عنوان هوش مصنوعی ضعیف هم شناخته می‌شود، در یک زمینه محدود عمل می‌کند و مختص یک کار خاص است. برای مثال می‌توان به وسایل نقلیه خودران اشاره کرد. هوش مصنوعی خاص منظور برای انجام مجموعه محدودی از وظایف برنامه‌ریزی شده و درک فراتر از بخش برنامه‌ریزی شده خود را ندارد و در این پژوهش، این نوع هوش مصنوعی مدنظر است.

-هوش مصنوعی عمومی: این هوش مصنوعی توانایی درک، یادگیری و ‌به‌کارگیری هوش در طیف گسترده‌ای از وظایف، مشابه توانایی‌های شناختی انسان را دارد. هوش مصنوعی عمومی هنوز وجود ندارد، اما حوزه‌ قابل‌توجهی از تحقیقات در زمینه هوش مصنوعی را شامل می‌شود و به آن بسیار نزدیک شده‌ایم.

2-2. نقش هوش مصنوعی در جامعه

کاربردهای هوش مصنوعی امروز چندین بخش را دربرمی‌گیرد که تنها به چهار مورد از آنها به‌صورت مختصر در زیر اشاره می‌کنیم:

-مراقبت‌های بهداشتی: هوش مصنوعی در فرایندهای تشخیصی، پزشکی شخصی و مدیریت مراقبت از بیمار،‌ ازجمله برنامه‌‌های کاربردی دیگر کمک می‌کند.

-مالی: هوش مصنوعی برای تجارت الگوریتمی، کشف تقلب و خدمات مشتری در بانکداری استفاده می‌شود.

-حمل‌ونقل: رانندگی و مدیریت ترافیک حوزه‌‌های کلیدی هستند که در آنها هوش مصنوعی‌ به‌طور‌ قابل‌توجهی مورد استفاده قرار می‌گیرد.

-نظامی: کمک در ساخت وسایل و تجهیزات نظامی خودکار و هوشمند و ارتقای توانمندی‌های دفاعی و نظامی از مهم‌ترین کاربردهای هوش مصنوعی است.

با گسترش و پیچیده‌تر شدن سیستم‌های هوش مصنوعی، فهم چگونگی تصمیم‌گیری‌های ‌آنها اهمیت بیشتری پیدا می‌کند [4].‌ به‌رغم استفاده رو به رشد از هوش مصنوعی، بسیاری از سیستم‌های مبتنی‌بر این فناوری به‌گونه‌ای عمل می‌کنند که هم برای توسعه‌دهندگان، هم برای استفاده‌کنندگان و هم برای کسانی که تحت‌تأثیر استفاده از آن هستند، غیرشفاف خواهند بود [7]. این پدیده معمولاً‌ به‌عنوان اثر «جعبه سیاه» شناخته می‌شود.‌ علاوه‌بر این، سوگیری‌ها (انحرافات نظام‌مند در داده‌ها یا فرایندهای تصمیم‌گیری) می‌توانند منجر به نتایج ناعادلانه یا نادرست شوند. ازآنجاکه سیستم‌های هوش مصنوعی از داده‌ها یاد می‌گیرند، ممکن است به‌صورت ناخواسته، سوگیری‌های موجود در آن داده‌ها (شامل سوگیری‌های اجتماعی، فرهنگی یا اقتصادی) را‌ پذیرفته و تقویت کنند. به همین دلیل، توجه به سوگیری‌ها در توسعه و پیاده‌سازی سیستم‌های هوش مصنوعی‌ به‌ویژه در زمینه‌های حساس (مانند بهداشت و درمان، مالی و اجرای قانون) ضروری است.

این موارد تنها بخش کوچکی از تأثیرات هوش مصنوعی هستند. حال آنکه ظرفیت بالقوه تحول کل صنایع و ساختارهای اجتماعی از آینده توسعه این فناوری متصور است. درک این اصول و نقش‌های هوش مصنوعی، رویکرد آگاهانه‌تری را برای بحث و قانونگذاری فناوری هوش مصنوعی ایجاد و تضمین می‌کند که می‌توان مزایای آن را در عین کاهش خطراتش به حداکثر رساند.

3. هوش مصنوعی و بخش عمومی: چرایی هوش مصنوعی توضیح‌پذیر

مسئله بهره‌مندی از ظرفیت داده‌ها در تصمیم‌گیری بخش عمومی امری جدید نیست. ادبیات خط‌مشی‌گذاری مبتنی‌بر شواهد که در ابتدای قرن ۲۱ در دولت انگلستان با هدف مدرن‌سازی دولت مطرح شد، بر این امر تأکید داشت. این دستورکار بر بهبود خط‌مشی‌گذاری از طریق داده‌ها، تحقیقات و‌ بهره‌برداری از فناوری اطلاعات برای منافع عمومی تأکید می‌ورزد [8]. همچنین سازمان همکاری و توسعه اقتصادی (OECD) خط‌مشی‌گذاری آگاه از شواهد را مطرح کرده است و آن را ‌فرایندی می‌داند که به‌موجب آن منابع متعدد اطلاعات،‌ ازجمله آمار، داده‌ها و بهترین شواهد و ارزیابی‌های تحقیقاتی موجود، قبل از تصمیم‌گیری برای برنامه‌ریزی، اجرا و (در صورت لزوم) تغییر خط‌مشی‌ها و برنامه‌های عمومی مورد مشورت قرار می‌گیرند [9].‌ بااین‌حال به‌رغم تولید انبوهی از داده‌ها در عصر کنونی، حصول شواهد عملیاتی و کاربردی برای تصمیم‌گیران در میان این حجم از داده‌ها، امری آسان نخواهد بود. فناوری هوش مصنوعی با ایجاد توانمندی‌های فراانسانی در تحلیل کلان داده‌ها، می‌تواند در این زمینه کمک‌کننده باشد.

توسعه کاربست فناوری هوش مصنوعی در بخش خصوصی در کنار توسعه روزافزون زیرساخت‌های این فناوری‌ ازجمله زیرساخت‌های تولید، ذخیره و پردازش داده و توسعه الگوریتم‌ها زمینه‌ساز ورود این فناوری به بخش عمومی خواهد شد[2]. در زمینه حکمرانی و بخش عمومی، هوش مصنوعی می‌تواند به بهبود کارایی، شفافیت و ‌پاسخ‌گویی در ارائه خدمات عمومی کمک کند. کارکردهای این فناوری را در بخش عمومی می‌توان به شرح زیر برشمرد [10]:

• ارتقای نظام قانونگذاری و خط‌مشی‌گذاری؛
• ارتقای کارآمدی نظام اداری؛
• ارتقای ســرعت و کیفیت ارائه خدمات عمومی.

 بااین‌حال این بخش اقتضائات و شرایط خاصی دارد که پیش از هرگونه اقدام برای ورود این فناوری به این بخش لازم به توجه است.

جدول زیر به مقایسه شرایط بخش عمومی و خصوصی پرداخته است [11]:

جدول 1. مقایسه شرایط بخش عمومی و خصوصی

مأخذ: یافته‌های پژوهش.

این مسائل ضرورت توجه به موارد زیر را روشن می‌سازد:

• ‌پاسخ‌گویی و شفافیت:‌ با توجه به مصرف بودجه عمومی در کنار وجود سازوکارهای دمکراتیک و ذی‌نفعان متعدد، ‌پاسخ‌گویی و شفافیت تصمیمات در بخش عمومی اهمیت فراوانی دارد.
• عمل در محدوده قوانین: به‌دلیل اینکه بستر اجرای تصمیمات در بخش عمومی، قوانین و مقررات بوده، ضروری است اعمال حاکمیت در این بخش‌ براساس رعایت قوانین و تناسب با مقررات سنجیده شود. نهادهای ناظر در بخش عمومی این وظیفه را دارند.
• تصمیمات مطمئن و قابل اعتماد: با توجه به گستره تصمیمات حاکمیتی که معمولاً تمام افراد جامعه را شامل شده و آثاری بدون بازگشت می‌گذارد و با در نظرگیری افق زمانی طولانی در مشخص شدن نتایج تصمیمات این بخش، اهمیت ارزشیابی تصمیمات پیش از اجرا و تضمین قابلیت اعتماد ‌آنها اهمیت فراوانی دارد.
• تنوع مسائل و تخصصی بودن تصمیمات: مسائل این بخش معمولاً درهم‌‌تنیده و پیچیده و دارای ابعاد مختلف است. در ضمن تنوع مسائل این حوزه، ضرورت توجه به تخصص‌های مختلف را آشکار ساخته است.
• مسئولیت‌پذیری و سازوکار تصمیم‌گیری و سلسله‌مراتب: غلبه ساختار سلسله‌مراتبی و ‌بوروکراتیک در بخش عمومی، لزوم ‌پاسخ‌گویی به مقام مافوق را ‌در این بخش‌ بیش‌ازپیش ساخته است. در این راستا اهمیت توجه به بحث مسئولیت‌پذیری مطرح شده است.
• تصمیمات قابل اعتماد و مورد‌ پذیرش عمومی: با توجه به وجود بازیگران مختلف در جامعه که هرکدام ارزش و عقلانیت خاص خود را دارند و هدف بخش عمومی تحقق منفعت عامه از طریق تعامل با این بازیگران است، علاوه بر‌ پاسخ‌گویی، توجه به میزان قابل اعتماد بودن تصمیمات و میزان ‌پذیرش عمومی تصمیمات در این بخش اهمیت فراوانی می‌یابد.
• رعایت ملاحظات اخلاقی: تضمین رعایت ملاحظات اخلاقی در تصمیمات بخش عمومی‌ به‌علت وکالت مردم به حاکمیت در پیشبرد امور ‌آنها و مسئولیت حاکمیت در حفظ ارزش‌های عمومی، ضروری است.

به‌طورکلی موارد مذکور لزوم توجه و دقت پیش از ورود فناوری‌های خودمختار و خود تصمیم‌گیر را به بخش عمومی روشن می‌سازد. هوش مصنوعی‌ ازجمله این فناوری‌هاست. در این راستا هوش مصنوعی توضیح‌پذیر مطرح شده است که می‌تواند به دغدغه‌های فوق رسیدگی کند.

4. چیستی و اهمیت هوش مصنوعی توضیح‌پذیر

4-1. چیستی هوش مصنوعی توضیح‌پذیر

هوش مصنوعی توضیح‌پذیر(XAI) یک مفهوم یکپارچه نیست و مشتمل بر قیودی مانند قابلیت توضیح، تفسیر‌پذیری، شفافیت، پاسخ‌گویی یا قابلیت فهم است [12]. مفاهیم این حوزه کماکان در حال تکمیل هستند و مواردی مانند اهداف، درجه، محدوده و مخاطبان توضیح‌پذیری مورد بحث است [1]. برخی از تعاریف صرفاً و‌ به‌طور محدود بر مفاهیم فنی متمرکز هستند،‌ درحالی‌که برخی دیگر فقط بر ابعاد گسترده اجتماعی و سیاسی متمرکزند [13]. بااین‌حال یک تعریف مورد ‌پذیرش، توضیح‌پذیری را ایجاد دلایل و جزئیاتی تعریف کرده که عملکرد یک مدل را برای یک مخاطب خاص ساده یا آسان می‌کند [14]. در ادبیات، اصطلاحات هوش مصنوعی قابل توضیح، هوش مصنوعی قابل تفسیر، هوش مصنوعی شفاف، هوش مصنوعی قابل درک و هوش مصنوعی مسئول به جای یکدیگر استفاده می‌شوند [14].

‌بااین‌حال، علی و همکاران [15] بیان می‌کنند که توضیح‌پذیری، توسعه‌‌دهندگان را قادر می‌سازد تا در فرایند تصمیم‌گیری مدل، تحقیق کنند. همچنین اعتماد آنها را از طریق درک موقعیت‌هایی که مدل نتایج خود را دریافت می‌کند، افزایش می‌دهد. به‌جای یک پیش‌بینی ساده، توضیح‌پذیری رابطی را ارائه می‌کند که اطلاعات یا توضیحات اضافی را ارائه می‌دهد که برای تفسیر عملکرد زیربنایی یک سیستم هوش مصنوعی ضروری است و به توسعه‌‌دهندگان کمک می‌کند. ازسوی‌دیگر، توضیح‌پذیری بینشی از تصمیم الگوریتم هوش مصنوعی به کاربر نهایی می‌دهد تا اعتماد ایجاد کند که هوش مصنوعی تصمیم‌های درست و غیرمغرضانه‌ براساس حقایق اتخاذ کرده است.

می‌توان گفت برخلاف مدل‌های معمول هوش مصنوعی که عملکرد داخلی ‌آنها نامشخص و نامفهوم است، این شاخه از هوش مصنوعی بر ایجاد سیستم‌هایی متمرکز است که قادر به ارائه توضیحات واضح و قابل درک برای انسان‌ها درباره نحوه رسیدن به نتایج خود هستند. توضیح‌پذیری به این معناست که هوش مصنوعی باید بتواند پیش‌بینی‌‌های به دست آمده از یک مدل را از دیدگاه روش‌شناختی عمیق‌تری برای کاربران توضیح دهد [16]. این شفافیت ضروری است تا بتوان به سیستم‌های هوش مصنوعی اعتماد کرد و‌ به‌طور مؤثرتری با ‌آنها تعامل داشت. زمانی که هوش مصنوعی بتواند دلایل خود را توضیح دهد، کاربران بیشتر تمایل دارند تا توصیه‌های آن را بپذیرند و‌ براساس ‌آنها عمل کنند که این موضوع خود منجر به ‌پذیرش و استفاده گسترده‌تر از فناوری‌های هوش مصنوعی در بخش‌های مختلف خواهد شد.

آژانس پروژه‌‌های تحقیقاتی پیشرفته دفاعی آمریکا (دارپا) که پیشران و پیشرو بسیاری از فناوری‌ها در سراسر جهان است در سال ۲۰۱7 برنامه‌ای مرتبط با هوش مصنوعی توضیح‌پذیر با هدف ایجاد مجموعه‌ای از روش‌ها و جعبه ابزارهای توضیح‌پذیری فناوری‌های مرتبط با هوش مصنوعی‌ ازجمله یادگیری ماشین را ایجاد کرد. نتایج این برنامه در ویژه نامه‌ای از مجله هوش مصنوعی کاربردی در سال ۲۰۲۱ با چاپ ۲۵ مقاله منتخب منتشر شد . در ضمن جعبه ابزار متن باز هوش مصنوعی توضیح‌پذیر بر این اساس در اختیار عموم قرار گرفت. در سال‌های بعد تحقیقات در مورد هوش مصنوعی قابل توضیح افزایش یافته و در ارتباط با خلاصه کردن خط‌مشی، همکاری انسانی، تجسم، تأیید و غیره متمرکز شده است [17].

هوش مصنوعی توضیح‌پذیر به شناسایی و کاهش سوگیری‌ها کمک می‌کند. با شفاف‌سازی فرایندهای تصمیم‌گیری هوش مصنوعی، توسعه‌‌دهندگان و ذی‌نفعان قادر خواهند بود بهتر بفهمند که این پیش‌داوری‌ها از کجا ناشی می‌شوند و چه اقداماتی می‌تواند برای رفع ‌آنها انجام شود. این رویکرد نه‌تنها به بهبود دقت و کارایی سیستم‌های هوش مصنوعی کمک می‌کند، بلکه اعتماد عمومی را نیز افزایش و اطمینان می‌دهد که تصمیمات اتخاذ شده عادلانه و مبتنی‌بر شواهد هستند. علاوه‌بر این، توضیح‌پذیری امکان بهبود و ارتقای مدل‌ها و تخصصی‌تر شدن ‌آنها را نیز فراهم می‌کند.

هوش مصنوعی به سرمایه‌گذاری‌های فزاینده و توسعه‌های مهم در بازار نیاز دارد. این سرمایه‌گذاری‌ها برای پیشرفت در فناوری هوش مصنوعی ضروری هستند. بازار هوش مصنوعی توضیح‌پذیر نیز‌ به‌عنوان یک بخش کلیدی در این توسعه، نقش مهمی ایفا می‌کند.

در گزارشی در سال ۲۰۲۲ [18]، بازار استفاده از هوش مصنوعی توضیح‌پذیر‌ براساس نوع مصرف، به بخش‌های مختلفی مانند بهداشت و درمان، خدمات مالی، هوافضا، خرده‌فروشی، بخش عمومی، فناوری اطلاعات، خودروسازی و غیره تقسیم می‌شود. بخش فناوری اطلاعات و ارتباطات با سهم 99/17% پیشرو بوده است. رتبه دوم در بخش مالی است که هوش مصنوعی توضیح‌پذیر می‌تواند بهره‌وری را افزایش و هزینه‌ها را کاهش دهد و رشد بازار را تقویت می‌کنند. در رتبه‌‌های بعدی نیز بخش‌های بهداشت و درمان و خرده فروشی قرار می‌گیرند.

شکل 1، میزان توسعه هوش مصنوعی توضیح‌پذیر را‌ براساس موقعیت جغرافیایی نشان می‌دهد:

شکل 1. تصویر مناطقی با بیشترین سهم از بازار و بیشترین نرخ رشد [18]

همچنین در گزارش [18] آمریکای شمالی با سهم 40/52% اکثریت بازار را را در اختیار دارد و پیش‌بینی می‌شود در دوره پیش‌بینی تا سال ۲۰۳۰ با نرخ رشد مرکب سالیانه13/4٪ به رشد خود ادامه دهد. زیرساخت‌های قوی فناوری اطلاعات در کشورهایی مانند آلمان، فرانسه، آمریکا، انگلستان، ژاپن و کانادا از عوامل اصلی حمایت‌کننده رشد بازار هوش مصنوعی توضیح‌پذیر در این کشورهاست. همچنین حمایت‌های گسترده دولتی برای به‌روزرسانی زیرساخت‌های فناوری اطلاعات به توسعه این بازار کمک می‌کند. بااین‌حال، انتظار می‌رود کشورهایی مانند هند و چین در دوره پیش‌بینی‌شده رشد بیشتری داشته باشند. رشد اقتصادی مطلوب در این کشورها، سرمایه‌گذاری‌های متعددی را به سمت توسعه کسب‌وکار هوش مصنوعی توضیح‌پذیر جذب می‌کند.

‌علاوه‌بر این، پیش‌بینی می‌شود منطقه آسیا و اقیانوسیه سریع‌ترین نرخ رشد مرکب ‌سالیانه با‌ ۸/۲۴ ٪ را در دوره پیش‌بینی داشته باشد. پیشرفت‌های چشمگیر فناوری در کشورهای این منطقه، رشد بازار را تقویت می‌کند.

برای دستیابی به توضیح‌پذیری، روش‌های مختلفی وجود دارد،‌ ازجمله استفاده از مدل‌های ساده‌تر مانند درخت تصمیم یا رگرسیون خطی‌ و یا توسعه روش‌هایی که خروجی مدل‌های پیچیده‌تر مانند شبکه‌های عصبی را توضیح‌پذیرتر می‌کنند.

روش‌های ایجاد توضیح‌پذیری می‌توانند از حیث دامنه،‌ کاربرد و روش‌شناسی توضیح‌پذیری، متفاوت باشند.

به‌طورکلی دو نوع رویکرد برای توضیح‌پذیری مدل‌های هوش مصنوعی از حیث دامنه توضیح‌پذیری وجود دارد:

1.‌ توضیحات محلی: دامنه این رویکرد، ارائه توضیحات برای نتایج یک داده خاص از مدل مدنظر است.‌ برای مثال فرض کنید یک سیستم هوش مصنوعی برای ارزیابی وام در یک بانک استفاده می‌شود. یک مشتری درخواست وام داده و سیستم پیش‌بینی کرده که این فرد نباید وام بگیرد. روش LIME [19] که یک روش تفسیر محلی است، به ما کمک می‌کند تا بفهمیم چرا مدل، این تصمیم را برای این شخص خاص گرفته است. مثلاً ممکن است نشان دهد که درآمد پایین و تاریخچه اعتباری ضعیف عوامل اصلی در این تصمیم‌گیری بوده‌اند. به این ترتیب، با بررسی این ویژگی‌ها، می‌توان به توضیح دقیقی برای تصمیم مدل دست یافت و اگر لازم بود، به مخاطب اطلاعات بیشتری ارائه داد. همچنین روش SHAP براساس نظریه بازی‌ها، تأثیر هر ویژگی بر خروجی مدل را محاسبه می‌کند و توضیحات جامع‌تری ارائه می‌دهد.

2.‌ توضیحات کلی: دامنه این رویکرد، ارائه تصویری کلی از نحوه عملکرد مدل در کل داده‌هاست. برای مثال، فرض کنید همان سیستم هوش مصنوعی برای ارزیابی وام در بانک، پیش‌بینی‌هایی برای هزاران مشتری انجام داده است. روشی مانند «مدل جانشین کلی» به ما کمک می‌کند تا یک مدل ساده‌تر را آموزش دهیم که رفتار مدل پیچیده را تقریب بزند. با استفاده از این مدل ساده‌تر، می‌توان به یک درک کلی از تأثیر ویژگی‌ها بر تصمیمات مدل اصلی دست یافت. برای مثال، ممکن است متوجه شویم که درآمد، تاریخچه اعتباری‌ و بدهی فعلی، مهم‌ترین عواملی هستند که مدل برای تصمیم‌گیری‌ از ‌آنها استفاده می‌کند. این اطلاعات به بانک کمک می‌کند تا سیاست‌های خود را بهتر تنظیم کند و تصمیمات عادلانه‌تری بگیرد [19] و [20].

همچنین می‌توان تکنیک‌های توضیح‌پذیری را از حیث محدوده توضیح‌پذیری به دو دسته تقسیم کرد:

اول، روش‌هایی که عمومی هستند و می‌توانند برای توضیح‌پذیر کردن هر الگوریتم یادگیری ماشینی به‌کار گرفته شوند (مانند SHAP و LIME).

دوم، روش‌هایی که مختص مدل‌های شبکه عصبی عمیق (DNN) هستند که در آن عملیات درونی مدل، مانند توابع فعال‌سازی و وزن‌ها توضیح داده شده، در نظر گرفته می‌شود (‌مانندGRAD-CAM و DeepLIFT) [5].

به‌علاوه از منظر کاربرد تکنیک‌های توضیح‌پذیری در الگوریتم‌ها می‌توان تکنیک‌های توضیح‌پذیری را به روش‌هایی که‌ به‌عنوان بخشی از یک مدل خاص یادگیری ماشین و به شکل درونی مورد استفاده قرار گرفته‌اند (رویکرد ذاتی (مختص مدل)) و روش‌هایی که می‌توانند برای هر مدلی‌ به‌عنوان یک عمل پسافرایندی و از بیرون اعمال شوند، تقسیم کرد (رویکرد POST HOC (مدل - آگنوستیک). در یک رویکرد ذاتی، توضیح‌پذیری‌ به‌عنوان بخشی از فرایند آموزش در معماری مدل یادگیری ماشین ادغام می‌شود و نمی‌تواند به معماری‌‌های دیگر منتقل شود. در یک رویکرد POST-HOC، روش XAI به هیچ معماری وابسته یا مرتبط نیست و می‌تواند برای هر مدل یادگیری ماشین آموزش‌دیده، اعمال شود [5].

از حیث روش‌شناسی توضیح‌پذیری می‌توان روش را به دو دسته روش مبتنی‌بر پس انتشار یا مبتنی‌بر اغتشاش تقسیم‌بندی کرد [4] که توضیحات بیشتر از حوصله این گزارش خارج است.

روش دیگر برای طبقه‌بندی متدهای توضیح‌پذیری، تقسیم ‌آنها به اثبات‌ها، اعتبارسنجی‌ها و مجوزها است. اثبات‌ها، توضیحاتی قابل آزمایش، قابل ردیابی و بدون ابهام هستند که از طریق پیوندهای علّی، گزاره‌‌های منطقی یا فرایندهای شفاف قابل اثبات هستند. معمولاً اثبات‌ها فقط برای سیستم‌های هوش مصنوعی در دسترس هستند که از تکنیک‌های «ذاتاً قابل تفسیر» مانند قوانین، درخت‌های تصمیم‌گیری یا رگرسیون‌های خطی استفاده می‌کنند. اعتبارسنجی‌ها، توضیحاتی هستند که صحت سیستم هوش مصنوعی را تأیید می‌کنند. این راستی‌آزمایی‌ها از طریق روش‌های آزمایش، تکرارپذیری، تقریب‌ها و انتزاع‌ها و توجیه‌ها انجام می‌شود. مجوزها، فرایندهایی هستند که در آن اشخاص ثالث نوعی استاندارد، تصویب، ممنوعیت یا ممیزی را ارائه می‌کنند. مجوزها ممکن است مربوط به مدل هوش مصنوعی، عملکرد آن در موارد خاص یا حتی فرایند ایجاد هوش مصنوعی باشند.

شایان ذکر است که آنچه را می‌توان قابل توضیح دانست، ممکن است بسته به زمینه یا مخاطب خاص،‌ قابل تغییر باشد. آنچه که یک دانشمند علم داده و یک ‌قانونگذار بدون پیشینه علم کامپیوتر «قابل توضیح» تلقی می‌کنند، بسیار متفاوت است [3]. برای یک مدل تشخیص سرطان با استفاده از تصاویر میکروسکوپی، توضیح ممکن است به معنای نقشه‌ای از پیکسل‌های ورودی باشد که به خروجی مدل کمک می‌کنند. برای یک مدل تشخیص گفتار، توضیح ممکن است اطلاعات طیف توان در طول یک زمان خاص باشد که بیشتر به تصمیم خروجی فعلی کمک می‌کند [4]. بنابراین پاسخ به سه ‌سؤال پیش از انتخاب هر استراتژی توضیح‌پذیری ضروری است [13]:

• توضیح خوب چیست؟
• توضیح برای کیست؟
• توضیح چگونه ارائه خواهد شد؟

توضیحات بسیار وابسته به زمینه هستند. میزان «خوب بودن» یک توضیح به نیازها و اهداف مخاطب توضیح (کاربر) و توضیح‌‌دهنده (یک XAI) بستگی دارد، مخاطبان مختلف اولویت‌‌های متفاوتی دارند. برنامه‌نویسان و توسعه‌‌دهندگان سیستم در درجه اول به توضیحات مرتبط با کارآمدی الگوریتم علاقه‌مند هستند. کاربران الگوریتم‌ها بر کارایی یا اثربخشی تمرکز می‌کنند. متخصصان آن حوزه خاص نگران صحت نتایج الگوریتم‌ها هستند و قانونگذاران به پیامدهای خط‌مشی علاقه‌مندند. کاربران غیرمتخصص یک سیستم نیز توضیحاتی را می‌خواهند که اعتماد ایجاد و مسئولیت‌پذیری را فراهم کند [13].

هرکدام از رویکردها و تکنیک‌های مذکور، کاربردهای خاصی دارد که ضروری است بسته به هدف از توضیح‌پذیری و مرحله استفاده از مدل یادگیری ماشین، میان ‌آنها انتخاب صورت گیرد.

همچنین علی و همکاران این حوزه مطالعاتی را به توضیح‌پذیری داده، توضیح‌پذیری مدل، توضیح‌پذیری پسافرایندی و ارزیابی توضیح‌پذیری تقسیم کرده‌اند که هرکدام از این موارد مخاطبان خاص خود را (اعم از متخصصان هوش مصنوعی، عموم شهروندان، سیاستمداران، کاربران مدل‌ها و...) دارد [15].

4-2. اهمیت هوش مصنوعی توضیح‌پذیر در دنیای امروز

اهمیت هوش مصنوعی توضیح‌پذیر قابل چشم‌پوشی نیست. در دنیایی که تصمیمات هوش مصنوعی می‌تواند تأثیرات‌ قابل‌توجهی بر افراد و جامعه داشته باشد، از ‌تأیید وام‌ها گرفته تا تشخیص بیماری‌ها، ضروری است که این تصمیمات قابل‌فهم و قابل‌توجیه باشند. این اهمیت در سالیان اخیر با دلایلی مانند نیاز مدل‌ها به تأیید، بهبود، انطباق با قانون، پرهیز از سوگیری و تشخیص آثار ویژگی‌‌های مرتبط،‌ بیش‌ازپیش شده است [3]. قابلیت توضیح و تفسیر، قابلیت اعتماد به مدل‌ها را افزایش می‌دهد. چراکه کاربران احتمالاً زمانی که با فرایند اتخاد تصمیمات این مدل‌ها آشنا باشند، بیشتر به سیستم‌های هوش مصنوعی توجه خواهند کرد و تصمیمات ‌آنها را خواهند ‌پذیرفت [2]. این مسئله‌ به‌ویژه در زمینه‌های حساس مانند پزشکی اهمیت دارد، جایی که بیماران و ارائه‌‌دهندگان خدمات بهداشتی نیاز دارند تا دلایل پشت تشخیص‌ها و توصیه‌های درمانی ارائه شده توسط هوش مصنوعی را درک کنند [1]. با پر کردن شکاف بین سیستم‌های هوش مصنوعی پیچیده و درک انسانی، توضیح‌پذیری نقش مهمی در بهره‌برداری ایمن، اخلاقی و مؤثر از فناوری‌های هوش مصنوعی در بخش‌های مختلف ایفا می‌کند [4].

هوش مصنوعی توضیح‌پذیر با در نظر گرفتن مواردی مانند شفافیت، واقع‌نمایی (اعتماد)، عدالت، مسئولیت، قابل‌فهم بودن، قابلیت استفاده، امنیت،حریم خصوصی،  اخلاق، استحکامو ثبات، دستاوردهای زیر را در یک الگوریتم هوش مصنوعی محقق خواهد کرد [1]، [15]، [21] و [22]:

• توانمندسازی افراد در مواجهه با پیامدهای منفی ناشی از تصمیم‌گیری خودکار؛
• کمک به افراد در انتخاب آگاهانه‌تر؛
• افشای تهدیدها و محافظت از آسیب‌پذیری‌‌های امنیتی؛
• ادغام و سوق الگوریتم‌ها به سمت ارزش‌‌های انسانی؛
• ارتقای استانداردهای صنعت برای توسعه محصولات مبتنی‌بر هوش مصنوعی و درنتیجه بهبود اعتماد مصرف‌کننده و کسب‌و‌کار؛
• شناخت نقاط ضعف الگوریتم‌ها و امکان ارتقای ‌آنها؛
• شهود ایده‌های جدید‌ براساس عملکرد الگوریتم‌ها؛
• اجرای خط‌مشی‌ها و قوانین حق توضیح برای کاربران.

برای مثال، در سیستم عدالت کیفری، هوش مصنوعی توضیح‌پذیر می‌تواند کمک کند تا در خصوص آزادی یا صدور حکم، عادلانه و‌ براساس معیارهای عینی و نه داده‌های متعصبانه تصمیم‌گیری شود. همچنین، چارچوب‌های قانونی در سراسر جهان، شفافیت در پیاده‌سازی هوش مصنوعی را مطالبه می‌کنند. هوش مصنوعی توضیح‌پذیر از طریق تصویب قوانین و مقرراتی برای محافظت از حق افراد برای دریافت توضیحات مرتبط با یک تصمیم اداری که‌ براساس یک فرایند الگوریتمی اتخاذ شده، مورد توجه قرار گرفته است [22]. قوانینی مانند سازمان مقررات عمومی حفاظت از داده‌ها (GDPR) در اروپا اجبار می‌کند که افراد حق دریافت توضیحات مرتبط با تصمیم‌گیری خودکار را داشته باشند [23]. این «حق توضیح»، جزو مقرراتی است که از 25 مه 2018 در سراسر اتحادیه اروپا اجرایی شده است [24] و موضوع توضیح‌پذیری را نه‌تنها تبدیل به یک ویژگی مطلوب، بلکه آن را یک نیاز ضروری برای مطابقت با استانداردهای قانونی می‌کند.

البته این فقط جزئی از سیاست‌های وسیع‌تری است که در دنیا در حال پیگیری است. در قانون هوش مصنوعی (AI Act) که هدف آن حمایت از توسعه هوش مصنوعی قابل اعتماد در اروپاست، این کار به‌وسیله تضمین ایمنی و حقوق افراد و کسب‌وکارها در زمینه هوش مصنوعی و همچنین تقویت ‌پذیرش، سرمایه‌گذاری و نوآوری در این حوزه در سراسر اتحادیه اروپا انجام می‌شود [23].

5. هوش مصنوعی توضیح‌پذیر و بخش عمومی

همان‌طور که بیان شد مهم‌ترین شرایط و ملاحظات تصمیم‌گیری در بخش عمومی عبارت‌اند از:

• ‌پاسخ‌گویی و شفافیت؛‌
• عمل در محدوده قوانین؛
• تصمیمات مطمئن و قابل اعتماد؛
• تنوع مسائل و تخصصی بودن تصمیمات؛
• مسئولیت‌پذیری و سازوکار تصمیم‌گیری و سلسله‌مراتب؛
• قابلیت اعتماد و‌ پذیرش عمومی تصمیمات؛
• رعایت ملاحظات اخلاقی.

‌به‌کارگیری فناوری هوش مصنوعی در این بخش اگر با الزام توضیح‌پذیری و با رعایت این ویژگی محقق شود، خواهد توانست این شرایط و ملاحظات را تضمین کرده و به‌ ارتقای کارآمدی بخش عمومی منجر شود. در غیر این صورت عدم سازگاری ویژگی‌های تصمیمات خودکار و الگوریتمی یا موجب آسیب رساندن به ارزش‌های عمومی مانند شفافیت و ‌پاسخ‌گویی و حتی‌ سوء‌استفاده احتمالی افراد خواهد شد، یا بر اثر مقاومت و واپس زدن این فناوری، بخش عمومی از ظرفیت بالقوه این فناوری نوین‌ بی‌بهره خواهد شد. بنابراین توجه به الزام توضیح‌پذیری در الگوریتم‌های به‌کار گرفته شده در بخش عمومی ضروری است. این توضیح‌پذیری‌ به‌طور خاص می‌تواند موارد زیر را محقق کند:

5-1. قابلیت اعتماد و شفافیت

در عصر دیجیتال امروز، سیستم‌های هوش مصنوعی، هر روز بیشتر و بیشتر تصمیماتی می‌گیرند که بر زندگی روزمره ما تأثیر می‌گذارد. برای مثال در حوزه‌‌های بهداشت و درمان و مالی، این تصمیمات می‌توانند پیامدهای‌ قابل‌توجهی داشته باشند. برای اینکه هوش مصنوعی‌ به‌طور مؤثر در جامعه ادغام شود، ضروری است که به این سیستم‌ها توسط کاربرانشان اعتماد شود. هوش مصنوعی توضیح‌پذیر، اعتماد را با ارائه نکاتی در مورد چگونگی تصمیم‌گیری‌ها ایجاد می‌کند.

شفافیت در هوش مصنوعی به این معناست که کاربران می‌توانند فرایندهای زیربنایی و منطق منجر شده به یک نتیجه خاص را درک کنند. این موضوع‌ به‌ویژه در سناریوهایی که ممکن است سیستم‌های هوش مصنوعی خطا کنند یا تصمیمات ‌آنها مورد ارزیابی قرار گیرد، اهمیت دارد. برای مثال، در تشخیص‌های پزشکی، اگر یک سیستم هوش مصنوعی درمان خاصی را توصیه کند، ضروری است پزشکان و بیماران دلایل پشت این توصیه را درک کنند تا با آرامش‌خاطر از آن پیروی کنند. شفافیت به عمومی‌تر کردن هوش مصنوعی کمک و آن را قابل دسترس‌تر و مقبول‌تر می‌کند که این موضوع باعث تشویق به‌ پذیرش آن می‌شود. علاوه‌بر این، شفافیت فقط درباره ایجاد اعتماد در کاربران نهایی نیست، بلکه به توسعه‌‌دهندگان و پژوهشگران این امکان را می‌دهد تا مدل‌های هوش مصنوعی را با شناسایی و اصلاح نقص‌ها، تعصبات و خطاها، بهبود بخشند. سیستم‌های هوش مصنوعی شفاف اجازه شناسایی و اصلاح سوگیری یا خطاها را می‌دهند، درنتیجه از نتایج ناعادلانه یا آسیب‌زا جلوگیری می‌کنند.

توضیح‌پذیری در الگوریتم‌های هوش مصنوعی می‌تواند در تحقق شفافیت و ارتقای اعتماد نسبت به تصمیمات متخذه و افزایش ‌پذیرش عمومی این تصمیمات که در بخش عمومی نقشی حیاتی دارد، نقش‌آفرین باشد.

5-2. پاسخ‌گویی، مسئولیت‌پذیری و ملاحظات اخلاقی

به هر میزان که سیستم‌های هوش مصنوعی نقش‌های مهم‌تری در جامعه برعهده می‌گیرند، نیاز به مسئولیت‌پذیری نسبت به نتایج تصمیمات بیشتر می‌شود. مسئولیت‌پذیری در هوش مصنوعی به توانایی ردیابی و فهم فرایند تصمیم‌گیری اشاره دارد تا بفهمیم که این تصمیمات به‌صورت اخلاقی و مسئولانه گرفته شده‌اند یا نه. هوش مصنوعی توضیح‌پذیر به ذی‌نفعان این امکان را می‌دهد تا انصاف و درستی تصمیمات هوش مصنوعی را بررسی و ارزیابی کنند.

ملاحظات اخلاقی در خط مقدم توسعه هوش مصنوعی قرار دارد. سیستم‌های هوش مصنوعی، اگر به دقت طراحی و نظارت نشوند، می‌توانند تعصبات و نابرابری‌های موجود را حفظ یا حتی تشدید کنند. برای مثال، اگر یک سیستم هوش مصنوعی که در فرایندهای استخدام استفاده می‌شود با داده‌های متعصبانه آموزش داده شده باشد، ممکن است گروه‌های خاصی از متقاضیان را ناعادلانه محروم کند که در بخش عمومی این امر قابل ‌پذیرش نیست. هوش مصنوعی توضیح‌پذیر به شناسایی این تعصبات با شفاف‌سازی فرایند تصمیم‌گیری کمک می‌کند و به توسعه‌‌دهندگان اجازه می‌دهد تا‌ به‌طور فعال این مسائل را حل‌وفصل کنند.

این شاخه تنها مرتبط با اجتناب از تبعیض و پیش‌داوری نبوده و‌ علاوه‌بر آن، شامل احترام سیستم‌های هوش مصنوعی به حریم خصوصی کاربران، رعایت نفع کاربران در تصمیمات و جلوگیری از آسیب‌های غیرمنتظره نیز می‌شود. این موضوع به کاربران و ذی‌نفعان قدرت می‌دهد تا از تصمیمات هوش مصنوعی سؤال کنند و به چالش بکشند که این امر منجر به استفاده مسئولانه‌تر و اخلاقی‌تر از هوش مصنوعی می‌شود [25].

ضمن اینکه فهم فرایند اخذ تصمیمات و ایجاد توضیح نسبت به ‌آنها تناسب بیشتری با محیط ‌بوروکراتیک و سلسله‌مراتبی که اقتضای بخش عمومی است دارد. زیرا لازمه تحقق ‌پاسخ‌گویی سلسله‌مراتبی، وجود سطحی از ‌پاسخ‌گویی و مسئولیت‌پذیری است که‌ تصمیم‌گیری خودکار الگوریتمی بدون در نظر گرفتن ملاحظات توضیح‌پذیری قابل تحقق نخواهد بود.

5-3. رعایت مقررات

نهادهای نظارتی به اهمیت شفافیت در هوش مصنوعی پی ‌برده‌اند. قوانین و مقررات متعددی در حال وضع شدن هستند تا سیستم‌های هوش مصنوعی به‌صورت منصفانه، شفاف و مسئولانه عمل کنند. رعایت این مقررات برای سازمان‌هایی که فناوری‌های هوش مصنوعی را توسعه و استقرار می‌دهند، ضروری است.

هوش مصنوعی توضیح‌پذیر به تحقق این الزامات قانونی کمک می‌کند و با ارائه بینش‌های واضح در مورد چگونگی تصمیم‌گیری سیستم‌های هوش مصنوعی، امکان عمل به این قوانین را فراهم می‌سازد. این امر نه‌تنها یک ضرورت قانونی است، بلکه یک مزیت رقابتی نیز محسوب می‌شود. شرکت‌هایی که توضیح‌پذیری را در سیستم‌های هوش مصنوعی خود اولویت قرار می‌دهند، می‌توانند به‌راحتی اعتماد مصرف‌کنندگان و نهادهای نظارتی را جلب کنند و از چالش‌های قانونی کمتری برخوردار باشند.

‌علاوه‌بر این به‌دلیل وجود دستگاه‌های نظارتی متعدد در بخش عمومی و وجود دستورکار عملیاتی به نام قوانین که این دستگاه‌ها به دنبال ارزیابی میزان عمل به آن قوانین هستند، ضروری است تصمیمات اتخاذ شده در بخش عمومی و اجرایی، ملاحظه عمل به قوانین و مقررات حوزه مربوطه را تأمین کنند. وجود سطحی از توضیح‌پذیری جهت تأمین این ملاحظه ضروری خواهد بود.

6. کاربردهای هوش مصنوعی توضیح‌پذیر

6-1. بهداشتی و درمانی

در بخش مراقبت‌های بهداشتی، استفاده از فناوری‌های هوش مصنوعی وعده‌ دگرگونی و تحول در تشخیص‌ها، برنامه‌ریزی درمان، طراحی دارو و مراقبت از بیماران را می‌دهد. بااین‌حال، پیچیدگی تصمیمات پزشکی نیازمند شفافیت و قابلیت توضیح‌پذیری است. هوش مصنوعی توضیح‌پذیر می‌تواند به پزشکان و بیماران اطلاعات واضح و قابل درکی درباره‌ چگونگی ارائه‌ توصیه‌های تشخیصی یا درمانی ارائه دهد [1].

برای مثال، الگوریتم‌های هوش مصنوعی که در رادیولوژی برای تشخیص پزشکی استفاده می‌شوند، باید توضیح دهند چرا مناطق خاصی از تصویر را‌ به‌عنوان نگران‌کننده علامت‌گذاری کرده‌اند. این موضوع به رادیولوژیست‌ها اجازه می‌دهد تا نتایج هوش مصنوعی را اعتبارسنجی کنند تا هیچ اطلاعات مهمی نادیده گرفته نشود و دقت تشخیص را بهبود می‌دهد.‌ علاوه‌بر این، هوش مصنوعی توضیح‌پذیر می‌تواند منطق پشت برنامه‌های درمان شخصی‌سازی شده را روشن کند که به پزشکان امکان می‌دهد تصمیمات آگاهانه‌تری بگیرند و اعتماد بیماران به مراقبت‌های پزشکی با کمک هوش مصنوعی را بیشتر کنند [26].

یکی دیگر از کاربردهای هوش مصنوعی توضیح‌پذیر در منابع آب و فاضلاب است، به‌طوری‌که به سیاستگذاران اجازه می‌دهد اقدامات پیشگیرانه بهتری برای اطمینان از ایمنی آب آشامیدنی انجام دهند. براساس نتایج این مطالعه [27]، روش‌های سنتی ارزیابی کیفیت اغلب توانایی ارائه توضیحات دقیق و قابل درک برای یافته‌های خود را ندارند، اما با استفاده از هوش مصنوعی توضیح‌پذیر، این مطالعه راهی برای پر کردن این شکاف ارائه می‌دهد تا دلیل پیش‌بینی‌های هوش مصنوعی فهمیده و اقدامات، آگاهانه انجام شود. نتایج این مطالعه نشان می‌دهد که استفاده از «هوش مصنوعی توضیح‌پذیر» نه‌تنها به بهبود دقت ارزیابی‌های ایمنی آب کمک می‌کند، بلکه می‌تواند به بهبود کلی سلامت عمومی در مناطق شهری منجر شود.

اهمیت هوش مصنوعی توضیح‌پذیر در مراقبت‌های بهداشتی به ملاحظات اخلاقی نیز گسترش می‌یابد. با شفاف کردن فرایندهای تصمیم‌گیری هوش مصنوعی، ارائه‌‌دهندگان مراقبت‌های بهداشتی می‌توانند هرگونه تعصب در مدل‌های هوش مصنوعی را شناسایی و رفع کنند. این موضوع باعث می‌شود که همه‌ بیماران به‌صورت عادلانه و منصفانه، بدون در نظر گرفتن پس‌زمینه‌شان، درمان ‌شوند. علاوه‌بر این، نهادهای نظارتی مانند سازمان غذا و دارو، خواهان توضیح برای سیستم‌های هوش مصنوعی مورد استفاده در مراقبت‌های بهداشتی هستند تا استانداردهای ایمنی و اثربخشی را برآورده کنند [28].

6-2. مالی و اقتصادی

در بخش مالی، هوش مصنوعی برای وظایف مختلفی‌ ازجمله امتیازدهی اعتباری، تشخیص تقلب و تجارت الگوریتمی استفاده می‌شود. ماهیت مبهم بسیاری از سیستم‌های هوش مصنوعی می‌تواند به بی‌اعتمادی و نگرانی‌های اخلاقی منجر شود،‌ به‌ویژه زمانی که این سیستم‌ها تصمیمات مهمی را اتخاذ می‌کنند که بر رفاه افراد تأثیر می‌گذارد. هوش مصنوعی توضیح‌پذیر به این مسائل پرداخته و شفافیت لازم در نحوه‌ اتخاذ تصمیمات مالی را فراهم می‌کند.

سیستم‌های امتیازدهی اعتباری مانند FICO [29] و Vantage [30] که در بانک‌‌های آمریکایی مورد استفاده قرار می‌گیرند به‌راحتی قابل تفسیر هستند و در اسناد مربوط به این سیستم‌‌های امتیازدهی می‌توان دید که هرکدام از این دو سیستم به یک ویژگی مالی و اعتباری مانند پرداخت به‌‌موقع اقساط وام به چه حد اهمیت داده‌اند. به‌عبارت‌دیگر در این سیستم‌ها برای کاربر شفاف است که به چه علتی از امتیاز مالی آنها کاسته شده است.

به همین ترتیب با استفاده روزافزون هوش مصنوعی در زمینه تشخیص کلاهبرداری و همچنین تخلفات مالی، ضرورت استفاده از مدل‌‌های توضیح‌پذیر در این قسمت هم دیده می‌شود و تلاش شده است تا این موارد به کمک مدل‌‌های توضیح‌پذیر موارد بیشتری از صرف پیش‌بینی ارائه کنند و به ما بگویند که دقیقاً کدام ویژگی از پرونده و مشخصات ورودی مدنظر، ما را مشکوک به وجود مشکلات اقتصادی در پرونده کرده است.

از دیگر کاربرد‌‌های این شاخه در زمینه اقتصادی می‌توان به این مورد اشاره کرد که این روش‌ها در سایر زمینه‌‌های اقتصادی نیز قابل اعمال هستند و قابلیت ارتقای کارایی این بخش‌ها را ایجاد می‌کنند. برای مثال در زمینه توزیع برق می‌توان این روش‌ها شامل: مدل‌‌های توضیح‌پذیر برای مشکلات مختلف بخش توزیع برق‌ ازجمله مدیریت منابع، تشخیص آسیب‌پذیری‌‌های شبکه و همچنین پیش‌بینی مقدار برق تولیدی از منابع تجدید‌پذیر را به‌کار گرفت. تمامی موارد گفته شده قابلیت پیش‌بینی به کمک هوش مصنوعی را دارند و به کمک روش‌‌های توضیح‌پذیری، شفافیت و اعتماد‌پذیری این مدل‌ها افزایش می‌یابد [5].

برای نمونه آژانس رگولاتوری انرژی برزیل (ANEEL)‌ مدلی بر مبنای افزایش رضایت مشترکین طراحی کرده است و سعی می‌کند‌ براساس این مدل، تعیین کند که مهم‌ترین ویژگی‌ها جهت کسب رضایت مشترکین چیست تا در مراحل بعد بر مبنای این ویژگی‌ها قوانینی وضع کند که هزینه‌ها را کاهش داده و همچنین شفافیت و اعتماد‌پذیری را ارتقا دهد [3].

6-3. حقوقی

در بخش حقوقی از هوش مصنوعی برای کاربردهایی مانند پیش‌بینی نتایج پرونده، تحلیل اسناد و بررسی قراردادها استفاده می‌شود. بااین‌حال، استفاده از هوش مصنوعی در تصمیم‌گیری‌های حقوقی نگرانی‌های‌ قابل‌توجهی درباره شفافیت و ‌پاسخ‌گویی را مطرح می‌کند. هوش مصنوعی توضیح‌پذیر می‌تواند این نگرانی‌ها را با ارائه توضیحات واضح و قابل‌فهم برای بینش‌های حقوقی مبتنی‌بر هوش مصنوعی برطرف کند.

برای نمونه در یکی از استفاده‌هایی که هوش مصنوعی توضیح‌پذیر در این زمینه داشته است به این صورت است که مشخص می‌کند‌ با توجه به قوانین موجود و اسناد پرونده خروجی مدل به کدام‌یک از قوانین بیشتر ارتباط دارد. برای مثال اگر مدل تشخیص داده قانونی نقض شده است، کدام‌یک از آنهاست [31].

6-4. حمل‌ونقل

حوزه حمل‌ونقل شامل: سیستم‌های ناوبری، سیستم‌های پشتیبانی تصمیم برای خودروهای خودران و سیستم‌های تغییر مسیر پرواز برای صنعت هوانوردی است که توضیحات موردمحور برای سیستم‌های پشتیبانی تصمیم‌گیری خودکار خودرو ترجیح داده می‌شوند.‌ علاوه‌بر این، توضیحات ارائه شده به کاربر می‌تواند بصری، متنی، نشانگرهای نوری یا حالت ترکیبی باشد. برای سیستم‌‌های ناوبری، نیازهای کاربر کمی متفاوت است، زیرا کاربران به توضیحات درخواست‌ شده در مورد خاص و همچنین استدلال مناسب در پشت هر تصمیمی نیاز دارند [22].

6-5. وسایل نقلیه خودران

توسعه وسایل نقلیه خودران‌ به‌شدت به هوش مصنوعی برای ناوبری در محیط‌های رانندگی پیچیده متکی است. هوش مصنوعی توضیح‌پذیر در این بخش برای ایمنی و ‌پذیرش عمومی خودروهای خودران مهم است. توضیح‌پذیری شفافیت لازم در نحوه‌ تصمیم‌گیری‌های لحظه‌ای وسایل نقلیه خودران را فراهم می‌کند که از تشخیص علائم ترافیکی تا اجتناب از موانع را شامل می‌شود. برای مثال، اگر یک وسیله نقلیه خودران‌ به‌طور ناگهانی توقف کند، هوش مصنوعی توضیح‌پذیر می‌تواند عواملی که منجر به این تصمیم شده‌اند، مانند شناسایی عابر پیاده یا تغییرات ناگهانی در شرایط جاده را روشن کند[32]. همان‌طور که در شکل 2 نشان داده شده، در خروجی مدل که تصویر سمت راست است ماشین جلویی که مانع ماست،‌ به‌عنوان یک قید مهم در تصمیم‌گیری دیده می‌شود.

شکل 2. نمونه‌ای از کاربرد هوش مصنوعی توضیح‌پذیر در ماشین‌‌های خودران [32]

در مجموع می‌توان گفت هوش مصنوعی توضیح‌پذیر دارای تأثیرات گسترده‌ای در بخش‌های مختلف است و شفافیت، اعتماد و ‌پاسخ‌گویی را افزایش می‌دهد. با شفاف و قابل‌فهم کردن فرایندهای تصمیم‌گیری هوش مصنوعی تضمین می‌کنیم که خطرات ناشی از به‌کارگیری آن فناوری به حداقل خواهد رسید. با ادامه تکامل و ادغام هوش مصنوعی در جنبه‌های مختلف جامعه، نقش توضیح‌پذیری مهم‌تر خواهد شد و آینده توسعه و به‌کارگیری هوش مصنوعی را شکل خواهد داد.

6-6. رسانه و سرگرمی

این حوزه شامل: سیستم‌های توصیه موسیقی، سیستم‌های توصیه فیلم، سیستم‌های توصیه هنری برای انجمن‌ها و وب‌سایت‌ها، سیستم‌های توصیه مقاله خبری و سیستم‌های بازی است.‌ در این موارد کاربران به توضیحاتی نیاز دارند که حاوی جزئیات توصیه‌‌های شخصی‌سازی شده باشد که شامل اصول اولیه کار سیستم و جزئیات مربوط به اطلاعات شخصی استفاده شده است. کاربران همچنین نگرانی خود را در مورد میزان اطلاعات ارائه شده ابراز می‌کنند. زیرا اطلاعات بیش از حد می‌تواند بار شناختی ایجاد کند. بنابراین، سیستم نباید کاربر را با اطلاعات غیرضروری و مبهم غرق کند و باید هم توضیحات متنی و هم تصویری ارائه دهد [22].

6-7. آموزش

حوزه آموزشی شامل: سیستم‌‌های تدریس خصوصی هوشمند، تصمیم‌گیری در مورد ‌پذیرش دانشگاه و سیستم‌‌های تخمین نمره است که ایجاد توضیح‌پذیری در آنها، قابلیت استفاده از سیستم را بهبود می‌بخشد. توضیحات باید اطلاعاتی در مورد رفتار سیستم و روش کار و همچنین منطق پشت برخی وظایف تصمیم‌گیری، مانند تصمیم‌گیری ‌پذیرش، ارائه دهد [22].

6-8. خرده‌فروشی

در صنعت خرده‌فروشی، هوش مصنوعی‌ به‌طور گسترده‌ای برای توصیه‌های شخصی‌سازی شده، مدیریت موجودی و خدمات مشتری استفاده می‌شود. هوش مصنوعی توضیح‌پذیر این کاربردها را با شفاف و قابل‌فهم کردن فرایندهای تصمیم‌گیری پشت توصیه‌های هوش مصنوعی تقویت می‌کند. برای مثال، با استفاده از روش‌‌های توضیح‌پذیری در سیستم‌های توصیه شخصی‌سازی شده می‌توان توضیح داد‌ که محصول توصیه شده برای کاربر مدنظر به چه دلیلی پیشنهاد شده است که باعث افزایش اعتماد‌پذیری این محصولات می‌شود‌ [33].

6-9. مدیریت منابع انسانی

در مدیریت منابع انسانی با استفاده از نتایج الگوریتم‌ها مانند تصمیم‌گیری درخصوص استخدام یا ارتقای افراد، نگرش کارکنان نسبت به ‌پذیرش تصمیمات مبتنی‌بر هوش مصنوعی تحت‌تأثیر عوامل مختلفی قرار دارد و کارمندان اغلب بر این باورند که تصمیم‌گیری می‌تواند مغرضانه، دست‌کاری شده و تجاوز به حریم خصوصی باشد. کاهش شکاف دانش با افزایش شفافیت و توضیح‌پذیری نتایج می‌تواند به درک و ‌پذیرش تصمیمات کمک کند. برای نمونه ارائه دلایل مناسب در پشت تصمیم‌گیری، توضیح نمرات ارزیابی داوطلب‌ و نشان دادن استخدام‌‌های مشابه در سازمان،‌ علاوه‌بر این، همکاری با کاربران انسانی در مرحله طراحی می‌تواند شانس‌ پذیرش سیستم را افزایش دهد الزامات استخدام‌کننده برای توضیح‌پذیری شامل است [22].

7. فواید جانبی و آینده هوش مصنوعی توضیح‌پذیر

7-1. تعمیم‌پذیری

یکی از چالش‌های اصلی در هوش مصنوعی، تعمیم‌پذیری مدل‌ها به داده‌های جدید و ناشناخته است. مدل‌های توضیح‌پذیر به محققان این امکان را می‌دهند تا درک بهتری از نحوه یادگیری مدل‌ها و روابط بین ویژگی‌های مختلف داشته باشند. این امر می‌تواند به بهبود تعمیم‌پذیری مدل‌ها کمک کند، زیرا توسعه‌‌دهندگان می‌توانند از اطلاعات تفسیر شده برای تنظیم مدل‌ها به‌گونه‌ای استفاده کنند که در شرایط و داده‌های مختلف عملکرد بهتری داشته باشند [22].

7-2. استحکام و مقاومت

مدل‌های هوش مصنوعی توضیح‌پذیر می‌توانند به بهبود استحکام سیستم‌های هوش مصنوعی کمک کنند. استحکام به توانایی یک سیستم در مقابله با داده‌های غیرمنتظره و تغییرات محیطی اشاره دارد. وقتی که مدل‌های هوش مصنوعی‌ به‌طور شفاف توضیح دهند که چگونه به تصمیمات خود رسیده‌اند، توسعه‌‌دهندگان می‌توانند بهتر نقاط ضعف و قوت سیستم را شناسایی کرده و بهبودهای لازم را اعمال کنند [14] و [15].

7-3. امنیت

در حوزه امنیت، هوش مصنوعی توضیح‌پذیر می‌تواند نقش حیاتی ایفا کند. مدل‌های هوش مصنوعی که قابل تفسیر باشند، می‌توانند به شناسایی و مقابله با حملات سایبری کمک کنند. برای مثال، در سیستم‌های تشخیص نفوذ، مدل‌های توضیح‌پذیر می‌توانند به تحلیلگران امنیتی نشان دهند که چگونه یک حمله تشخیص داده شده است و این امکان را فراهم کنند تا روش‌های مقابله مؤثرتری طراحی شود.

7-4. روندها و پیش‌بینی‌ها

حوزه هوش مصنوعی توضیح‌پذیر به سرعت در حال تکامل است و این امر به‌دلیل نیاز روزافزون به شفافیت، اعتماد و ‌پاسخ‌گویی در سیستم‌های هوش مصنوعی است. چندین روند کلیدی و پیش‌بینی‌ها نشان‌‌دهنده جهت‌گیری آینده این حوزه هستند [15]:

-ادغام با هوش مصنوعی رایج: تکنیک‌های توضیح‌پذیری در حال تبدیل شدن به جزء جدایی‌ناپذیر توسعه سیستم‌های هوش مصنوعی در صنایع مختلف هستند. با پیشرفت هوش مصنوعی، گنجاندن توضیح‌پذیری از مرحله طراحی اولیه به یک رویه استاندارد تبدیل خواهد شد تا اینکه پس از توسعه به آن افزوده شود. این تغییر برای اثربخشی و قابلیت فهم سیستم‌های هوش مصنوعی از ابتدا ضروری است.

پیشرفت در تکنیک‌های جدید و بهبود یافته برای توضیح‌پذیری‌ به‌طور مداوم در حال ظهور هستند. روش‌هایی مانند توضیحات مقایسه‌ای، استدلال‌های خلاف‌ واقع و استنتاج علّی در حال رشد هستند. برای مثال، توضیحات مقایسه‌ای بر برجسته کردن تغییراتی در ورودی تمرکز می‌کنند که منجر به نتیجه‌ای متفاوت می‌شود که به کاربران کمک می‌کند تا مرز تصمیم‌گیری مدل را درک کنند.

-توضیحات شخصی‌سازی شده: تأکید بیشتری بر ارائه توضیحات برای گروه‌های مختلف کاربران وجود دارد. توضیحات شخصی‌سازی شده با در نظر گرفتن پس‌زمینه، ترجیحات و نیازهای کاربر، اطمینان حاصل می‌کنند که اطلاعات ارائه شده برای هر فرد، مربوط و قابل‌فهم است. برای مثال، یک تحلیلگر مالی ممکن است به توجیهات آماری دقیق برای امتیاز اعتباری نیاز داشته باشد،‌ درحالی‌که یک فرد عادی ممکن است فقط به نسخه ساده‌شده‌ای نیاز داشته باشد که عوامل کلیدی تأثیرگذار بر امتیاز او را شرح دهد.

-اخلاق و عدالت در هوش مصنوعی: توضیح‌پذیری در رسیدگی به نگرانی‌های اخلاقی و عدالت در سیستم‌های هوش مصنوعی نقش ایفا خواهد کرد. با شفاف کردن تصمیمات هوش مصنوعی، شناسایی و کاهش سوگیری‌ها آسان‌تر می‌شود که منجر به نتایج عادلانه‌تر برای گروه‌های مختلف جمعیتی می‌شود. این امر‌ به‌ویژه در بخش‌هایی مانند استخدام و اجرای قانون اهمیت دارد، جایی که سیستم‌های هوش مصنوعی متعصب می‌توانند تأثیرات منفی چشمگیری داشته باشند.

7-5. تأثیر بلندمدت در جامعه

با ‌پذیرش گسترده تکنیک‌های توضیح‌پذیری انتظار می‌رود که مزایای بلندمدت قابل‌توجه و تغییرات تحول‌آفرینی در جنبه‌های مختلف جامعه ایجاد شود[4]، [14]، [15] و [34]:

-افزایش اعتماد به هوش مصنوعی: با شفاف و قابل فهم‌تر شدن سیستم‌های هوش مصنوعی، اعتماد عمومی به فناوری‌های هوش مصنوعی افزایش خواهد یافت. این اعتماد برای‌ پذیرش گسترده‌تر و یکپارچگی هوش مصنوعی در زندگی روزمره ضروری است. سیستم‌های هوش مصنوعی قابل اعتماد در بخش‌های حیاتی مانند مراقبت‌های بهداشتی، مالی و خدمات عمومی سریع‌تر ‌پذیرفته می‌شوند که منجر به بهبود کارایی و نتایج خواهد شد.

-بهبود تصمیم‌گیری: توضیح‌پذیری منجر به تصمیم‌گیری بهتر در چندین حوزه می‌شود. متخصصین در زمینه‌هایی مانند مراقبت‌های بهداشتی، مالی و خدمات حقوقی می‌توانند هوش مصنوعی را‌ به‌طور مؤثرتری به‌کار گیرند که نتایج بهبود یافته و کاهش ریسک‌ها را به همراه دارد.

-هوش مصنوعی اخلاقی و عادلانه: با فهمیدن سوگیری‌ها، توضیح‌پذیری به توسعه سیستم‌های هوش مصنوعی اخلاقی کمک خواهد کرد. این امر به جلوگیری از ترویج تبعیض کمک خواهد کرد که منجر به جامعه‌ای عادلانه‌تر خواهد شد. شیوه‌های اخلاقی هوش مصنوعی‌ به‌ویژه در حوزه‌هایی مانند استخدام، وام‌دهی و اجرای قانون که عدالت بسیار اهمیت دارد، بسیار مهم خواهد بود.

-رشد اقتصادی و نوآوری: سیستم‌های هوش مصنوعی شفاف، نوآوری و رشد اقتصادی را با به وجود آوردن امکان توسعه برنامه‌ها و خدمات جدید رشد خواهند داد. کسب‌وکارهایی که توضیح‌پذیری را به‌کار می‌گیرند، با افزایش اعتماد و رضایت مشتری، مزیت رقابتی کسب خواهند کرد.

8. چالش‌های پیاده‌سازی هوش مصنوعی توضیح‌پذیر

پیاده‌سازی هوش مصنوعی توضیح‌پذیر شامل چندین چالش است که جنبه‌های فنی، عملکردی و انسانی را دربر‌می‌گیرد. این چالش‌ها باید برطرف شوند تا سیستم‌هایی ایجاد شوند که هم مؤثر و هم قابل تفسیر باشند.

8-1. چالش‌های فنی

یکی از چالش‌های اصلی فنی در توضیح‌پذیری پیچیدگی ذاتی مدل‌های یادگیری ماشین مدرن است. روش‌هایی مانند یادگیری عمیق شامل معماری‌های بسیار پیچیده با لایه‌ها و پارامترهای فراوان هستند که ردیابی فرایند تصمیم‌گیری را دشوار می‌کند. ساده‌سازی این مدل‌های پیچیده برای قابل تفسیر کردن آنها اغلب به روش‌های پیچیده‌ای نیاز دارد.‌ علاوه‌بر این، توسعه روش‌هایی که بتوانند توضیحات را برای انواع مختلف مدل‌ها ارائه دهند چالش قابل‌توجهی است. به‌عبارت‌دیگر اکثر روش‌‌های توسعه داده شده یا مخصوص یک مدل خاص تولید شده‌اند و یا اینکه در اجرا و پیاده‌سازی مشکل‌‌های خاص خودشان را دارند. ضمن اینکه فقدان یک استاندارد و تعریف مشخص و مورد قبول برای توضیح‌پذیری، امکان ارزیابی آن‌ را با مشکل مواجه می‌کند.

8-۲. توازن بین عملکرد و توضیح‌پذیری

یکی از معضلات اصلی در این شاخه تعادل بین دقت مدل و قابلیت تفسیر آن است. مدل‌های بسیار دقیق مانند شبکه‌های عصبی عمیق اغلب پیچیده و مبهم هستند. ازسوی‌دیگر، مدل‌های ساده‌تر توضیحات واضح‌تری ارائه می‌دهند، اما ممکن است دقت لازم برای برخی وظایف را نداشته باشند. رسیدن به تعادل میان عملکرد بالا و قابلیت تفسیر، چالش‌برانگیز است. کاهش پیچیدگی مدل برای بهبود قابلیت تفسیر می‌تواند منجر به کاهش عملکرد شود که ممکن است در کاربردهای حیاتی مانند تشخیص پزشکی یا رانندگی خودکار قابل‌قبول نباشد. برعکس، افزایش دقت مدل با افزودن لایه‌های پیچیده می‌تواند فرایند تصمیم‌گیری را مبهم کند و توضیح آنها دشوار شود. محققان فعالانه در حال بررسی روش‌های ترکیبی هستند که تلاش می‌کند نقاط قوت هر دو مدل پیچیده و ساده را ترکیب کند. روش‌هایی مانند شبکه‌های عصبی توضیح‌پذیر که عناصر طراحی ‌شده برای افزایش شفافیت را شامل می‌شوند و روش‌های تفسیری که مدل‌ها را پس از آموزش تحلیل می‌کنند، نمونه‌هایی از تلاش‌ها برای این تعادل هستند [7]، [14] و [22].

8-۳. عوامل انسانی

عوامل انسانی نقش مهمی در پیاده‌سازی توضیح‌پذیری دارند. یکی از چالش‌های اصلی این است که توضیحات سیستم‌های هوش مصنوعی، برای مخاطبان هدف (متفاوت در تخصص فنی و توانایی‌های شناختی) قابل درک باشد. توضیحات باید با سطح درک کاربران تنظیم شوند، یعنی از اصطلاحات فنی خودداری کنند و درعین‌حال مفاهیم لازم را منتقل کنند.

‌علاوه‌بر این، مسئله رضایت از توضیح وجود دارد. حتی اگر توضیحی به‌صورت فنی درست و قابل‌فهم باشد، ممکن است همیشه نیاز کاربران به شفافیت را برآورده نکند. کاربران اغلب به دنبال توضیحاتی هستند که نه‌تنها چگونگی اتخاذ یک تصمیم را توصیف کنند، بلکه چرایی اتخاذ آن را نیز به ‌طریقی که با ارزش‌ها و انتظارات آنها همخوانی داشته باشد، توضیح دهند. برآوردن این نیاز، مستلزم رویکردی ظریف است که واکنش‌های روان‌شناختی و احساسی کاربران را در نظر بگیرد.

رسیدگی به این عوامل انسانی، مستلزم پژوهش‌های بین‌رشته‌ای‌ ازجمله به‌کارگیری بینش‌های روان‌شناختی، علوم‌شناختی، تعامل انسان و کامپیوتر با هدف ارائه توضیحاتی است که شهودی و قابل اعتماد باشند. این توضیحات می‌تواند ‌پذیرش و اعتماد کاربران به سیستم‌های هوش مصنوعی را افزایش داده و درنهایت اثربخشی و تأثیر اجتماعی آنها را بهبود بخشد[22] و [35].

یک چالش مهم دیگر این است که توضیحات می‌تواند اعتماد کاربر را افزایش دهد؛ اما در بلندمدت، خروجی‌‌های مدل‌ها ممکن است توصیه‌‌های دقیقی را ارائه نکنند. چنین خطری ممکن است باعث شود کاربران اعتماد به نفس نادرست داشته باشند و به نتایج اشتباه اعتماد کنند. این امر نیز نیازمند دقت ویژه است [7].

8-۴. پیش‌نیازهای راهبردی

برای پیاده‌سازی موفق یک هوش مصنوعی توضیح‌پذیر، سه سؤال مهم باید پاسخ داده شود [36]: یک توضیح خوب چه چیزی است؟ این توضیح برای چه کسی است؟ و نهایتا چگونه ارائه خواهد شد؟ توضیحات باید متناسب با زمینه و نیازهای کاربر و هدف سیستم باشند. تحقیقات نشان می‌دهد که افراد به دلایل مختلفی‌ ازجمله پیش‌بینی رویدادهای مشابه، تشخیص، ارزیابی مقصر بودن یا بی‌گناهی، توجیه یا عقلانی‌سازی یک اقدام و غیره به توضیحات نیاز دارند.

کیفیت یک توضیح همچنین به نحوه ارائه آن بستگی دارد. توضیحات می‌توانند در لحظه و به‌صورت مستمر ارائه شوند یا پس از وقوع اتفاق و خلاصه‌ شده باشند. توضیحات تعاملی معمولاً ترجیح داده می‌شوند، اما همیشه مناسب یا قابل اجرا نیستند. فرمت‌های متنی، تصویری و چندرسانه‌ای با نتایج متفاوت مورد مقایسه قرار گرفته‌اند و پاسخ‌های متنی آشنا یا توضیحات تصویری ساده برای کاربران غیرمتخصص اغلب مؤثرتر هستند.

9. جمع‌بندی و نتیجه‌گیری

در این گزارش، هوش مصنوعی توضیح‌پذیر‌ به‌عنوان یک زمینه پژوهشی و عملیاتی در حوزه هوش مصنوعی بررسی شد. اهمیت این موضوع در تسهیل عمومی‌سازی فناوری هوش مصنوعی در بخش‌های مختلف است.

آینده حوزه هوش مصنوعی توضیح‌پذیر‌ به‌شدت به تلاش‌های مشترک ذی‌نفعان مختلف،‌ ازجمله خط‌مشی‌گذاران، فعالان صنعتی، پژوهشگران و کاربران نهایی بستگی دارد.

خط‌مشی‌گذاران، قانون‌گذاران و نهادهای نظارتی: دولت‌ها و نهادهای نظارتی باید خط‌مشی‌هایی ایجاد و اجرا کنند که استفاده از هوش مصنوعی توضیح‌پذیر در بخش‌های حساس را الزام‌آور می‌سازد. این امر شامل: به‌روزرسانی مقررات موجود برای گنجاندن الزامات شفافیت و ‌پاسخ‌گویی در سیستم‌های هوش مصنوعی می‌شود. خط‌مشی‌گذاران باید از ابتکارات پژوهشی حمایت کنند و بودجه‌ای برای توسعه روش‌های جدید توضیح‌پذیری فراهم کنند. ایجاد استانداردهایی مبتنی‌بر توضیح‌پذیری در ورود این فناوری به بخش عمومی می‌تواند مفید و ضروری باشد. به‌علاوه سازوکارهای تضمین اینکه استفاده از تکنیک‌های توضیح‌پذیری به‌هیچ‌وجه حریم خصوصی و امنیت داده‌های کاربران را نقض نمی‌کند، ضرورت دارد.‌ همچنین توجه به بحث توضیح‌پذیری در نهادهای راهبری هوش مصنوعی و نهادهای نظارتی بخش عمومی مبتنی‌بر اهمیت لحاظ شیوه‌های تضمین این توضیح‌پذیری جهت ارزیابی نتایج حاصله و تصمیمات متخذه می‌تواند در توسعه این شاخه از هوش مصنوعی در بخش عمومی مؤثر واقع شود.

هم‌آفرینی بخش‌های مختلف: با توجه به پیچیدگی فناوری هوش مصنوعی که اقتضائات اجرایی مهمی دارد و ازطرف‌دیگر اهمیت ‌پذیرش استانداردها، شرکت‌های توسعه‌‌دهنده فناوری‌ هوش مصنوعی، بخش‌های دانشگاهی و دستگاه‌های نظارتی باید برای ایجاد استانداردهای توضیح‌پذیری همکاری و هم‌آفرینی کنند. چارچوب‌ها و شیوه‌های بهینه مشترک به سازگاری و اعتماد در پیاده‌سازی‌ها کمک خواهد کرد. این امر منجر به کیفیت بهتر و اعتماد بیشتر به سیستم‌های هوش مصنوعی می‌شود.

مؤسسات دانشگاهی و پژوهشی: پژوهشگران به‌دلیل توسعه روش‌های جدید و اعتبارسنجی ‌آنها قطعه مهمی در جورچین پیشرفت توضیح‌پذیری هستند. سرمایه‌گذاری مستمر در پژوهش هوش مصنوعی نوآوری را فعال می‌کند و کیفیت کلی سیستم‌های توضیح‌پذیر را بهبود می‌دهد. مؤسسات نیز می‌توانند پژوهش‌های بین‌رشته‌ای‌ ازجمله علوم‌شناختی، روان‌شناسی،‌ علوم کامپیوتر و هوش مصنوعی را برای پرداختن به چالش‌های پیچیده این حوزه شروع و نسبت به پرداخت بورسیه‌های تحصیلی مرتبط و تشویق پژوهش‌ها به این سمت اقدام کنند.

آگاه‌سازی و مشارکت عمومی: آگاه‌سازی عمومی درباره اهمیت توضیح‌پذیری و تأثیر آن بر زندگی روزمره بسیار مهم است. بسیار مهم است که عموم مردم و کسانی که نتایج الگوریتم‌ها بر ‌آنها اعمال خواهد شد، نسبت به الگوریتمی بودن تصمیمات و سطحی از توضیح نسبت به نتایج، آگاه باشند. افزایش آگاهی‌ علاوه‌بر ارتقای ظرفیت ‌پذیرش فناوری، تقاضا برای راه‌حل‌های شفاف هوش مصنوعی را افزایش می‌دهد و کاربران را قادر می‌سازد تا تصمیمات آگاهانه‌ای درباره فناوری‌هایی که استفاده می‌کنند، بگیرند. مشارکت عمومی می‌تواند بازخوردهای ارزشمندی به توسعه‌‌دهندگان ارائه دهد و به ‌آنها در اصلاح و بهبود سیستم‌های توضیح‌پذیر کمک کند.

ارزیابی سیستم‌های هوش مصنوعی در بخش عمومی: با توجه به اهمیت و گستره تأثیر فناوری هوش مصنوعی و پیش‌بینی فراگیری و ‌پذیرش بالای این فناوری در سال‌های‌ آینده، ضروری است سامانه‌های مبتنی‌بر هوش مصنوعی در این بخش به‌صورت دوره‌ای از منظر سوگیری‌های احتمالی و اعتبار نتایج، پایش شده و به سمت سطحی از توضیح‌پذیری سوق داده شوند.

درنتیجه، آینده هوش مصنوعی توضیح‌پذیر وعده‌های بزرگی برای افزایش اعتماد، ‌پاسخ‌گویی و استانداردهای اخلاقی در سیستم‌های هوش مصنوعی دارد. با‌ پذیرش این روندها و ترویج همکاری بین ذی‌نفعان، جامعه می‌تواند از ظرفیت کامل هوش مصنوعی بهره‌مند شود و درعین‌حال بداند که این فناوری به‌صورت شفاف و عادلانه عمل می‌کند. به‌طور خلاصه، حوزه هوش مصنوعی توضیح‌پذیر نقش‌ قابل‌توجهی در جهت افزایش شفافیت، اعتماد و مسئولیت‌پذیری در سیستم‌های هوش مصنوعی دارد. همان‌طور که در بخش‌های قبلی بیان شد، این گزارش شامل تعریف، روندها، چالش‌های فنی و عوامل انسانی است که برای توسعه و اجرای آن بسیار مهم هستند.

پیش‌بینی‌ها در این‌باره نشان‌‌دهنده چشم‌انداز رو به رشد،‌ ازجمله یکپارچگی با سیستم‌های قبلی، توضیحات شخصی‌سازی شده و وارد شدن ملاحظات اخلاقی است که منعکس‌کننده نیاز هرچه بیشتر به این شاخه در زمینه‌های مختلف است. چالش‌های فنی، مانند پیچیدگی مدل‌های مدرن یادگیری ماشین، ضرورت پیدا کردن راه‌حل‌های نوآورانه برای ساده‌سازی مدل‌ها بدون فدا کردن دقت را بیان می‌کنند. دستیابی به تعادل بین عملکرد و قابل توضیح بودن یک چالش اصلی است که نیاز به بررسی دقیق و رویکردهای میان‌رشته‌ای دارد. علاوه‌بر این، عوامل انسانی نقش اساسی در اجرای موفقیت‌آمیز هوش مصنوعی توضیح‌پذیر دارند. پرداختن به نیازها و ترجیحات متنوع کاربران و اطمینان از اینکه توضیحات قابل‌فهم و قابل اعتماد هستند، از اهمیت بالایی برخوردار است.

در پایان باید گفت، هوش مصنوعی توضیح‌پذیر مسیری را برای افزایش اعتماد، شفافیت و مسئولیت‌پذیری در سیستم‌های هوش مصنوعی به ما نشان داده است و راه را برای‌ پذیرش گسترده‌تر این فناوری هموار می‌سازد.