خلاصه مدیریتی

• بیان/ شرح مسئله

گزارش‌های ارزشیابی به‌عنوان ابزاری ضروری در فرایند تصمیم‌گیری‌های مدیریتی و خط‌مشی‌گذاری شناخته می‌شوند. این گزارش‌ها می‌توانند به بهبود کیفیت برنامه‌ها و تخصیص بهینه منابع و به شفاف‌سازی عملکردها، در مراحل طراحی پژوهش، شاخص‌های سنجش، ابزار و شیوه‌های گردآوری و تحلیل داده‌ها و درنهایت ارائه یافته‌ها کمک کنند. در غیاب یک چارچوب نظری مستحکم، داده‌های گردآوری‌شده به مجموعه‌ای پراکنده از تحلیل‌ها مبدل می‌شوند و امکان بررسی علل موفقیت یا شکست خط‌مشی از بین می‌رود که درنتیجه آن، امکان ضرورت‌سازی از اصلاح قوانین و اقناع خط‌مشی‌گذاران در مورد موفقیت یا عدم موفقیت خط‌مشی‌ها سلب می‌شود.

• نقطه نظرات/ یافته‌های کلیدی

یافته‌ها گویای آن است تدوین گزارش ارزشیابی، نیازمند تدوین هفت مرحله است که شامل:

• اقدام‌های مقدماتی: در این مرحله، تعیین دقیق اهداف و دامنه ارزشیابی به‌عنوان اولین گام ضروری است. این اقدام‌ها شامل شناسایی نیازهای موجود، تحلیل وضعیت موجود و تعریف زمینه مداخله می‌شود. بررسی مستندات و مشاوره با ذی‌نفعان کلیدی به تصمیم‌گیری در مورد اینکه چه چیزهایی باید مورد ارزشیابی قرار گیرد کمک می‌کند. همچنین، هدف‌گذاری صحیح در این مرحله، امکان ایجاد یک نقشه راه روشن برای مراحل بعدی فرایند ارزشیابی را فراهم می‌آورد.
• تدوین چارچوب نظری: این مرحله اهمیت بالایی دارد؛ زیرا چارچوب نظری به تعیین روابط علت و معلولی میان ورودی‌ها (منابع، تلاش‌ها)، فعالیت‌ها، خروجی‌ها و نتایج می‌پردازد. تعریف نظریه تغییر در این مرحله به‌وضوح چگونگی دستیابی به اهداف و نتایج موردنظر را مشخص می‌کند. این تحلیل انتقادی از منطق مداخله، به درک جامع‌تری از فرایند کمک می‌کند و به توجیه تصمیم‌ها و خط‌مشی‌ها کمک می‌کند.
• شناسایی ابزارهای جمع‌آوری اطلاعات: در این مرحله، انتخاب ابزارهای مناسب برای جمع‌آوری داده‌ها شامل روش‌های کمی و کیفی صورت می‌گیرد. این ابزارها شامل نظرسنجی‌ها، مصاحبه‌ها، مشاهدات و جمع‌آوری مستندات می‌شوند. مهم است که این ابزارها با اهداف و چارچوب نظری هم‌خوانی داشته باشند، تا علاوه‌بر جمع‌آوری داده‌های معتبر، امکان مقایسه و تجزیه و تحلیل نتایج به‌خوبی فراهم شود.
• تحلیل اطلاعات و نتایج: با جمع‌آوری داده‌ها، فرایند تحلیل آغاز می‌شود. در این مرحله، داده‌های جمع‌آوری‌شده به‌طور نظام‌مند پردازش و تجزیه و تحلیل می‌شوند تا نتایج دقیق و شفاف حاصل شود. انتخاب روش‌های آماری و تحلیل‌های کیفی در این مرحله از اهمیت بالایی برخوردار است. تحلیل‌های صحیح به اطمینان از دقت و اعتبار نتایج کمک می‌کنند و می‌توانند به شناسایی الگوها و روندها کمک کنند.
• تحلیل نتایج ارزشیابی و ارائه پیشنهاد‌ها: یکی از مهم‌ترین گام‌های تدوین گزارش ارزشیابی، تحلیل نهایی نتایج ارزشیابی است. در این گام، یافته‌های حاصله از مرحله پیشین مورد تجزیه و تحلیل نهایی قرار می‌گیرند تا هدف اصلی ارزشیابی محقق شود. علاوه‌بر این، ارائه توصیه‌هایی مبتنی‌بر نتایج و یافته‌ها از اهمیت بالایی برخوردار است. به‌طورکلی این پیشنهاد‌ها می‌توانند ناظر بر اصلاح خط‌مشی‌ها، لغو کامل آن یا ادامه دادن به آن باشند. این پیشنهاد‌ها منتج از تحلیل‌های فنی و هنجاری اجرا شده در ارزشیابی است.
• ارزشیابی اعتبار و کیفیت گزارش‌ها: در این مرحله، کیفیت و اعتبار محتویات گزارش‌های ارزشیابی مورد بررسی قرار می‌گیرد. این شامل ناشران، کارشناسان داخلی و خارجی است که باید داده‌ها، تحلیل‌ها و نتایج را بازبینی کنند. ارزشیابی دقیق می‌تواند تضمین کند که فرایندهای ارزشیابی به درستی اجرا شده‌اند و از نظر علمی و عملی قابل اعتماد هستند. در صورت نیاز، اصلاحات در محتویات گزارش اعمال می‌شوند.
• انتشار و کاربست نتایج: این مرحله شامل ارائه نتایج گزارش به ذی‌نفعان و دیگر نهادهای مرتبط است. برای ارتقای کاربست نتایج ارزشیابی، لازم است سازوکارهایی تنظیم و برقرار شود. این می‌تواند شامل گزارش‌های مختصر برای تصمیم‌گیرندگان، برگزاری جلسه‌های تعاملی و استفاده از رسانه‌ها برای به اشتراک‌گذاری نتایج باشد. هدف از این مرحله این است که نتایج به‌طور مؤثر در فرایندهای تصمیم‌گیری و خط‌مشی‌گذاری اعمال شوند.

• پیشنهاد راهکار تقنینی، نظارتی یا سیاستی

• یکی از بایسته‌های مهم تدوین گزارش ارزشیابی، مطابقت گزارش، با اهداف ارزشیابی، ابزارهای جمع‌آوری و تحلیل اطلاعات، زمان اجرای آن، نهاد متولی و... است. بدین‌منظور، تنظیم نظام ارزشیابی، مبتنی‌بر پیوند سه سطح نهادی خرد، میانی و کلان بر مبنای یک چرخه مداوم تولید، تحلیل و بازخورد، پیشنهاد می‌شود.

      در سطح خرد، وزارتخانه‌ها و سایر دستگاه‌های اجرایی موظف‌اند در پایان هر سال، دو گزارش متمایز و مکمل تولید کنند: نخست «خلاصه خط‌مشی» که برگزیده یافته‌ها و توصیه‌های اجرایی تمرکز دارد و برای تصمیم‌گیری سریع در اختیار کمیسیون‌های تخصصی مجلس و سازمان برنامه و بودجه قرار می‌گیرد و دوم، «گزارش کامل ارزشیابی» به همراه ضمایم فنی که مستندی جامع از کارایی، اثربخشی و میزان تحقق اهداف برنامه‌هاست و به‌طور هم‌زمان برای مجلس و مجمع تشخیص مصلحت نظام ارسال می‌شود. ماهیت گزارش‌ها در این سطح، از نوع ارزشیابی پایانی است.

 در سطح میانی، مجلس شورای اسلامی به‌عنوان نهاد محوری، نقش خود را در دو مسیر ایفا می‌کند: از یک‌سو، گزارش‌ها «خلاصه خط‌مشی» را برای واکنش‌های کوتاه‌مدت و اصلاحات فوری بررسی می‌کند و ازسوی دیگر، «گزارش کامل ارزشیابی» و پیوست‌های ارسالی ازسوی دستگاه‌های اجرایی در مرکز پژوهش‌های مجلس مورد تحلیل روشمند قرار می‌گیرد تا انطباق عملکرد اجرایی با اهداف تقنینی سنجیده شود. خروجی این تحلیل‌ها «متا ارزشیابی»‌هایی است که علاوه‌بر ارزشیابی کیفیت و اعتبار گزارش‌های اجرایی، میزان تحقق و پیاده‌سازی توصیه‌های پیشین را مشخص می‌کند. این متا ارزشیابی‌ها، همراه با تحلیل‌های خط‌مشی، هر دو سال یک‌بار، به مجمع تشخیص مصلحت نظام ارسال می‌شوند و بدین‌وسیله مجلس به‌عنوان حلقه واسط میان داده‌های اجرایی و تحلیل‌های کلان عمل می‌کند. در این سطح، مجلس شورای اسلامی می‌تواند برای تدقیق بررسی‌های خود و ارسال نتایج به مجمع، از گزارش‌های تفریغ بودجه و سایر گزارش‌های عملکرد نهادهای مختلفی مانند دیوان محاسبات کشور استفاده کند. ماهیت ارزشیابی در این سطح، تکوینی است.

 در سطح کلان نیز، مجمع تشخیص مصلحت نظام داده‌های دریافتی از دستگاه‌های اجرایی و مجلس، شامل گزارش‌های کامل و نتایج متا ارزشیابی، را در «مرکز ارزیابی و نظارت راهبردی» گردآوری و پردازش می‌کند. براساس این تجمیع، هر پنج سال یک‌بار «گزارش کلان ارزشیابی» تدوین می‌شود که برآیند تلفیق لایه‌های پایین‌تر و سنجش هم‌سویی خط‌مشی‌ها با اسناد بالادستی است. این گزارش، همراه با یک «خلاصه خط‌مشی راهبردی»، به رهبری و سایر نهادهای بالادستی ارائه می‌شود. بازخوردهای کلان در این مرحله به‌صورت رسمی به سطوح پایین‌تر بازگشت داده می‌شود تا خط‌مشی‌ها و برنامه‌ها به‌روز و هم‌سو با شواهد شوند. در این سطح این، ارزشیابی به‌صورت تکوینی انجام می‌گیرد.

• علاوه‌بر این، پیشنهاد می‌شود برای ارتقای انسجام محتوایی، قابلیت مقایسه و اعتبار روش‌شناختی گزارش‌های ارزشیابی در سطوح مختلف، یک دستورالعمل ملی برای نگارش و تدوین گزارش‌های ارزشیابی تهیه و ابلاغ شود. این دستورالعمل باید به‌گونه‌ای طراحی شود که هم الزام‌های فنی و تحلیلی را پوشش دهد و هم با اقتضائات نهادی و سطح مخاطب گزارش هم‌خوان باشد؛ به‌نحوی‌که گزارش‌های تولیدشده در سطح خرد، میانی و کلان، از حیث ساختار، زبان، شاخص‌ها و پیوست‌های فنی، واجد استانداردهای مشترک و قابل ردیابی باشند. در این دستورالعمل، باید اجزای اصلی هر گزارش ازجمله بیان مسئله، چارچوب نظری، روش‌شناسی ارزشیابی، تحلیل یافته‌ها، سنجش تحقق اهداف، توصیه‌های خط‌مشی و پیوست‌های داده‌ای و فنی به‌صورت دقیق تعریف شود. همچنین لازم است سطوح دسترسی، نحوه تنقیح اطلاعات محرمانه و قالب انتشار عمومی نیز مشخص شود تا هم شفافیت حفظ و هم ملاحظات حقوقی رعایت شود. افزون‌بر این، دستورالعمل باید به تفکیک نوع گزارش، الزام‌های خاص هر سطح نهادی را نیز در برگیرد؛ برای نمونه، در سطح خرد، تأکید بر دقت داده‌های عملکردی و پیوند با بودجه، در سطح میانی، تمرکز بر تحلیل تطبیقی و متا ارزشیابی و در سطح کلان، الزام به تلفیق بین‌سطحی و سنجش هم‌سویی با سیاست‌های کلی. ازاین‌رو، ضروری است تا میان اجزا و مراحل مختلف تدوین گزارش ارزشیابی پیوستگی ایجاد شود که برحسب ماهیت، اهداف و سطوح ارزشیابی، روش‌شناختی، چارچوب نظری، روش تحلیل مختص به خود را می‌طلبد.

1. مقدمه

 در دنیا امروز، گزارش‌های ارزشیابی به‌عنوان پلی میان فرایندهای تحلیل و ارزشیابی و کاربست نتایج آن، نقش بنیادی در هدایت خط‌مشی‌گذاری‌‌ها دارند؛ این در حالی است که با مروری بر ساختارهای نهادی و قانونی کشور، فقدان چنین ساختارهایی برای تدوین گزارش‌های ارزشیابی قابل مشاهده است. این گزارش‌ها با تبدیل داده‌های خام به یافته‌های مستدل و مبتنی‌بر شواهد، امکان تبیین علل موفقیت یا شکست یک برنامه را فراهم ساخته و زمینه روشن‌تری برای اصلاح خط‌مشی‌ها ایجاد می‌کنند. ازاین‌رو، تدوین گزارش‌های ارزشیابی نه‌تنها مستلزم بررسی دقیق داده‌ها، بلکه متکی بر چارچوب نظری و روش‌شناختی معتبری است که بتواند انسجام فرایند ارزشیابی را تضمین کند [1]. درنتیجه، ضرورت تدوین گزارش ارزشیابی در چارچوب تحلیل‌های خط‌مشی و نهادمحور، نه‌تنها به‌مثابه یک ابزار شفاف‌سازی و مستندسازی فرایندهای اجرایی مطرح می‌شود، بلکه به منزله یک بستر معرفتی برای تولید دانش، ارتقای ظرفیت یادگیری نهادی و تقویت پاسخ‌گویی چندسطحی نیز عمل می‌کند. گزارش ارزشیابی صرفاً گزارشی پسینی از عملکرد نیست، بلکه به‌واسطه تلفیق داده‌های کمی و کیفی، سازمان‌دهی تحلیلی یافته‌ها و تفسیر آنها در بافت اجتماعی و سیاسی، خود به یک متن مولد معنا بدل می‌شود که می‌تواند به بازاندیشی خط‌مشی‌ها، طراحی مجدد برنامه‌ها و تسهیل گفت‌وگوی نهادی بین ذی‌نفعان گوناگون منجر شود [2]. بر این اساس، تدوین چارچوب منسجم برای گزارش‌های ارزشیابی را می‌توان به‌مثابه سازه‌سازی گفتمانی در نظر گرفت که میان اهداف برنامه، معیارهای سنجش و نتایج محسوس، پیوندی شفاف برقرار می‌کند. چنین چارچوبی پیش از هر چیز نیازمند تعیین دقیق مؤلفه‌های ساختاری (مقدمه، روش‌شناسی، یافته‌ها، تفسیر و توصیه‌ها) و نحوه ارتباط منطقی میان این بخش‌هاست تا مخاطب بتواند از خلال روایت یکپارچه گزارش، فرایند و پیامدهای برنامه را به‌روشنی دنبال کند و درنتیجه، امکان مقایسه گزارش‌های مختلف یا بازتولید رویکرد ارزشیابی در سطوح بعدی نیز فراهم شود [3].

علاوه‌بر این، ضرورت به‌کارگیری یک چارچوب روش‌شناختی مشخص، از جهات مختلف قابل تبیین است. یک گزارش ارزشیابی دقیق باید شامل ساختار منسجم و استانداردی از مراحل طراحی پژوهش، شاخص‌های سنجش، ابزار و شیوه‌های گردآوری و تحلیل داده‌ها و درنهایت ارائه یافته‌ها باشد. در غیاب یک چارچوب نظری مستحکم، داده‌های گردآوری‌شده به مجموعه‌ای پراکنده از تحلیل‌ها مبدل می‌شوند و امکان بررسی علل موفقیت یا شکست خط‌مشی از بین می‌رود که درنتیجه آن، امکان ضرورت‌سازی از اصلاح قوانین و اقناع خط‌مشی‌گذاران در مورد موفقیت یا عدم موفقیت خط‌مشی‌ها سلب می‌شود. بر این اساس پیوستگی و استحکام در شیوه نگارش، ضمن افزایش قابلیت اطمینان به نتایج، زمینه بهره‌برداری علمی و کاربردی از گزارش‌ها را برای خط‌مشی‌گذاران مهیا می‌سازد [4] [5]. علاوه‌بر این، تفاوت‌های اساسی میان انواع ارزشیابی، مانند ارزشیابی اثربخشی، ارزشیابی تأثیر، ارزشیابی فرایند و..، بر لزوم انتخاب روش‌شناسی متناسب با هدف ارزشیابی تأکید دارد. به‌عنوان‌مثال، گزارش‌های ارزشیابی عملکرد معمولاً بر شاخص‌های کمی و بررسی مستقیم دستیابی به اهداف متمرکز هستند؛ این در حالی است ‌که گزارش‌های تأثیر سعی در تحلیل پیامدهای بلندمدت و ابعاد کیفی خط‌مشی‌ها دارند. هر کدام از این انواع، ساختار تدوینی مختص به خود را می‌طلبد. بر این اساس، شناخت دقیق این تفاوت‌ها و تطبیق روش‌شناسی با هدف ارزشیابی، از عوامل تعیین‌کننده در ارائه تحلیل‌های صحیح و تبیین راهکارهای عملی است [5] [6]. این توضیحات سبب شده است تا کشورهای مختلف به دنبال تدوین دستورالعملی مشخص برای تدوین گزارش‌های ارزشیابی برآیند که درنتیجه آن، بالغ بر 80 درصد از کشورهای عضو سازمان همکاری اقتصادی و توسعه، دستورالعمل مرکزی برای هدایت ارزشیابی تدوین و اجرا کرده‌اند [7]. ازاین‌رو، نادیده گرفتن الزام‌های چارچوب نظری، روش‌شناسی منسجم، شاخص‌های دقیق و...، پیامدهای منفی جدی در تحلیل نهایی به همراه دارد. در صورت فقدان تدوین صحیح این عناصر، گزارش‌های ارزشیابی مقداری از اهمیت خود را از دست داده و تنها به ارائه داده‌های پراکنده و تحلیل‌های بدون استدلال علمی محدود خواهند شد. چنین رویکردی می‌تواند خط‌مشی‌گذاران را در تبعیت از تصمیم‌گیری‌های نادرست قرار داده و منابع را به‌سوی خط‌مشی‌های ناکارآمد سوق دهد [8].

بر این اساس در این مطالعه، تلاش شده است تا با مرور دقیق بر گزارش‌های ارزشیابی در کشورهای مختلف و بررسی ابعاد مختلف تدوین گزارش و ابعاد روش‌شناختی آن، چارچوبی استاندارد و جامع ارائه شود تا ضمن تعمیق چارچوب روش‌شناختی حوزه ارزشیابی، زمینه تدوین گزارش‌های ارزشیابی علمی، معتبر و قابل تکیه را فراهم‌سازد تا خط‌مشی‌گذاران با تکیه بر داده‌های مستند و تحلیل‌های نظام‌مند بتوانند تصمیم‌های بهتری در راستای بهبود خط‌مشی‌ها اتخاذ کنند.

 2. پیشینه

 1ـ2. سوابق مطالعاتی

بررسی‌های انجام شده از مطالعات پیشین مرکز پژوهش‌های مجلس، گویای بدیع بودن این گزارش نسبت به سایر گزارش‌هاست. این گزارش برخلاف گزارش‌های مشابه پیشین، به‌طور متمرکز به بررسی گزارش‌های ارزشیابی انجام شده پرداخته است تا بایدها و نبایدهای تدوین گزارش‌ها را به‌صورت استقرایی استخراج کند. از دیگر نکات قابل اهمیت، فقدان پیشینه نظری در این حوزه است که این پژوهش در تلاش برای تدوین این چارچوب نظری ازطریق بررسی موردهای مطالعاتی مختلف در کشورها و نهادهای مختلف است. به‌طور کل این گزارش در مقایسه با گزارش‌های پیشین در عملیاتی‌ترین و اجماع یافته‌ترین سطح ممکن، به تدوین چارچوب نگارش گزارش‌های ارزشیابی پرداخته است که پیش‌تر از آن در منابع داخلی انجام نشده است. در جدول ذیل به بررسی مشابه‌ترین گزارش‌های تدوین شده به این گزارش پرداخته شده است (جدول 1).

جدول 1. سوابق پژوهشی در مرکز پژوهش‌های مجلس

3. یافته‌ها

1ـ3. انواع مدل‌ها و چارچوب‌های گزارش‌های ارزشیابی

پیش از بررسی تفصیلی چارچوب گزارش‌های ارزشیابی و ملاحظات مربوط به آن، ضروری است تا چارچوب‌هایی که پیش‌تر توسط نهادهای بین‌المللی به‌عنوان الگو و مدل پیشنهادی جهت تدوین گزارش‌های ارائه شده است مورد بررسی قرار گیرد. هرچند که عمده الگوهای پیشنهادی در این نهادها واحد و دارای تشابهات بسیاری هستند، بااین‌حال، وجود افراقی نیز در دستورالعمل‌ها قابل مشاهده است (جدول 2).

جدول 2. چارچوب‌های بین‌المللی تدوین گزارش ارزشیابی

مأخذ: یافته‌های تحقیق.

2ـ3. چارچوب عملیاتی گزارش‌های ارزشیابی

یکی از مهم‌ترین گام‌ها پیش از تدوین گزارش ارزشیابی، نگاه قابلیتی به ارزشیابی در حوزه مدنظر است. در طراحی و اجرای نظام‌های ارزشیابی، مرحله پیش ارزشیابی یکی از بنیادی‌ترین عناصر در تضمین اثربخشی، اعتبار و کارآمدی ارزشیابی به‌شمار می‌آید. برخلاف تصور رایج که ارزشیابی را تنها در انتهای فرایند اجرا جای می‌دهد، پیش‌ارزشیابی با جای‌گیری در ابتدای چرخه ارزشیابی، وظیفه بررسی امکان‌سنجی مفهومی و عملی ارزشیابی را برعهده دارد. بر این اساس، فقدان این مرحله در نظام ارزشیابی دولت مرکزی، عامل بسیاری از نارسایی‌ها در انطباق معیارهای ارزشیابی با روش‌های ارزشیابی و نیز در کیفیت نتایج حاصل بوده است [14]. «ارزشیابی‌پذیری» به‌عنوان پیش‌شرط بنیادین برای طراحی و اجرای ارزشیابی مطرح می‌شود؛ مفهومی که برخلاف تصور رایج، نه‌تنها به امکان فنی ارزشیابی اشاره دارد، بلکه به بررسی عقلانیت، وضوح و قابلیت عملیاتی مداخله نیز وابسته است. بر این اساس، همه خط‌مشی‌ها، برنامه‌ها یا پروژه‌ها الزاماً قابل ارزشیابی نیستند و ورود به فرایند ارزشیابی بدون بررسی اولیه ارزشیابی‌پذیری، می‌تواند منجر به نتایج گمراه‌کننده، اتلاف منابع یا آسیب به اعتبار حاکمیت شود. بر این اساس، ارزشیابی‌پذیری به‌مثابه یک فرایند نظام‌مند و مشارکتی تعریف می‌شود که هدف آن، سنجش امکان طراحی و اجرای ارزشیابی معتبر، قابل اتکا و مقرون‌به‌صرفه است. این فرایند مستلزم چند مؤلفه کلیدی است: وضوح مداخله؛ به این معنا که خط‌مشی یا برنامه موردنظر باید ازنظر اهداف، فعالیت‌ها و جمعیت هدف به‌روشنی تعریف شده باشد. دوم، قابلیت شناسایی و ارزشیابی نتایج؛ یعنی خروجی‌ها و پیامدهای مورد انتظار باید مشخص، قابل ارزشیابی و مرتبط با اهداف مداخله باشند. سوم، امکان طراحی روش‌شناسی مناسب؛ به این معنا که باید بتوان با توجه به منابع، زمان و ظرفیت‌های موجود، یک طرح ارزشیابی عملیاتی و معتبر تدوین کرد. ماحصل این سه گام، تصمیم‌گیری در مورد اجرای ارزشیابی یا عدم اجرای آن است. بر این اساس در مواردی، فرایند ارزشیابی‌پذیری منتج به این امر می‌شود که اجرای ارزشیابی در شرایط فعلی مقرون‌به‌صرفه یا عملی نیست. در چنین مواردی، توصیه می‌شود که پیش از ورود به ارزشیابی، اصلاحاتی در طراحی مداخله، شفاف‌سازی اهداف یا توسعه ظرفیت‌های اجرایی صورت گیرد. این نگاه پیش‌نگرانه، ارزشیابی‌پذیری را نه‌تنها به‌عنوان ابزار سنجش امکان ارزشیابی، بلکه به‌عنوان سازوکاری برای بهبود طراحی خط‌مشی‌ها و ارتقای کیفیت مداخله معرفی می‌کند [15].

پس از امکان‌سنجی ارزشیابی، ضروری است تا ارزشیاب به 4 سؤال اساس پیش از ورود به فرایند تدوین گزارش پاسخ دهد تا به درک کامل و صحیحی از ابعاد و فلسفه گزارش ارزشیابی، الزامات و ملاحظات آن دست یابد (جدول 3).

جدول 3. پرسش‌های ضروری پیش از تدوین گزارش ارزشیابی [16]

پاسخ به این پرسش‌ها سبب می‌شود تا فلسفه ارزشیابی و اقدام‌های آن برای ارزشیاب بهتر تبیین شود. پس از این مرحله، فرایند تدوین گزارش ارزشیابی آغاز می‌شود. یافته‌های حاصله از گزارش‌های ارزشیابی در کشورهای مختلف بیان‌گر وجود هفت گام در تدوین و تکمیل گزارش‌های ارزشیابی است. این مراحل شامل: 1. اقدام‌های مقدماتی (تعیین هدف، رویکرد، ابعاد و سایر ملاحظات)؛ 2. تدوین چارچوب نظری ارزشیابی؛ 3. شناسایی ابزارهای جمع‌آوری اطلاعات و شاخص‌های ارزشیابی؛ 4. تحلیل اطلاعات و نتایج ارزشیابی؛ 5. تحلیل نتایج ارزشیابی و ارائه پیشنهاد‌ها؛ 6. بررسی کیفیت گزارش‌ها؛ 7. انتشار و به‌کارگیری نتایج ارزشیابی است.

1ـ2ـ3. اقدام‌های مقدماتی (تعیین هدف، رویکرد، ابعاد و سایر ملاحظات)

بررسی‌های انجام شده از گزارش‌های ارزشیابی، گویای ضرورت بررسی و ارائه توضیحاتی پیش از ارزشیابی است. گزارش‌های ارزشیابی در عمده کشورها بر تبیین اهمیت ارزشیابی در موضوع مدنظر پرداخته‌اند. دلایل متعددی و فرایندهای پیچیده‌ای ناظر بر علت انتخاب موضوع ارزشیابی وجود دارد. برای مثال فرایند انتخاب برنامه‌های ارزشیابی در شیلی تحت نظارت کمیته بین وزارتی و با مشارکت کنگره انجام می‌شود. این فرایند شامل چندین مرحله است که هدف آن تعیین برنامه‌هایی است که باید تحت ارزشیابی قرار گیرند. بر این اساس، در ابتدا کمیته بین‌ وزارتخانه‌ای، فهرستی از برنامه‌های بالقوه برای ارزشیابی تهیه می‌کند. این فهرست براساس معیارهایی مانند اهمیت بودجه‌ای، عملکرد گذشته، میزان تأثیرگذاری بر خط‌مشی‌های عمومی و درخواست‌های خاص ازسوی کنگره تنظیم می‌شود. پس از تهیه فهرست اولیه، این پیشنهاد به کنگره ارائه می‌شود تا در جریان بررسی بودجه سالیانه مورد بحث قرار گیرد. در این مرحله، اعضای کنگره می‌توانند برنامه‌های جدیدی را به فهرست اضافه کنند یا برخی از موارد پیشنهادی را حذف نمایند. همچنین در هلند نیز، موضوع‌های گزارش‌های ارزشیابی به‌واسطه دستورالعمل ارزشیابی‌های دوره‌ای، مسائل مهم و روز خط‌مشی‌گذاری و نیاز به ارزشیابی‌های مشترک بین‌المللی انتخاب می‌گردند [17]. این فرایند اغلب تحت تأثیر ملاحظات سیاسی و اولویت‌های دولت قرار دارد، به‌طوری‌که برنامه‌هایی که با اهداف کلان دولت همسو هستند، شانس بیشتری برای انتخاب دارند [18]. در یک تقسیم‌بندی کلی، می‌توان دو رویکرد کلی را از گزارش‌های ارزشیابی در نظر گرفت: ارزشیابی پایانی (تجمیعی/دوره‌ای) و ارزشیابی تکوینی (بهبوددهنده). از یک‌سو، ارزشیابی «پایانی» به‌عنوان ابزاری برای ارزشیابی نتایج، میزان اثربخشی، کارایی و پاسخ‌گویی خط‌مشی‌ها عمل می‌کند؛ به‌ویژه در رابطه با نهادهایی مانند وزارت دارایی یا دیوان محاسبات که به‌دنبال ارزشیابی عملکرد و توجیه هزینه‌ها هستند. ازسوی دیگر، ارزشیابی «تکوینی»، امکان بازاندیشی را در اختیار خط‌مشی‌گذاران قرار می‌دهد و نقاط قوت و ضعف خط‌مشی‌ها را آشکار، بازخوردهایی درباره نحوه اجرا گردآوری و مسیرهایی برای اصلاح یا بازطراحی تدابیر موجود پیشنهاد می‌کند. این دو هدف نه‌تنها مکمل یکدیگرند، بلکه در عمل اغلب به‌صورت توأمان در یک فرایند ارزشیابی به‌کار گرفته می‌شوند و بدین‌ترتیب بستری برای ارتقای تدریجی خط‌مشی‌های عمومی فراهم می‌آورند [19]. (جدول 4).

جدول 4. مقایسه ارزشیابی تکوینی و پایانی [20] [21]

 پس از انتخاب موضوع منظر برای ارزشیابی و تبیین اهمیت آن، بررسی و ذکر اهداف کلان گزارش ارزشیابی مورد توجه قرار می‌گیرد. این گام از آن حیث حائز اهمیت است که تعیین‌کننده نقشه راه سایر مراحل تدوین گزارش ارزشیابی است. این اهداف شامل بررسی انسجام، ارتباط، کارایی، اثربخشی، تأثیرگذاری، پایداری و... هستند [17] (جدول 5).

جدول 5. سؤالات اساسی و چالش‌های بالقوه هر هدف [22]

همچنین به‌طور کل می‌توان رویکردهای ارزشیابی را شامل ارزشیابی عملکرد، ارزشیابی تأثیر، ارزشیابی هزینه‌های نهادی، ارزشیابی برنامه‌های عمومی، ارزشیابی انتشار و اجرا، ارزشیابی فرایند، ارزشیابی نتیجه و... دانست. بااین‌حال، تعدد و تنوع رویکردها متوقف بر این موارد نمی‌شود و متناسب بر حوزه‌های مختلف، به وجود می‌آیند (جدول 6).

جدول 6. انواع رویکردهای ارزشیابی [23]

هنگامی که خط‌مشی‌گذاران و ارزشیابان به گزینش هر یک از این رویکردها می‌پردازند، نگرشی خاص را نسبت موضوع مورد بررسی اتخاذ می‌کنند. برای مثال، بررسی اثربخشی خط‌مشی‌ها، مستلزم اتخاذ رویکرد ارزشیابی تأثیر است و رویکرد هزینه‌های نهادی/ اجرایی با هدف سنجش کارایی صورت می‌پذیرد. بااین‌حال، عمده گزارش‌های مورد بررسی در کشورهای مختلف، رویکردی چندگانه را اتخاذ می‌کنند و از چند بعد به ارزشیابی می‌پردازند؛ بااین‌حال، در برخی نهادها مانند «شورای ملی ارزشیابی خط‌مشی‌های توسعه اجتماعی» مکزیک، به اتخاذ رویکرد ارزشیابی می‌پردازد که درنتیجه، موضوع‌های مختلف از ابعاد مختلفی برحسب نیاز به‌صورت جداگانه مورد ارزشیابی قرار می‌گیرند.

چارچوب ارزشیابی در مکزیک که توسط «شورای ملی ارزشیابی خط‌مشی‌های توسعه اجتماعی» انجام می‌گیرد، از چندین نوع گزارش تخصصی تشکیل شده است که هر کدام بر جنبه‌های خاصی از عملکرد برنامه‌های فدرال تمرکز دارند. این تعدد گزارش‌ها نشان‌دهنده یک نظام ارزشیابی جامع و تخصصی است که تلاش دارد تمامی ابعاد طراحی، اجرا، نتایج و تأثیرات برنامه‌ها را بررسی کند. هر نوع ارزشیابی یک هدف خاص را دنبال می‌کند؛ برخی مانند ارزشیابی طراحی بر مرحله اولیه برنامه تمرکز دارند، درحالی‌که ارزشیابی تأثیر عمیق‌تر شده و نتایج واقعی مداخلات را با روش‌های دقیق تحلیل می‌کند. به همین ترتیب، ارزشیابی‌های عملکرد و فرایندی، مدیریت اجرایی را تقویت می‌کنند و ارزشیابی‌های استراتژیک به تصمیم‌گیرندگان اطلاعات لازم برای تنظیم خط‌مشی‌های کلان را ارائه می‌دهند. این رویکرد منسجم و چندلایه امکان بهینه‌سازی خط‌مشی‌ها و افزایش اثربخشی برنامه‌های عمومی را فراهم می‌کند. انواع گزارش‌های ارزشیابی در مکزیک شامل:

1. گزارش‌های ارزشیابی طراحی: این نوع ارزشیابی طی سال اول اجرای برنامه‌های جدید انجام می‌شود. هدف آن بررسی سازگاری طراحی برنامه با اهداف و مقررات است. داده‌ها از اسناد نظارتی، اطلاعات پوشش برنامه و مطالعات حضوری جمع‌آوری می‌شوند تا نقاط ضعف و قوت طراحی اولیه مشخص شود.

2. گزارش‌های ارزشیابی ثبات و نتایج: این ارزشیابی به‌طور سیستماتیک طراحی و عملکرد کلی برنامه‌های فدرال را تحلیل می‌کند و شامل شش بخش کلیدی است:

الف) طراحی: تحلیل منطق و سازگاری برنامه با سایر برنامه‌های ملی.

ب) برنامه‌ریزی استراتژیک: بررسی ابزارهای برنامه‌ریزی برای نتیجه‌گرایی.

پ) عملیات: ارزشیابی فرایندهای اجرایی و سازوکارهای پاسخ‌گویی.

ج) پوشش و هدف‌گذاری: بررسی استراتژی پوشش میان‌مدت و بلندمدت برنامه.

د) ادراک ذی‌نفع: سنجش میزان رضایت و تأثیرات بر جامعه هدف.

ه) نتایج: بررسی میزان دستیابی به اهداف اصلی برنامه.

3. گزارش‌های ارزشیابی ویژه: این نوع ارزشیابی به‌صورت اداری و میدانی انجام می‌شود و شامل بررسی اسناد هنجاری و ادبیات علمی توسط شورای ملی، اجرای طرح‌های آزمایشی، میزگردهای هم‌اندیشی و جلسات بازخورد با ذی‌نفعان و بررسی نتایج و گزارش‌های نهایی است.

4. گزارش‌های ارزشیابی عملکرد: یک گزارش خلاصه از عملکرد برنامه‌های اجتماعی طی یکسال مالی است که شامل نتایج (بررسی پیشرفت در حل مشکلات هدف)، محصولات (تحلیل میزان ارائه خدمات و کالاها)، بودجه (ارزشیابی تغییرات در تخصیص منابع)، پوشش (بررسی جمعیت هدف و میزان دستیابی به آنان) و نظارت بر جنبه‌های قابل بهبود (سنجش تعهدات برنامه در راستای بهبود عملکرد).

5. گزارش‌های ارزشیابی فرایند: تمرکز اصلی این گزارش‌ها بر میزان اثربخشی فرایندهای اجرایی برنامه‌ها است. اهداف کلیدی این رویکرد شامل تحلیل میزان کارآمدی اجرای عملیات و مدیریت، شناسایی نقاط قوت، ضعف، فرصت‌ها و تهدیدها و پیشنهاد راهکارهایی برای بهبود ساختار و اجرای برنامه‌ها است.

6. گزارش‌های ارزشیابی تکمیلی: این ارزشیابی اختیاری بوده و بنا به نیازهای سازمان‌ها و نهادها انجام می‌شود که هدف آن بهبود مدیریت و جمع‌آوری شواهد بیشتر درباره عملکرد برنامه‌هاست. شورای ملی مسئول بررسی شرایط مرجع این ارزشیابی‌هاست.

7. گزارش‌های ارزشیابی تأثیر: مهم‌ترین هدف این ارزشیابی، اندازه‌گیری آثار خالص برنامه‌های عمومی بر ذی‌نفعان است که از روش‌های دقیق آماری برای بررسی تغییرات شاخص‌های کلیدی درنتیجه اجرای برنامه، شناسایی تأثیر واقعی برنامه بر گروه‌های هدف، و تعیین شرایط لازم برای اجرای مؤثر ارزشیابی تأثیر استفاده می‌کند.

8. گزارش‌های ارزشیابی استراتژیک: این نوع ارزشیابی، تحلیل خط‌مشی‌ها و استراتژی‌ها در سطح برنامه یا مجموعه‌ای از برنامه‌ها را انجام داده و به تصمیم‌گیرندگان اطلاعات ارزشمندی برای بهبود طراحی خط‌مشی‌های عمومی و پاسخ‌گویی به مشکلات اجتماعی ارائه می‌دهد [24].

علاوه‌بر این، تعیین دامنه موضوعی ارزشیابی نیز حائز اهمیت است. بر این اساس، در یک تقسیم‌بندی کلی، ارزشیابی خط‌مشی‌ها را می‌توان در دو سطح خرد و کلان تقسیم کرد که هر یک به دلیل تفاوت در اهداف، روش‌های سنجش و نوع نتایج حاصل، باید به‌طور مستقل مورد مطالعه قرار گیرند. به‌عبارتی‌دیگر، سطوح مورد ارزشیابی و سطح شمولیت آن در پیگیری اهداف ذکر شده حائز اهمیت است. بااین‌حال، این تمایز نباید مانع از ایجاد یک چارچوب منسجم برای تلفیق این دو سطح شود تا تصویری جامع و کاربردی از تأثیرات خط‌مشی‌ها به دست آید. ارزشیابی خرد، تأثیرات خط‌مشی‌ها را بر واحدهای منفرد، اعم از افراد، گروه‌های خاص یا نهادهای کوچک، بررسی می‌کند. در این سطح، تمرکز اصلی بر سنجش تغییرات ایجادشده در متغیرهایی مانند شرایط اجتماعی، اقتصادی، بهداشتی و... افراد است. در مقابل، ارزشیابی کلان به تحلیل تأثیرات خط‌مشی‌ها در سطح جامعه، اقتصاد یا محیط‌زیست اختصاص دارد و به بررسی این نکته می‌پردازد که آیا اجرای یک خط‌مشی باعث تغییرات ساختاری یا افزایش پایداری بلندمدت شده است. اهمیت این سطح از ارزشیابی در آن است که تأثیرات خط‌مشی‌ها را فراتر از واحدهای منفرد بررسی کرده و پویایی‌های اجتماعی و اقتصادی کلان را لحاظ کند. یکی از چالش‌های اصلی در ارزشیابی کلان، شناسایی و تحلیل آثار جانبی و پیامدهای غیرمستقیم خط‌مشی‌هاست. برای نمونه، اثر جابه‌جایی زمانی رخ می‌دهد که یک خط‌مشی موجب بهبود شرایط یک گروه خاص شود، اما درعین‌حال، تأثیرات منفی بر سایر گروه‌ها برجای بگذارد. همچنین، اثر سرریز خط‌مشی‌ها به وضعیتی اشاره دارد که تصمیمات اتخاذشده در یک حوزه به‌طور غیرمستقیم بر سایر حوزه‌ها تأثیر مثبت یا منفی می‌گذارد. این نگاه نظام‌مند سبب شده است تا تحلیل تأثیرات زیست‌محیطی، فرهنگی و اجتماعی نیز ضروری تلقی شود؛ چراکه برخی خط‌مشی‌ها فراتر از نتایج مالی و اقتصادی، تأثیراتی عمیق بر پایداری اجتماعی و محیطی برجای می‌گذارند [25].

ارزشیابی، به‌عنوان فرایندی پیچیده و چندوجهی، زمانی سودمند خواهد بود که اهداف آن به‌صورت متفکرانه و در چارچوبی نظام‌مند اعمال شوند. استفاده از اهداف ارزشیابی نباید به رویکردی مکانیکی و سطحی تبدیل شود، بلکه باید با توجه به ماهیت و اهداف مداخله، تحلیل دقیق و عمیقی از داده‌ها ارائه دهد. بر این اساس، انتخاب متفکرانه اهداف، مستلزم انعطاف‌پذیری در شیوه اعمال آنها، تطبیق با زمینه اجرایی و لحاظ کردن پیچیدگی‌های محیطی و نهادی است. این موضوع سبب می‌شود تا توجه به پویایی‌های زمینه‌ای در ارزشیابی تأکید قرارگیرد و اگر اهداف به‌صورت انعطاف‌ناپذیر و بدون در نظر گرفتن شرایط خاص هر مداخله اعمال شوند، امکان استخراج اطلاعات دقیق و مرتبط از بین خواهد رفت. علاوه‌بر این، همان‌طور که پیش‌تر عنوان شد، اهداف ارزشیابی باید در تعامل با یکدیگر اعمال شوند، چراکه هر هدف، بخشی از یک زنجیره پیچیده تحلیل را تشکیل می‌دهد. به‌عنوان نمونه، بررسی اثربخشی یک برنامه بدون توجه به انسجام و ارتباط آن با سایر مداخلات، تصویری ناقص و گمراه‌کننده از عملکرد واقعی آن ارائه خواهد کرد. بنابراین، ارزشیابان باید در فرایند ارزشیابی، روابط میان اهداف را به‌صورت یکپارچه تحلیل کنند و یافته‌های خود را در چارچوبی جامع و منسجم ارائه دهند. علاوه‌بر این، یکی از چالش‌های رایج در فرایند ارزشیابی، استفاده از تمام اهداف به‌طور هم‌زمان، بدون در نظر گرفتن هدف اصلی ارزشیابی است. بر این اساس، ارزشیابی نباید به‌صورت یک قالب ثابت و غیرقابل تغییر اعمال شوند، بلکه باید براساس نیازهای خاص ارزشیابی انتخاب شوند. بر این اساس، هر مداخله بسته به ماهیت و زمینه اجرایی خود، نیاز به تحلیل برخی اهداف بیش از سایرین داشته باشد. علاوه‌بر این، باید توجه داشت که استفاده از اهداف نامرتبط می‌تواند به تحلیل‌های غیرضروری و اتلاف منابع منجر شود. به‌عنوان نمونه، در ارزشیابی یک خط‌مشی مالیاتی، معیار انسجام ممکن است از اهمیت بالاتری برخوردار باشد، زیرا بررسی همخوانی نظام مالیاتی با سایر خط‌مشی‌های اقتصادی و اجتماعی تعیین‌کننده موفقیت آن خواهد بود. در مقابل، تمرکز بیش‌ازحد بر کارایی بدون بررسی تأثیرات اجتماعی و اقتصادی می‌تواند به نتایجی ناقص و محدود منجر شود. بنابراین، ارزشیابان باید معیارهای مناسب را به‌گونه‌ای انتخاب کنند که به درک بهینه از عملکرد و پیامدهای مداخله کمک کند [22]. این اصول سبب شده است تا رویکردهای اتخاذی در گزارش‌های ارزشیابی در میان کشورها و نهادهای مختلف تفاوت ایجاد شود. برای مثال در برخی از کشورها گزارش‌های ارزشیابی عملکرد و هزینه اجرایی بر ارزشیابی نتایج و تأثیرات غلبه دارد و در برخی کشورها مانند کره جنوبی، 50 درصد از گزارش‌های ارزشیابی ناظر بر بررسی احساس تأثیر مداخله توسط شهروندان هستند [26].

2ـ2ـ3. تدوین چارچوب نظری ارزشیابی

دومین گام در تدوین گزارش‌های ارزشیابی، تدوین چارچوب نظری ارزشیابی متناسب با موضوع مورد بررسی است. در تدوین گزارش‌های ارزشیابی در حوزه‌های مختلف، مطالعه و اتخاذ چارچوب‌های نظری متناسب با هر حوزه از اهمیت بسیاری برخوردار است. نقش و اهمیت چارچوب نظری در فرایند ارزشیابی، در تعیین اصول و مفاهیم کلیدی ارزشیابی، ارائه مبانی علمی و نظری برای ارزشیابی خط‌مشی، تعریف رابطه میان اهداف خط‌مشی، سازوکارهای اجرا و نتایج مورد انتظار است [1]. نظریات هنجاری نقش مهمی در چارچوب نظری ایفا می‌کنند. ارزشیابی هنجاری در خط‌مشی‌گذاری، ابزاری ضروری برای درک عمیق‌تری از اهداف، ارزش‌ها و منطق پشت خط‌مشی‌هاست. این نوع تحلیل به ما امکان می‌دهد فراتر از شاخص‌های عددی و داده‌های فنی، به اصول اخلاقی، سیاسی و حقوقی‌ای بنگریم که در طراحی و اجرای خط‌مشی‌ها نقش دارند. یکی از مهم‌ترین مزایای این نظریات، روشن ساختن این مسئله است که هر خط‌مشی بر پایه مجموعه‌ای از ارزش‌ها و قضاوت‌های اخلاقی شکل گرفته است که نظریه هنجاری ارزش‌های ضمنی را به سطح آورده و مورد نقد و بررسی قرار می‌دهد. ترکیب تحلیل فنی با تحلیل هنجاری، منجر به تصمیم‌گیری‌هایی می‌شود که نه‌تنها مبتنی‌بر داده بلکه بر اصول اخلاقی نیز استوارند. این رویکرد جامع، از خط‌مشی‌هایی پشتیبانی می‌کند که نه‌تنها قابل اندازه‌گیری بلکه قابل دفاع نیز هستند. بر این اساس، این نوع تحلیل نقش محوری در ایجاد گفت‌وگویی جدی میان فلسفه، خط‌مشی و عمل ایفا می‌کند. گفت‌وگویی که موجب می‌شود خط‌مشی‌گذاری نه صرفاً یک فرایند تکنوکراتیک، بلکه بازتابی از ارزش‌های مشترک و دغدغه‌های عمیق انسانی باشد. بدون تحلیل هنجاری، ارزشیابی‌ها صرفاً به سطح داده‌ها و شاخص‌های فنی محدود می‌شوند و توانایی خود را در پاسخ به پرسش‌های بنیادین درباره عدالت، مشروعیت و توزیع منصفانه قدرت و منابع از دست می‌دهند. در چنین حالتی، ممکن است خط‌مشی‌ها به‌ظاهر موفق یا مؤثر، درواقع ناعادلانه، تبعیض‌آمیز یا مغایر با ارزش‌های انسانی باشند. این نکات سبب شده است تا وجود چارچوب نظری در گزارش‌ها و فرایند ارزشیابی نه یک گزینه فرعی، بلکه یک ضرورت باشند تا خط‌مشی‌ها هم ازنظر کارکردی و هم از منظر ارزشی، قابل دفاع، پاسخ‌گو و پایدار باشند [27]. این مرور نظری و بررسی دستگاه مفهومی در هر حوزه، سبب نیل به «مدلی منطقی» از موضوع و حوزه مدنظر می‌شود. این مدل به‌مثابه یکی از ارکان اساسی طراحی و اجرای ارزشیابی معرفی می‌شود که نقشی بنیادین در نظام‌مند ساختن زنجیره مفهومی میان ورودی‌های یک برنامه، فعالیت‌ها، خروجی‌ها، پیامدهای میان‌مدت و آثار بلندمدت ایفا می‌کند. درواقع، مدل منطقی به‌منزله ابزاری تحلیلی و مفهومی، امکان این را فراهم می‌کند تا روابط علّی مورد انتظار در سازوکار تحقق اهداف یک مداخله عمومی، به‌صورتی شفاف بازنمایی و آزموده شود. از منظر زمانی، این مدل از اهمیت بالایی برخوردار است؛ چراکه به ارزشیاب کمک می‌کند تا افق‌های زمانی ظهور آثار را درک کرده و زمان‌مندی مناسبی برای مداخله‌های ارزشیابی، به‌ویژه در تمایزگذاری میان پیامدهای فوری، میان‌مدت و بلندمدت تعیین کند. از حیث روش‌شناختی نیز، مدل منطقی به‌مثابه چارچوبی برای تدوین سؤالات ارزشیابی، انتخاب روش‌های گردآوری و تحلیل داده‌ها و نیز تفسیر یافته‌ها عمل می‌کند. در طراحی‌های شبه‌آزمایشی، جایی‌که امکان تخصیص تصادفی وجود ندارد، مدل منطقی امکان بازسازی مسیرهای علی را از منظر نظری فراهم می‌سازد، به‌نحوی که ارزشیاب بتواند با اتکا به داده‌های تجربی، فرضیات علّی را به محک آزمون بگذارد. همچنین نکته حائز اهمیت در این مدل، ضرورت تعامل میان ذی‌نفعان و بازیگران کلیدی است که در طول چرخه حیات برنامه انجام می‌گیرد [28]. وجود چنین رویکرد نظری، سبب ارزشیابی واقع‌گرایانه می‌شود که به‌دنبال فهم علت‌ها و شرایط موفقیت یا ناکامی برنامه‌ها در زمینه‌های متنوع است. این روش برخلاف ارزشیابی‌های کلاسیک که صرفاً به ارزشیابی میزان اثربخشی یک مداخله می‌پردازند، تمرکزش را بر درک نحوه اثرگذاری آن در زمینه‌های مختلف و برای گروه‌های متفاوت از مخاطبان قرار می‌دهد [29].

نکات ذکر شده سبب شده است تا عمده گزارش‌های ارزشیابی در بخش‌های مختلف و به تناسب حوزه مرتبط انجام شود. بر این اساس، به‌دلیل آشنایی هر بخش با موضوع‌ها، الزامات، بایدها و نبایدهای حوزه مربوط به خود، ساختار نظری ارزشیابی در بهینه‌ترین حالت خود قرار می‌گیرد و براساس همین ساختار، سایر فرایندهای تدوین گزارش مانند روش‌های جمع‌آوری، تحلیل اطلاعات و نتایج تعیین می‌شود. ازاین‌رو، مطالعات تجربی گویای آن است که گزارش‌های ارزشیابی در وزارتخانه‌های ژاپن براساس چارچوب نظری مختص به آن حوزه تدوین می‌شوند و در بریتانیا نیز از ابزارهای مختص برای هر حوزه استفاده می‌شود.

3ـ2ـ3. شناسایی ابزارهای جمع‌آوری اطلاعات و شاخص‌های ارزشیابی

دومین گام در فرایند تدوین گزارش ارزشیابی، تعیین شناسایی ابزارها و شاخص‌های ارزشیابی است. همان‌طور که پیش‌تر عنوان شد، ابزارها و شاخص‌های ارزشیابی تا میزان زیادی متأثر از اهداف کلی ارزشیابی، رویکرد ارزشیابی و چارچوب نظری اتخاذ شده هستند. برای مثال، گزارش‌هایی که هدف از تدوین آنها بررسی اثربخشی خط‌مشی‌ها است، به‌احتمال بیشتری در محیط‌های کنترل شده و ازطریق روش شبه آزمایشی به نسبت گزارش‌هایی با هدف ارزشیابی کارایی، مورد بررسی قرار می‌گیرند. همچنین هنگامی که رویکرد اتخاذی ناظر بر ارزشیابی هزینه‌ای باشد، احتمال استفاده از روش‌ها و شاخص‌های کمی در آن به‌نسبت رویکردهای ارزشیابی تأثیر و نتایج بیشتر است. همچنین چارچوب نظری و پارادایم اتخاذی نیز نقش مهمی در ابزار و شاخص‌های انتخابی دارند. بر این اساس، پارادایم «اثبات‌گرایی»، معمولاً از ابزارهای کمی برای تحلیل داده‌ها استفاده می‌شود. این ابزارها شامل آزمون‌های آماری، تحلیل رگرسیون و روش‌های شبه‌آزمایشی مانند «تطبیق نمرات گرایش» و تحلیل تفاوت در تفاوت‌ها هستند. این روش‌ها به ارزشیابان امکان می‌دهد تا آثار یک مداخله را با دقت بالا اندازه‌گیری کنند و ازطریق کنترل متغیرهای مداخله‌گر، نتایج را به جمعیت‌های گسترده‌تری تعمیم دهند. در مقابل، در پارادایم تفسیرگرایی، به‌دلیل تأکید بر درک تجربیات و زمینه‌ها از نگاه ذی‌نفعان، استفاده از ابزارهای کیفی رواج دارد. این ابزارها شامل «مصاحبه‌های عمیق» و «مشاهده مشارکتی» هستند. این روش‌ها به ارزشیابان امکان می‌دهند تا پیچیدگی‌های اجتماعی و فرهنگی یک مداخله را درک کنند و به‌جای تمرکز صرف بر داده‌های عددی، به تفسیر فرایندها و معانی نهفته در رفتارها و تعاملات بپردازند. بااین‌حال در بسیاری از موارد، با ترکیب این دو رویکرد در قالب «روش‌های ترکیبی»، می‌تواند اعتبار درونی یافته‌ها و غنای تفسیری آنها را تقویت کرد [28]. به‌طور کل، ابزارهای جمع‌آوری اطلاعات را می‌تواند شامل آزمایش‌های طبیعی، روش‌های نیمه‌تجربی، روش‌های تجربی[30]، گروه‌های متمرکز، مطالعات میدانی (نمونه‌برداری از آب، خاک، هوا)، نظرسنجی‌ها و جلسات مشورتی[31] و... دانست. همچون ابزار جمع‌آوری اطلاعات، شاخص‌های ارزشیابی نیز به‌تناسب هدف، رویکرد و چارچوب نظری اتخاذی، اشکال مختلفی به خود می‌گیرند. شاخص‌های ارزشیابی می‌توانند از شیوه‌های مختلفی انتخاب یا تدوین شوند. همچنین، این شاخص‌ها باید مشخص، قابل اندازه‌گیری، قابل دستیابی، مرتبط و دارای محدودیت زمانی باشند [1].

4ـ2ـ3. تحلیل یافته‌ها

مانند مرحله پیشین، این مرحله نیز به تأثّر از مراحل گذشته تعیین و انجام می‌شود. شیوه‌های تحلیل اطلاعات را می‌توان به دو دسته کلی شیوه‌های کمی و کیفی دسته‌بندی کرد که روش‌های به‌دلیل سهولت، از محبوبیت بیشتری در تحلیل داده‌ها برخوردارند. روش‌ها کمی شامل تحلیل رگرسیونی، مدل‌های اقتصادسنجی مثل متغیرهای ابزاری، تحلیل تفاضلی[30]، تحلیل روند، تحلیل همبستگی، تحلیل هزینه- فایده، تحلیل بهره‌وری منابع [32] و... است. انتخاب هر کدام از این روش‌های تحلیل، متأثر از روش‌های جمع‌آوری اطلاعات و رویکرد روش‌شناختی اتخاذی است. بر این اساس، در طراحی‌های شبه‌آزمایشی، ابزارهایی مانند «مدل‌سازی ساختاری» و «تحلیل چندمتغیره» برای کنترل سوگیری انتخاب ضروری هستند [28]. علاوه‌بر این برخی دیگر از روش‌ها مانند تحلیل SWOT، تحلیل مضمون، تحلیل محتوا و... نیز وجود دارند که عمدتاً کیفی هستند [32]. بااین‌حال، گزارش‌های ارزشیابی برای تحصیل اطمینان از صحّت تحلیل، به روش‌های ترکیبی دست می‌زنند. علاوه‌بر این، روش‌های ارزشیابی تأثیرات بلندمدت مانند تحلیل حساسیت، مدل‌سازی و سناریونویسی نیز در گزارش‌ها با هدف پیش‌بینی آثار آتی مداخلات نیز انجام می‌گیرد [1]. برای مثال، تحلیل حساسیت به شناسایی متغیرهای کلیدی در مدل‌های ارزشیابی ریسک کمک می‌کند و می‌تواند برای اولویت‌بندی تحقیقات و جمع‌آوری داده‌ها مورد استفاده قرار گیرد. این مدل تحلیلی ازطریق شناسایی سناریوهای آینده به ارزشیابی بلندمدت کمک می‌کند. بر این اساس، این روش به تصمیم‌گیران اجازه می‌دهد تا خط‌مشی‌های مقاوم در برابر تغییرات طراحی کنند و تأثیرات سناریوهای مختلف بر پایداری مدل‌ها را بررسی کنند [33]. علاوه‌بر نکات فوق، باید توجه داشت که با وجود تشابهات میان ابزارهای ارزشیابی اقتصادی با ارزشیابی خط‌مشی، تفاوت‌های آشکاری میان این دو وجود دارد که عدم درک آن سبب انحراف روش‌شناختی گزارش‌های ارزشیابی از مسیر صحیح آن می‌شود. تفاوت میان ارزشیابی اقتصادی و ارزشیابی خط‌مشی را می‌توان به‌عنوان تمایز میان دو منطق تحلیلی با اهداف، روش‌ها، نوع داده‌ها و تحلیل داده‌ها و زمان‌بندی متفاوت در فرایند خط‌مشی‌گذاری مشاهده کرد [15].

5ـ2ـ3. تحلیل نتایج ارزشیابی و ارائه پیشنهاد‌ها

یکی از مهم‌ترین گام‌های تدوین گزارش ارزشیابی، تحلیل نهایی نتایج ارزشیابی است. در این گام، یافته‌های حاصله از مرحله پیشین مورد تجزیه‌وتحلیل نهایی قرار می‌گیرند تا هدف اصلی ارزشیابی محقق شود. این گام نیز همچون گام‌های پیشین متأثر از اهداف و رویکردهای تعیین شده برای گزارش ارزشیابی است و سوا لاتی که در این مرحله به آنها پاسخ داده می‌شود تا میزان زیادی منتج از اهداف گزارش ارزشیابی است (جدول 7). هرچند که در گام چهارم، بخش عمده‌ای از تحلیل داده‌ها انجام شده است؛ بااین‌حال در مرحله پنجم، ارزشیابان با هدف عینیت‌بخشی، قابل فهم‌سازی یافته‌ها و آماده‌سازی برای نتیجه‌گیری نهایی به برخی اقدام‌های تحلیلی نتایج می‌پردازند. مواردی مانند مقایسه نتایج ارزشیابی پیشینی و نتایج حاصله در ارزشیابی پسینی، مقایسه دوره‌های زمانی قبل و بعد از مداخله (تحلیل مقایسه‌ای)، بررسی نحوه تأثیر خط‌مشی بر گروه‌های مختلف اجتماعی و مناطق جغرافیایی (تحلیل توزیعی)، تدوین جداول و گراف‌ها و... ازجمله این اقدام‌ها محسوب می‌شوند. در این مرحله، ارزشیابان ضمن پاسخ به ‌سؤالات مدنظر گزارش ارزشیابی، به اظهار نظر نهایی درمورد موفقیت یا شکست مداخله می‌پردازد. این مهم از طریق آسیب‌شناسی دقیق موضوع منتج می‌شود تا توصیه‌هایی کارآمد مبنی بر ادامه، اصلاح و حذف قوانین پیشنهاد شود.

علاوه‌بر این، یکی از نکات حائز اهمیت در تحلیل نتایج گزارش‌های ارزشیابی، تحلیل موضوعی نتایج است. بر این اساس نتایج در ابعاد اجتماعی، زیست‌محیطی، اقتصادی و... برای درک تأثیرات واقعی یک مداخله مورد بررسی و تحلیل قرار می‌گیرند. این مهم به‌دلیل تأثیر متقابل این ابعاد بر یکدیگر و برای ارزشیابی پایداری و کارآمدی خط‌مشی‌ها انجام گیرد. بر این اساس، این ابعاد نباید به شکل جداگانه مورد بررسی قرار گیرند و در تعامل با یکدیگر به‌دقت تحلیل شود. این ارتباط میان ابعاد مختلف ارزشیابی، به تصمیم‌گیران کمک می‌کند تا خط‌مشی‌هایی را تدوین کنند که نه‌تنها در کوتاه‌مدت نتایج مطلوبی داشته باشند، بلکه در بلندمدت نیز پایدار و عادلانه باقی بمانند [34].

علاوه‌بر این، ارائه توصیه‌هایی مبتنی‌بر نتایج و یافته‌ها از اهمیت بالایی برخوردار است. به‌طور کل این پیشنهاد‌ها می‌توانند ناظر بر اصلاح خط‌مشی‌ها، لغو کامل آن یا ادامه دادن به آن باشند. این پیشنهاد‌ها منتج از تحلیل‌های فنی و هنجاری اجرا شده در ارزشیابی است. همان‌طور که عنوان شد، صرف توجه به کارایی و اثربخشی خط‌مشی‌ها سبب غفلت از اصول اخلاقی می‌شود. بر این اساس، در تهیه و ارائه پیشنهاد‌ها، توجه به اصول اخلاقی و هنجاری در کنار توجه به تحلیل‌های فنی انجام شده حائز اهمیت است [27].

جدول 7. انواع رویکردهای ارزشیابی و سؤالات محوری آن [5] [18]

یکی از نکات مهم در صورت نگارش گزارش‌های ارزشیابی، اختصار، تمرکز و قابل‌فهم بودن گزارش‌ها برای تصمیم‌گیران است. بااین‌حال، فراوانی اطلاعات فنی، داده‌های خام، ابزارهای پژوهش و جزئیات روش‌شناسی برای درک عمیق‌تر یافته‌ها ضروری هستند. ازاین‌رو، تدوین پیوست برای تکمیل گزارش‌ها از اهمیت برخوردار می‌شود. به‌طور کل پیوست‌ها چند کارکرد کلیدی را برعهده دارند که شامل افزایش شفافیت و قابلیت بازتولید، مستندسازی داده‌های خام و تحلیل‌های تکمیلی، پشتیبانی از اعتبار نتیجه‌گیری‌ها، ارائه اطلاعات مرجع و اسناد پشتیبان و مدیریت حجم گزارش است. بر این اساس، پیوست‌ها با درج ابزارهای گردآوری داده (مثل پرسش‌نامه‌ها، راهنمای مصاحبه، چارچوب‌های تحلیلی)، داده‌های آماری، جداول طولانی، نتایج تحلیل‌های رگرسیون یا تحلیل حساسیت، تدوین چارچوب‌های منطقی و... سعی در نیل به اهداف و کارکردهای ذکر شده دارند [35].

6ـ2ـ3. بررسی کیفیت گزارش‌ها

یکی از مهم‌ترین اقدام‌هایی که در تدوین گزارش‌های ارزشیابی انجام می‌گیرد که به‌موجب آن گزارش‌ها نهایی می‌شوند، بررسی کیفیت گزارش‌هاست. این بخش در شکل نهایی گزارش‌های ارزشیابی پنهان است و پس از انجام آن این گزارش‌ها نهایی و منتشر می‌شوند. روش‌های مختلفی برای بررسی کیفیت گزارش‌ها وجود دارد که در اصول کلی خود با یکدیگر مشترک هستند. از این مرحله می‌توان تحت عنوان «متاارزشیابی یا ارزشیابی ارزشیابی‌ها» نام برد. در این مرحله، ارزشیابی‌ها باید ازنظر روش‌شناسی، شفافیت، بی‌طرفی و استفاده‌پذیری مورد بررسی قرار گیرند. این بررسی می‌تواند در قالب بازبینی داخلی توسط تیم ارزشیاب یا ازطریق ارزشیابی مستقل توسط نهاد ثالث انجام شود. هدف از این کار، اطمینان از کارآمدی ارزشیابی‌ها در بهبود تصمیم‌گیری خط‌مشی، قابل اتکا بودن یافته‌های آنها و مطابقت فرایند ارزشیابی با استانداردهای حرفه‌ای است [36]. برای مثال، دفتر مقابله با تروریسم سازمان ملل، بررسی کیفیت گزارش‌ها طی 5 مرحله انجام می‌شود. در گام نخست، گزارش‌های مورد بازبینی داخلی قرار می‌گیرند. در این گام ارزشیابی توسط ارزشیابان مستقل داخل سازمان بررسی می‌شود. هر گزارش ارزشیابی باید حداقل دو مرحله بررسی داخلی را پشت سر بگذارد و با معیارهایی مانند اعتبار داده‌ها، انسجام تحلیل‌ها و رعایت اصول روش‌شناسی تحلیل شود. گام بعدی، تشکیل گروه‌های مشورتی است. گروه‌های مشورتی شامل نمایندگان سازمان ملل، کارشناسان مستقل و ذی‌نفعان دولتی هستند. این گروه‌ها پیشنهادهای اصلاحی ارائه داده و کنترل کیفیت داده‌ها و یافته‌ها را تضمین می‌کنند. در گام سوم دفتر خدمات نظارت داخلی سازمان ملل به نظارت بر گزارش‌ها و میزان رعایت استانداردهای سازمان ملل ارزشیابی می‌پردازد. سپس، گزارش‌های مورد بررسی دوباره توسط کارشناسان بین‌المللی مستقل قرار می‌گیرد. درنهایت، گزارش‌های ارزشیابی براساس روش‌های علمی و قابل استناد مانند اعتبارسنجی داده‌ها، تحلیل آماری و نظرسنجی‌های مستقل و بررسی میدانی در کشورهایی که برنامه‌ها اجرا شده‌اند مورد بررسی قرار می‌گیرند [37]. علاوه‌بر این، وزارت امور خارجه هلند نیز مطابق دستورالعمل ذکر شده به بررسی گزارش‌ها می‌پردازد و در گام نهایی، با هدف بهبود روش‌شناسی، افزایش دقت و ارتقای شفافیت به ارزشیابی داخلی عملکرد در سازمان خود دست می‌زنند [17]. در کشور پرتغال نیز، تضمین کیفیت گزارش‌های ارزشیابی خط‌مشی‌های عمومی نه به‌صورت یک مرحله مجزا، بلکه به‌عنوان یک اصل فراگیر در سراسر فرایند ارزشیابی در نظر گرفته شده است. این تضمین کیفیت ازطریق مجموعه‌ای از اقدام‌های ساختاری، روش‌شناختی و اخلاقی دنبال می‌شود که هدف آن ارتقای اعتبار، شفافیت و اثربخشی ارزشیابی‌هاست. بر این اساس، در گام نخست، کیفیت ازطریق طراحی دقیق و شفاف فرایند ارزشیابی تضمین می‌شود. این طراحی شامل تدوین یک برنامه ارزشیابی یا «شرایط مرجع» است که در آن اهداف، سؤالات ارزشیابی، روش‌ها، منابع اطلاعاتی، تیم ارزشیابی، بودجه و زمان‌بندی به‌طور دقیق مشخص می‌شوند. این سند پایه‌ای، نه‌تنها مسیر ارزشیابی را روشن می‌سازد، بلکه امکان ارزشیابی کیفیت خود فرایند را نیز فراهم می‌کند. در مرحله اجرا، کیفیت به‌واسطه انتخاب روش‌های مناسب و متناسب با اهداف ارزشیابی حفظ می‌شود. روش‌ها باید با توجه به نوع خط‌مشی، منابع موجود و نوع داده‌ها انتخاب شوند. همچنین، تحلیل داده‌ها باید با تکنیک‌هایی انجام شود که ازنظر علمی معتبر و ازنظر عملی قابل اجرا باشند. در این میان، شفاف‌سازی محدودیت‌های روش‌شناختی نیز بخشی از تضمین کیفیت تلقی می‌شود. عنصر مهم دیگر، مشارکت ذی‌نفعان در مراحل مختلف ارزشیابی است. این مشارکت نه‌تنها به غنای داده‌ها و تحلیل‌ها کمک می‌کند، بلکه باعث می‌شود نتایج ارزشیابی برای مخاطبان مختلف قابل فهم و قابل استفاده باشد. درنهایت، کیفیت ارزشیابی ازطریق بازبینی‌های ساختاریافته مانند ارزشیابی ارزشیابی‌ها و «بازبینی همتا» تقویت می‌شود. این ابزارها امکان تحلیل انتقادی ارزشیابی‌های انجام‌شده را فراهم می‌کنند و به نهادهای خط‌مشی‌گذار کمک می‌کنند تا از تجربیات گذشته برای بهبود فرایندهای آینده بهره بگیرند [38].

7ـ2ـ3. انتشار و کاربست نتایج ارزشیابی

به‌کارگیری نتایج ارزشیابی در خط‌مشی‌گذاری نقش محوری در ارتقای تصمیم‌گیری‌های مبتنی‌بر شواهد دارد. ارزشیابی نه‌تنها ابزار نظارت، بلکه ابزاری برای یادگیری و بهبود مستمر است. این روند نه‌تنها موجب بهبود عملکرد سیستم‌های اجرایی می‌شود، بلکه به بازنگری اهداف و اولویت‌ها براساس نتایج واقعی کمک می‌کند. استفاده از یافته‌های ارزشیابی همچنین به افزایش پاسخ‌گویی و شفافیت خط‌مشی‌ها منجر می‌شود. اشتراک‌گذاری نتایج با ذی‌نفعان و عموم جامعه، اعتماد عمومی را تقویت کرده و خط‌مشی‌گذاران را به اتخاذ تصمیمات مسئولانه‌تر ترغیب می‌کند. ازسوی دیگر، گزارش‌های ارزشیابی ابزاری برای تطبیق خط‌مشی‌ها با تغییرهای محیطی و اجتماعی هستند. تغییرهای اقتصادی، اجتماعی و فناورانه می‌توانند اثربخشی خط‌مشی‌ها را تحت تأثیر قرار دهند. بر این اساس، ارزشیابی مستمر امکان بازبینی و انعطاف‌پذیری خط‌مشی‌ها را فراهم می‌کند تا تصمیم‌ها با مقتضیات جدید هماهنگ شوند [39].

یکی از نکات مهم در این گام، حضور ارزشیاب به‌مثابه «تسهیل‌گر تصمیم‌گیری» و نه «قضاوت‌گر» است. براین اساس باید ارزشیاب را به‌عنوان یک مشاور و راهنما در نظر گرفت تا بتواند خط‌مشی‌گذار را به‌صورت دقیق و با علم به مراحل اجرای خط‌مشی، راهنمایی کند و او را از سوگیری و خطاهای احتمالی دور سازد [40]. علاوه‌بر این، باید توجه داشت که نتایج ارزشیابی عمدتاً توأمان با پیشنهاد‌هایی در جهت تقویت، اصلاح یا حذف کامل یا بخشی از خط‌مشی‌های مورد بررسی هستند؛ بااین‌حال باید توجه داشت که صرف تبیین ضرورت کاربست نتایج ارزشیابی، به انجام این مهم منتج نمی‌شود و اجرایی‌سازی این مهم مستلزم به‌کارگیری راهبردهایی است. بر این اساس، برای اینکه نتایج ارزشیابی و توصیه‌های منتج از آن به مرحله اجرا برسند و صرفاً در سطح گزارش باقی نمانند، باید مجموعه‌ای از الزامات نهادی، مدیریتی و ارتباطی به‌صورت هماهنگ و نظام‌مند فراهم شود. ازاین‌رو، تحقق عملیاتی توصیه‌ها، نه صرفاً به کیفیت فنی ارزشیابی، بلکه به ظرفیت نهادی برای استفاده از نتایج و تبدیل آنها به اقدام نیز بستگی دارد. بر این اساس در گام نخست، طراحی ارزشیابی با هدف استفاده و کاربست نتایج آن حائز اهمیت است. علاوه‌بر این، زمان‌بندی ارزشیابی نقشی تعیین‌کننده‌ای در اجراسازی توصیه‌ها بر عهده دارد. اگر نتایج ارزشیابی پس از بسته شدن بودجه یا اتخاذ تصمیمات کلیدی منتشر شود، حتی دقیق‌ترین توصیه‌ها نیز بی‌اثر خواهند بود. بنابراین، ارزشیابی باید به‌گونه‌ای برنامه‌ریزی شود که نتایج آن در زمان مناسب، به‌ویژه در فرایندهایی مانند تدوین بودجه، بازنگری برنامه‌ها یا اصلاح خط‌مشی‌ها، در اختیار خط‌مشی‌گذاران قرار گیرد. از منظر محتوایی نیز، توصیه‌ها باید به‌گونه‌ای تدوین شوند که قابلیت ترجمه به اقدام‌های اجرایی را داشته باشند. بنابراین، توصیه‌های کلی و انتزاعی، هرچند ازنظر تحلیلی ارزشمندند، اما در عمل راه به جایی نمی‌برند. بر این اساس آنچه مورد نیاز است، توصیه‌هایی است که به اقدام‌های مشخص، زمان‌مند و مسئولیت‌پذیر تبدیل شوند. این همان چیزی است که در قالب «برنامه اقدام» مطرح می‌شود. در کنار این موارد، وجود سازوکارهای نهادی برای پیگیری و پاسخ‌گویی ضروری است. در برخی موارد، نتایج ارزشیابی به‌صورت رسمی در فرایند بودجه‌ریزی لحاظ می‌شود یا ازطریق مصوبات دولتی، ضمانت اجرایی می‌یابد [28]. برای مثال، 71 درصد از کشورهای عضو سازمان همکاری‌های اقتصادی و توسعه، از نتایج ارزشیابی در تصمیمات بودجه‌ای کشور استفاده می‌کنند [7]. علاوه‌بر این، ارتباطات و انتشار هدفمند نتایج نیز حائز اهمیت است. ازاین‌رو، یافته‌های ارزشیابی باید به زبان ساده، با ابزارهای متنوع و متناسب با مخاطب، منتشر شوند. همچنین، ایجاد سازوکارهای بازخورد و یادگیری نهادی، به‌ویژه ازطریق جلسات بازنگری و گزارش‌دهی ادواری، موجب پویایی و پایداری فرایند اجرای توصیه‌ها خواهد شد [28].

به‌طور کلی، نتایج گزارش‌های ارزشیابی به‌طرق مختلفی برای ساختار حکمرانی دارای اهمیت هستند که شامل متقاعدسازی دولت جدید به ادامه برنامه‌های دولت قبلی، پیش‌بینی نیازهای مالی آینده، آگاه‌سازی نهادها نسبت به مشکلات موجود، آگاه‌سازی جامعه مدنی در جهت ایجاد اهرم فشار بر سازمان‌های دولتی، فراهم‌سازی پوشش سیاسی جهت اخذ تصمیمات حساس سیاسی توسط دولت، مستندسازی مشکلات موجود و... . علاوه‌بر این، کشورهای مختلف در جهان به شیوه‌های مختلفی به استفاده از نتایج گزارش‌های ارزشیابی می‌پردازند که برخی از این موارد در ذیل عنوان شده است:

کلمبیا

کلمبیا یکی از کشورهایی است که توانسته ارزشیابی را به‌طور مستقیم در فرایند تصمیم‌گیری‌های ملی و بودجه‌ریزی ادغام کند. این کشور ابتدا ارزشیابی‌های پراکنده‌ای انجام می‌داد، بااین‌حال با گذشت زمان، یک چارچوب نظام‌مند برای ارزشیابی‌های دولتی ایجاد کرد. نظام «سیستم ملی ارزشیابی و مدیریت برای نتایج»، که توسط وزارت برنامه‌ریزی مدیریت می‌شود، ارزشیابی‌های مبتنی‌بر داده را به فرایندهای خط‌مشی‌گذاری و تخصیص منابع متصل کرده است. این نظام از ارزشیابی‌های اقتصادی و اجتماعی برای بررسی اثربخشی برنامه‌های دولتی استفاده می‌کند و یافته‌های آن مستقیماً در تصمیمات بودجه‌ای و اصلاحات خط‌مشی به کار گرفته می‌شود [28].

مکزیک

مکزیک یکی از نمونه‌های موفق در نهادینه‌سازی ارزشیابی در سطح ملی محسوب می‌شود. این کشور با ایجاد نظام ارزشیابی اجتماعی، ارزشیابی را به‌عنوان یک ابزار کلیدی در تصمیم‌گیری‌های خط‌مشی و تخصیص منابع به کار گرفته است. مکزیک از ارزشیابی‌های منظم برای بررسی اثربخشی برنامه‌های اجتماعی خود استفاده کرده و حتی قوانینی را برای الزام به انجام ارزشیابی‌های دوره‌ای تصویب کرده است. یکی از مهم‌ترین نمونه‌های عملیاتی‌سازی توصیه‌های ارزشیابی در مکزیک، برنامه PROGRESA  است که از ارزشیابی‌های دقیق برای اصلاح و بهینه‌سازی خط‌مشی‌های فقرزدایی بهره برده است [28].

شیلی

شیلی یکی از پیشروان در اجرای یک نظام ارزشیابی جامع است که یافته‌های ارزشیابی را مستقیماً به تصمیمات بودجه‌ای وزارت دارایی متصل می‌کند. این کشور از ارزشیابی‌های سریع و دقیق برای هدایت تصمیم‌گیری‌ها استفاده کرده است. در شیلی، ارزشیابی‌ها نه‌تنها برای بررسی عملکرد برنامه‌های دولتی، بلکه برای تعیین میزان تخصیص منابع در بودجه سالیانه به‌کار گرفته می‌شوند. این کشور از مدل‌های ارزشیابی اقتصادی برای سنجش کارآمدی برنامه‌های عمومی استفاده کرده و یافته‌های ارزشیابی را به‌عنوان مبنای اصلاحات خط‌مشی در نظر گرفته است [28].

چین

چین از ارزشیابی‌های آزمایشی و منطقه‌ای برای شناسایی راهبردهای مؤثر در کاهش فقر بهره برده است. تجربه چین نشان می‌دهد که ارزشیابی‌های نظام‌مند چگونه می‌توانند به بهبود تصمیم‌های کلان اقتصادی کمک کنند. این کشور از ارزشیابی‌های منطقه‌ای برای بررسی تأثیر خط‌مشی‌های توسعه‌ای در مناطق مختلف استفاده کرده و یافته‌های این ارزشیابی‌ها را در اصلاح خط‌مشی‌های ملی به کار گرفته است. یکی از نمونه‌های موفق در چین، استفاده از ارزشیابی‌های آزمایشی برای بررسی اثربخشی برنامه‌های کاهش فقر در مناطق روستایی است که نتایج آن به خط‌مشی‌های کلان اقتصادی کشور جهت داده است [28].

علاوه‌بر نکات فوق‌الذکر، پیگیری اجرا و کاربست نتایج و توصیه‌های گزارش‌های ارزشیابی نیز در مرحله پایانی حائز اهمیت است. بر این اساس، یک سازوکار مشخص و قاطع در پیگیری، امکان نظارت فوق‌العاده نهاد پارلمان را بر نهادهای اجرایی را بالاخص در شرایطی که احتمال وجود مقاومت‌هایی در اعمال نتایج توسط مجریان دیده شود، ایجاد می‌کند. روش‌ها و سازوکارهای متعددی می‌توان برای ایجاد چنین نظارتی ایجاد کرد. برای مثال در سوئیس، پس از تدوین گزارش ارزشیابی توسط واحد «کنترل پارلمانی بر اداره امور»، «فرایند پیگیری» به‌گونه‌ای طراحی شده است که هم‌زمان شفافیت سیاسی، پاسخ‌گویی اجرایی و یادگیری سازمانی را تضمین می‌کند. بر این اساس، پس از ارسال گزارش به کمیسیون‌های نظارتی پارلمان، توصیه‌هایی تخصصی در قالب سندی مستقل برای دولت فدرال تدوین و ارسال می‌شود. طبق قواعد جاری، شورای فدرال مکلف است به این توصیه‌ها واکنش رسمی نشان دهد و موضع خود را طی بازه زمانی مشخصی به پارلمان اعلام کند. نکته حائز اهمیت آن است که نتایج ارزشیابی‌ها می‌توانند محرک تدوین ابتکارات قانونی پارلمانی، ازجمله «مقررات الزام‌آور برای دولت» یا «درخواست‌های بررسی امکان‌سنجی» باشند که مستقیماً به‌واسطه‌ یافته‌های توسط واحد کنترل پارلمانی بر اداره امور و کمیسیون‌های نظارت پارلمانی به مجلس ارائه می‌شوند. این مرحله به خط‌مشی‌گذاران امکان می‌دهد تا از نتایج فنی، مبنایی برای تحول در آیین‌نامه‌ها یا قوانین فدرال فراهم آورند [41].

همچنین همان‌طور که پیش‌تر عنوان شد، انتشار نتایج گزارش‌ها به‌صورت عمومی سبب افزایش پاسخ‌گویی در ساختار حکمرانی کشور می‌شود؛ بااین‌حال، شفافیت در گزارش‌های ارزشیابی، به‌عنوان یکی از ارکان پاسخ‌گویی و نظارت دموکراتیک، با ملاحظات امنیتی، سیاسی و نهادی در تعارض قرار می‌گیرد. این امر، سبب ایجاد دوگانگی شفافیت و امنیت می‌شود. در سطح بین‌المللی، تجربه سازمان‌هایی مانند سازمان ملل متحد نشان می‌دهد که شفافیت در گزارش‌های ارزشیابی، به‌ویژه در حوزه‌های نظامی، حقوق بشر و کمک‌های خارجی، با استقبال نسبی مواجه شده است. بااین‌حال، حتی در این نهادها نیز، محدودیت‌هایی نظیر محرمانگی اطلاعات، عدم مشارکت برخی کشورها و نبود سازوکارهای راستی‌آزمایی، مانع از تحقق کامل شفافیت شده‌اند. در سطح ملی نیز، چالش‌های شفافیت در گزارش‌های ارزشیابی به‌مراتب پیچیده‌تر است. بااین‌حال، نکته حائز اهمیت آن است که محرمانگی اطلاعات باید به‌عنوان یک استثنا و نه قاعده تلقی شود و تنها درصورتی‌که تهدید مشخصی برای امنیت ملی داشته باشد، محرمانگی مشروعیت پیدا ‌کند. بر این اساس، موانع شفافیت را نمی‌توان الزاماً محرمانگی آنها تلقی کرد، بلکه وجود برخی موانع مانند نبود استانداردهای شفافیت، فقدان سازوکارهای نظارتی مستقل و مقاومت بوروکراتیک در برابر افشای اطلاعات، سبب تحدید مسیر انتشار عمومی گزارش‌های ارزشیابی می‌شود [41].

3ـ3. نگارش گزارش‌های ارزشیابی چند سطحی

بررسی‌های انجام شده گویای آن است در برخی از نظام‌های ارزشیابی، گزارش‌های ارزشیابی در موضوع‌های مختلف، نه مبتنی‌بر یک گزارش، بلکه از تعدد و سطوح مختلفی برخوردارند. ارزشیابی خط‌‍‌مشی‌ها و برنامه‌های عمومی در بستر حکمرانی چند سطحی مستلزم تدوین یک چارچوب یکپارچه گزارش‌دهی است که بتواند از لایه کلان خط‌مشی تا جزئیات اجرایی و بازخورد فرایند ارزشیابی را پوشش دهد. تجربه چارچوب گزارش ارزشیابی در اسپانیا گویای وجود چارچوبی 4 سطحی در گزارش‌های ارزشیابی است که شامل: خلاصه خط‌مشی، گزارش کامل ارزشیابی، ضمایم فنی و متاارزشیابی است. در نخستین سطح، خلاصه اجرایی باید در حجم محدود (حدود ۱5–۱0 صفحه) و با زبان متمرکز بر نیازهای تصمیم‌گیران عالی‌رتبه تدوین شود. این سند باید ضمن معرفی مختصر دامنه ارزشیابی و چارچوب نظری، به صراحت نقاط قوت و ناکارآمدی‌های کلیدی طراحی و اجرا را برجسته کند و با بهره‌گیری از جداول مختصر و نمودارهای کلیدی، توصیه‌های خط‌مشی را با اولویت‌بندی روشن ارائه کند. گزارش کامل به‌عنوان سند محوری چارچوب، دربردارنده تحلیل‌های عمیق کیفی و کمی است که می‌بایست در فصولی تفکیک‌شده، ساختارمند و با حرکتی منطقی از مبانی نظری و تشخیصی تا تحلیل حکمرانی، مدیریت منابع، اجرای مداخله و ارزشیابی نتایج اولیه پیش رود. هر فصل باید حاوی شرح روش‌شناسی و یافته‌های مرتبط باشد. ارزشیاب باید با استناد مستدل به شواهد، نقاط قوت و ضعف را تبیین، علل و پیامدها را واکاوی و پیش‌بینی‌های آتی را براساس داده‌های موجود طرح کند. همچنین ضمایم فنی و داده‌محور نیز برای تضمین شفافیت و قابلیت بازتولید نتایج در اختیار پژوهشگران و ارزشیابان حرفه‌ای قرار می‌گیرد. این مجموعه باید شامل پرسشنامه‌های مورد استفاده، راهنمای مصاحبه‌ها، کدبندی مصاحبه‌های متنی، جداول خام داده‌های جمع‌آوری‌شده از سطوح ملی و منطقه‌ای و شرح دقیق روش‌های آماری یا کیفی باشد. علاوه‌بر این، ارزشیابان باید گونه‌ای دست‌نامه عملی برای بازتولید روش‌ها تدوین کنند تا پیوست‌های این ضمایم قابل تکرار باشند. نهایتاً، گزارش متاارزشیابی با فاصله‌ای زمانی از انتشار گزارش نهایی (12–6 ماه) تدوین می‌شود تا کیفیت فرایند ارزشیابی اصلی سنجیده شود. در این سند، ضمن طراحی یک پرسشنامه استاندارد، نظرات ذی‌نفعان مانند مدیران برنامه، کارشناسان ملی و منطقه‌ای، نمایندگان سازمان‌های غیردولتی درخصوص وضوح گزارش، کارآیی تیم ارزشیاب، قوت و ضعف توصیه‌ها و میزان یادگیری آنان گردآوری می‌شود. نگارش این گزارش باید خودانتقادی، مبتنی‌بر بازخورد منظم و با تأکید بر بهبود مستمر روش‌شناسی و فرایند ارزشیابی باشد.

در کنار تقدم زمانی این چهار سند، پیوند منطقی میان آنها ضروری است. خلاصه اجرایی باید تصویری اجمالی از یافته‌های گزارش نهایی ارائه کند، ضمایم فنی باید پشتوانه روش‌شناختی آن گزارش باشند و متاارزشیابی باید بازخوردی عملی برای ارتقای کیفیت این روند فراهم آورد [42] [43] [44] [45].

4ـ3. چارچوب وابستگی میان گام‌های نگارش گزارش‌های ارزشیابی

براساس جدول فوق، در ارزشیابی خط‌مشی‌ها، اهداف و شیوه‌های مختلفی برای ارزشیابی مداخلات به کار گرفته می‌شوند. با وجود تفاوت‌های میان این شیوه‌ها، میان نوع داده‌های مورد نیاز، سطح تحلیل و تکنیک‌های ارزشیابی مناسب برای هر یک ارتباط برقرار است. این ارتباطات، نه‌تنها در شیوه استخراج داده‌ها بلکه در ترتیب اجرای ارزشیابی‌ها و میزان عمق بررسی هر هدف نقش اساسی ایفا می‌کنند. به‌عبارت دیگر، هر هدف بخشی از یک زنجیره منطقی را تشکیل می‌دهد که تحلیل جامع و چندوجهی یک مداخله را امکان‌پذیر می‌سازد [46] (جدول 8).

جدول 8. چارچوب وابستگی میان اهداف و سایر گام‌های نگارش گزارش [22]

به‌طور کلی، این ساختار تحلیلی رابطه علّی میان اهداف ارزشیابی را برجسته می‌کند و نشان می‌دهد که چرا هر هدف نیازمند شیوه تحلیل و تکنیک‌های ارزشیابی خاص خود است. ارتباط و انسجام به بررسی طراحی اولیه مداخله وابسته هستند، بنابراین استفاده از داده‌های کیفی و اسنادی برای تحلیل آنها منطقی است. در مقابل، اثربخشی و کارایی که به اجرا مرتبط هستند، نیازمند داده‌های کمی و مالی هستند تا میزان تحقق اهداف و بهره‌وری منابع ارزشیابی شود. تأثیر و پایداری که به نتایج بلندمدت و کلان مداخله می‌پردازند، مستلزم تحلیل‌های جامع و داده‌های ترکیبی هستند تا بتوانند روابط پیچیده میان مداخله و پیامدهای پایدار آن را مشخص کنند. این رویکرد به ارزشیابان امکان می‌دهد تا هر هدف را در جایگاه مناسب خود مورد ارزشیابی قرار دهند و در صورت نیاز، از چند هدف و رویکرد برای ارزشیابی صحیح مداخلات استفاده کنند و از ابزارهای مناسب برای تحلیل هر کدام بهره گیرند (شکل 1).

شکل1. چرخه ارتباطی میان انواع اهداف ارزشیابی در مراحل خط‌مشی‌گذاری [47]

این چرخه اهمیت زمان‌بندی در فرایند ارزشیابی را به‌طور واضحی مورد تأکید قرار می‌دهد. بر این اساس، با در نظر گرفتن بازه‌های زمانی مناسب برای هر نوع مدل ارزشیابی و همچنین استفاده از استراتژی‌های مؤثر در انتشار، می‌توان به بهبود نحوه کارکرد خط‌مشی‌ها و برنامه‌ها کمک کرد. برای مثال، ارزشیابی‌های فرایند به‌طور مداوم در طول دوره اجرای خط‌مشی انجام می‌شود و نتایج آن معمولاً به‌صورت دوره‌ای (برای مثال هر چند ماه) منتشر می‌شود تا شفافیت در مورد پیشرفت و موانع موجود فراهم کند. همچنین ارزشیابی‌های تأثیر نیز، ارزشیابی‌ها معمولاً بعد از گذشت یک دوره معین از اجرای خط‌مشی انجام می‌شود تا تأثیرات واقعی را بتوان اندازه‌گیری کرد (معمولاً یک سال یا بیشتر بسته به نوع خط‌مشی و متغیرهای مورد بررسی) و نتایج این ارزشیابی معمولاً بعد از پایان کار تحقیقاتی منتشر می‌شود تا اطلاعات معتبر به‌دست آمده به درستی تحلیل و تجزیه شود. بر این اساس، زمان‌بندی ارزشیابی‌ها باید با فرایند خط‌مشی‌گذاری سازگار باشد. این بدان معناست که محققان و ارزشیابان باید از مراحل ابتدایی درباره نیازهای زمانی مربوط به جمع‌آوری داده‌ها و تحلیل نتایج توافق کنند. این هماهنگی به‌ویژه در تحقق اهداف تحقیق و تأثیرگذاری آن بر تصمیم‌گیری‌های خط‌مشی‌گذاری اهمیت دارد [19].

5ـ3. ارزشیابی پیامدهای ناخواسته

یکی از مأموریت‌های گزارش‌های ارزشیابی، ارزشیابی پیامدهای ناخواسته خط‌مشی‌ها و قوانین است. فهم و ارزشیابی پیامدهای ناخواسته در برنامه‌های اجتماعی و توسعه‌ای مستلزم تمایز مفهومی میان انواع پیامدها و طراحی راه‌حل‌هایی متناسب با سطح پیش‌بینی‌پذیری و ارزش آنهاست. نخست، باید توجه داشت که پیامدهای ناخواسته از منظر شناختی در سه دسته قابل‌تمییز هستند: پیامدهای پیش‌بینی‌شده، پیامدهای قابل پیش‌بینی اما پیش‌بینی‌نشده، و پیامدهای اساساً غیرقابل‌پیش‌بینی. دسته اول، آن دسته از آثار جانبی‌اند که در زمان تصمیم‌گیری و طراحی مداخله، توسط کنشگران شناخته شده‌اند؛ دسته دوم به نتایجی اشاره دارد که با وجود امکان شناخت، به دلیل عقلانیت محدود، خطای تحلیلی یا محدودیت‌های سیاسی و مالی نادیده گرفته شده‌اند؛ و دسته سوم محصول پویایی‌ها و پیچیدگی‌های درونی سیستم‌های اجتماعی‌اند که خارج از حدود پیش‌بینی‌پذیری مداخله‌گران قرار می‌گیرند. برای پیامدهای قابل پیش‌بینی، استفاده از نظریه‌پردازی تلفیقی روشی کارآمد محسوب می‌شود. این رویکرد با تلفیق دانش نظری موجود، ازجمله نظریه‌های سرمایه اجتماعی، توانمندسازی، و کنش جمعی، با دانش محلی و خرد ذی‌نفعان، امکان طراحی سناریوهایی برای پیش‌بینی آثار جانبی را فراهم می‌سازد. استفاده از نظریه‌های جایگزین مانند «نظریه برنامه منفی» نیز بستری برای گشودن فضای تحلیلی فراهم می‌کند، مشروط بر آن‌که به مکانیسم‌های علّی زمینه‌ساز پیامدها توجه شده باشد. این تحلیل‌های پیشینی باید در مرحله طراحی برنامه و همچنین در مرحله تدوین ابزارهای ارزشیابی صورت گیرد، تا نه‌تنها آثار مستقیم بلکه نتایج جانبی پیش‌بینی شوند. در مقابل، برای ارزشیابی پیامدهای پیش‌بینی‌نشده و غیرقابل پیش‌بینی، روش‌شناسی ارزشیابی باید به شکل معناداری از چارچوب‌های خطی و شاخص‌محور فاصله گرفته و به‌سوی رویکردهایی اکتشافی، میدانی و مردم‌محور حرکت کند. بررسی پیامدهای پیش‌بینی‌نشده مستلزم پژوهش در زمینه واقعی مداخله، بهره‌گیری از مصاحبه‌های باز، مشاهده مشارکتی، بررسی اسناد اجرایی و تعامل با گروه‌های متنوعی از پاسخ‌دهندگان است. نمونه‌گیری هدفمند از موارد افراطی و معمول، حضور طولانی در میدان و گفت‌وگو با کنشگران منتقد برنامه ازجمله روش‌هایی هستند که می‌توانند شناختی عمیق از سازوکارهای پدیدآورنده پیامدهای ناخواسته فراهم سازند. در کنار این روش‌های میدانی، بهره‌گیری از چارچوب‌های نظری چون نظریه پیچیدگی و سیستم‌های باز می‌تواند تحلیل‌های ارزشیابی را تقویت کند. این نظریه‌ها بر آن‌اند که مداخلات اجتماعی در شبکه‌ای از تعاملات پویا، چند سطحی و غیرخطی رخ می‌دهند؛ به‌نحوی که حتی تغییر در یکی از اجزای سیستم می‌تواند پیامدهایی ناخواسته، ناهم‌زمان و غیرقابل پیش‌بینی در سایر اجزا داشته باشد. از این منظر، پیامدهای ناخواسته نه محصول نقص طراحی بلکه حاصل پویایی‌های درونی سیستم تلقی می‌شوند. ارزشیابی در چنین زمینه‌هایی باید از الگوی پیش‌بینی و کنترل خارج شود و به الگوی شناخت، تبیین و یادگیری حرکت کند. فرایند ارزشیابی باید با واقعیت‌های اجرایی هم‌راستا باشد و به‌جای تمرکز صرف بر سنجش نتایج مورد انتظار، گشودگی مفهومی لازم برای شناسایی آثار نوظهور را نیز در برگیرد. استفاده از تحلیل‌های توزیعی، برای شناسایی این‌که پیامدهای ناخواسته چگونه، به چه میزان و برای چه کسانی رخ داده‌اند، بخشی حیاتی از این رویکرد ارزشیابی خواهد بود [48].

یکی از روش‌های ارزشیابی، «مدل‌سازی منطق تاریک» است. این مدل به‌عنوان رویکردی تخصصی برای تحلیل پیامدهای ناخواسته خط‌مشی‌ها معرفی شده است. رویکردی که به‌ویژه در ارزشیابی‌های خط‌مشی‌ها با پیچیدگی بالا و آثار چندوجهی، اهمیت فزاینده‌ای یافته است. برای عملیاتی‌سازی مدل منطق تاریک می‌توان از سه راهبرد روش‌شناختی بهره برد:

1. در رویکرد نخست، تمرکز بر پیش‌بینی آسیب‌های شدید یا فاجعه‌آمیز در چارچوب همان سازوکارهایی است که در مدل منطقی متعارف برای رسیدن به اهداف مطلوب طراحی شده‌اند. طراحان ابتدا مدل منطقی رایج را ترسیم می‌کنند. سپس، با بررسی فرض‌های این مدل و تعامل آن با زمینه اجتماعی، اقتصادی و تاریخی مداخله، سناریوهایی فرض می‌شود که در آن همان سازوکارهای مطلوب می‌توانند به پیامدهای شدیداً منفی منتهی شوند.

2. در رویکرد دوم، فرایند طراحی مدل منطق تاریک با تکیه بر مقایسه مداخله پیشنهادی با ارزشیابی‌های گذشته از پروژه‌های مشابه صورت می‌گیرد. در این روش، ابتدا یک مدل منطقی متعارف برای مداخله مورد نظر طراحی می‌شود. سپس با مراجعه به مطالعات پسینی از برنامه‌های مشابه که در آنها پیامدهای مثبت و منفی ثبت شده‌اند، مکانیسم‌هایی استخراج می‌شود که در گذشته به شکست مداخله یا تولید آسیب انجامیده‌اند. این مقایسه نه‌تنها نقاط ضعف بالقوه مدل حاضر را آشکار می‌سازد بلکه امکان اصلاح ساختار مداخله برای جلوگیری از تکرار اشتباهات فراهم می‌آورد.

3. رویکرد سوم، بر مشارکت مستقیم و اصیل گروه‌های ذی‌نفع در اعتبارسنجی مدل منطقی و ترسیم منطق تاریک تأکید دارد. در این روش، مدل اولیه نه‌تنها از منظر فنی یا مدیریتی، بلکه ازطریق مشارکت گروه‌های متنوع محلی مورد بازبینی قرار می‌گیرد. چنین مشارکتی فراتر از مشاوره نمادین یا نمایندگی رسمی بوده و متضمن تعامل واقعی با اقشار مختلف است که ممکن است در معرض آسیب‌های برنامه باشند [49].

6ـ3. نقش ذی‌نفعان در ارزشیابی و تدوین گزارش‌های آن

مشارکت ذی‌نفعان در فرایند ارزشیابی یکی از ارکان اساسی در بهبود کیفیت نتایج و افزایش بهره‌برداری از آنهاست. در هر ارزشیابی، نحوه مشارکت این گروه‌ها تعیین‌کننده میزان تأثیرگذاری آن بر تصمیمات اجرایی و اصلاحات برنامه‌ای خواهد بود [50]. این مهم سبب شده است تا 71 درصد از کشورهای عضو سازمان همکاری اقتصادی و توسعه از سازوکار مشارکت ذی‌نفعان در فرایند تدوین گزارش‌های ارزشیابی خود استفاده کنند [7].

رویکردهای مشارکتی در ارزشیابی را می‌توان در قالب پنج مدل اصلی دسته‌بندی کرد که هر یک براساس نقش و میزان مشارکت ذی‌نفعان در طراحی، اجرا و بهره‌برداری از ارزشیابی تعریف می‌شوند. ارزشیابی مشارکتی عملی با هدف بهبود تصمیم‌گیری اجرایی، مشارکت را ابزاری برای انسجام داده‌ها و تفسیر نتایج می‌داند؛ درحالی‌که ارزشیابی تحول‌گرا با تأکید بر عدالت اجتماعی، مشارکت را بستری برای توانمندسازی و تغییر ساختارهای قدرت تلقی می‌کند. ارزشیابی مبتنی‌بر ذی‌نفعان در شرایط اختلاف نظر میان گروه‌ها، بر اجماع و حل تعارض تمرکز دارد و ارزشیابی دموکراتیک تلاش می‌کند میان کنترل ارزشیاب و مشارکت گسترده تعادل برقرار کند. درنهایت، ارزشیابی توانمندساز با هدف ارتقای مهارت‌های تحلیلی و مدیریتی ذی‌نفعان، فرایند ارزشیابی را به بستری آموزشی و توسعه‌محور تبدیل می‌سازد [50].

با این اوصاف، مشارکت ذی‌نفعان محدود به نکات فوق و روش‌های سنتی نمی‌شود و رویکردهای متأخر که ناظر بر «جمع‌سپاری» هستند نیز نقش حائز اهمیتی را در تدوین گزارش‌های ارزشیابی ایفا می‌کنند. فرایند جمع‌سپاری به‌عنوان یک فعالیت مشارکتی آنلاین تعریف می‌شود که در آن یک نهاد (اعم از فرد، سازمان یا شرکت) ازطریق یک فراخوان باز، انجام یک وظیفه را به جمعی نامعین و ناهمگون از افراد واگذار می‌کند. این فرایند، برخلاف برون‌سپاری سنتی که به پیمانکاران مشخص واگذار می‌شود، بر پایه بهره‌گیری از خرد جمعی و تنوع مشارکت‌کنندگان استوار است و از بستر اینترنت برای سازمان‌دهی، اجرا و بهره‌برداری استفاده می‌کند. فرایند جمع‌سپاری در این معنا، متشکل از هشت عنصر بنیادین است که شامل: 1. وجود یک جمع مشخص، 2. هدفمندی، تعریف شوندگی و قابل انجام بودن وظیفه‌ای که به جمع سپرده می‌شود، 3. مشخص بودن نوع پاداش یا انگیزه‌ای که مشارکت‌کنندگان دریافت می‌کنند، 4. مشخص بودن نهاد «درخواست‌کننده»، 5. وضوح منافع یا دستاوردهایی که این نهاد از مشارکت جمعی کسب می‌کند، 6. مشارکتی و اجرا تحت بستر آنلاین، 7. استفاده از فراخوان باز که می‌تواند ازنظر دامنه و گستره متغیر باشد، 8. مبتنی‌بر اینترنت برای مقیاس‌پذیری، دسترسی گسترده و تعامل هم‌زمان [51].

7ـ3. نقش نهادهای ارزشیابی در چارچوب گزارش‌های ارزشیابی

نهادهای ارزشیابی را می‌توان برحسب وظیفه به دو دسته مجریان ارزشیابی و ناظران ارزشیابی تقسیم کرد که سهم و نقش بازیگران مختلف مانند پارلمان، دولت و نهادهای مستقل منطقه‌ای و مرکزی، تابعی از ساختار نظام سیاسی، ساختار اداری و سایر تعیین‌گرها است. با این اوصاف می‌توان قوه مجریه را به‌دلیل دسترسی بهتر به داده‌ها و اطلاعات، به‌عنوان مهم‌ترین و رایج‌ترین نهاد مجری گزارش‌های ارزشیابی در نظر گرفت. بااین‌حال این به‌معنای عدم مشارکت و حضور نهادهای پارلمانی و مستقل در تدوین گزارش‌ها نیست. بر این اساس می‌توان نقش نهادهای پارلمانی را در اجرای ارزشیابی در برخی کشورها مانند هند و اسپانیا پررنگ دانست و از سویی دیگر در کشورهایی مانند کره‌جنوبی و مکزیک، اجرای ارزشیابی و تدوین گزارش‌ها توسط قوه اجرای آن انجام می‌گیرد. به‌طور کل، نهادهای ارزشیابی مختلف با وابستگی‌های سازمان مختلف، از رویکردهای ارزشیابی، مخاطبان، استانداردها و معیارها و نوع اثرگذاری مختلفی برخوردارند [53] (جدول 9).

جدول 9. انواع چارچوب‌های گزارش‌های ارزشیابی بر حسب نهادهای مجری آن [54] [55]

علاوه‌بر نکات ذکر شده، تصمیم‌گیری درباره انجام ارزشیابی به‌صورت داخلی، برون‌سپاری‌شده یا ترکیبی، یک انتخاب راهبردی در فرایند ارزشیابی خط‌مشی‌های عمومی است که بر کیفیت، اعتبار، یادگیری سازمانی، هزینه، زمان و استقلال تحلیل تأثیر می‌گذارد. ارزشیابی داخلی با هزینه کمتر و سرعت بیشتر، از آشنایی با ساختار بهره‌مند است اما ممکن است دچار سوگیری شود. همچنین ارزشیابی برون‌سپاری‌شده با بی‌طرفی و تخصص بالاتر، اعتبار بیشتری دارد بااین‌حال نیازمند منابع و نظارت دقیق است. علاوه‌بر این، مدل ترکیبی با بهره‌گیری از مزایای هر دو، به انتقال دانش و ظرفیت‌سازی کمک می‌کند. انتخاب میان این گزینه‌ها باید با توجه به پیچیدگی موضوع، حساسیت سیاسی، منابع موجود و هدف ارزشیابی صورت گیرد [38].

8ـ3. ارزشیابی مبتنی‌بر داده

در فضای کنونی تصمیم‌سازی و خط‌مشی‌گذاری که به‌سرعت در مسیر تحول دیجیتال پیش می‌رود، داده به ستون فقرات تمامی مراحل ارزشیابی تبدیل شده است. ارزشیابی خط‌مشی با اتکا به داده، نه‌تنها امکان سنجش دقیق تحقق اهداف، کارآمدی تخصیص منابع و اثربخشی مداخلات را فراهم می‌آورد، بلکه فرایند تصمیم‌گیری را از حالت شهودی و تجربی به روشی نظام‌مند و شفاف ارتقا می‌دهد. با این وجود، تنها ۲۹ درصد از کشورهای عضو سازمان همکاری اقتصادی و توسعه، از راهبرد ملی برای بهبود دسترسی به داده‌های ارزشیابی برخوردارند [7]. داده‌ها از این منظر مهم‌اند که به ما اجازه می‌دهند آثار کوتاه‌مدت و بلندمدت یک خط‌مشی را به‌گونه‌ای سنجش‌پذیر و عینی تحلیل کنیم، مؤلفه‌های کلیدی موفقیت یا شکست را شناسایی کنیم و درنهایت ویرایش‌های اصلاحی بر مبنای شواهد و نتایج گذشته اجرا کنیم. در همین بستر، داده‌های کلان و داده‌های خرد هر یک نقش مکملی در زنجیره ارزش ارزشیابی ایفا می‌کنند. تلفیق این دو قلمرو داده‌ای، امکان بازشناسی دقیق نقاط قوت و ضعف هر خط‌مشی را در هر سطحی از طراحی تا اجرا و بازخورد ارتقا می‌دهد. بااین‌حال، دستیابی به چنین ارزشیابی دقیق و همه‌جانبه‌ای مستلزم حکمرانی داده قدرتمند است.

علاوه‌بر این، داده‌ها و حکمرانی داده بر شاخص‌سازی برای ارزشیابی و یادگیری حاصل از آن نقش دارند. بر این اساس، نخست، داده‌ها امکان تعریف دقیق و سنجش‌پذیر شاخص‌هایی را فراهم می‌آورند که بتوانند پیامدهای خط‌مشی را در سطوح مختلف بازنمایی کنند. داده‌های خرد، مانند داده‌های تراکنشی، اداری یا پیمایشی، ظرفیت آن را دارند که شاخص‌هایی با حساسیت بالا نسبت به تغییرات رفتاری، رضایت ذی‌نفعان یا کیفیت خدمات عمومی طراحی شوند. در مقابل، داده‌های کلان، مانند شاخص‌های اقتصادی، جمعیتی یا زیست‌محیطی، امکان طراحی شاخص‌هایی را فراهم می‌کنند که پیامدهای ساختاری و بلندمدت خط‌مشی‌ها را بازتاب دهند. همچنین طراحی شاخص‌های اثرگذاری مستلزم مستندسازی دقیق منشأ، کیفیت و محدودیت‌های داده‌ها است. ازاین‌رو، ضرورت ایجاد زیرساخت‌هایی برای پاک‌سازی، مستندسازی و پردازش داده‌ها قابل تبیین است. بر این اساس، جمع‌آوری داده‌ها باید در بستر نهادی صورت گیرد که تنوع منابع داده را به رسمیت بشناسد و امکان ترکیب آنها را فراهم آورد. در این مرحله، کیفیت طراحی ابزارهای گردآوری، شفافیت در تعریف متغیرها و تضمین پوشش کامل جمعیت هدف، نقش تعیین‌کننده‌ای در اعتبار ارزشیابی ایفا می‌کند. دولت‌ها باید زیرساخت‌های مالی و فناورانه لازم برای تولید داده‌های قابل‌استفاده مجدد را فراهم کنند، به‌گونه‌ای که داده‌ها نه صرفاً برای گزارش‌دهی، بلکه برای یادگیری و اصلاح خط‌مشی‌ها گردآوری شوند. در مرحله بعد، پاک‌سازی داده‌ها به‌منزله پالایش داده‌های خام از خطاهای ساختاری، ناسازگاری‌های مفهومی و داده‌های گمشده یا پرت تلقی می‌شود. در این راستا، استفاده از الگوریتم‌های یادگیری ماشین برای تشخیص الگوهای غیرعادی و ابزارهای رمزنگاری برای حفظ حریم خصوصی، ازجمله راهکارهای پیشنهادی در حکمرانی داده است. مستندسازی داده‌ها، حلقه واسط میان تولید و مصرف تحلیلی داده‌ها است. درنهایت، پردازش داده‌ها برای ارزشیابی، شامل تبدیل داده‌های خام به شاخص‌های عملکردی، مدل‌های تحلیلی و گزارش‌های تصمیم‌سازی است. این مرحله، نیازمند زیرساخت‌های محاسباتی، الگوریتم‌های تحلیل پیش‌بینی‌محور و سازوکارهای بازخورد خودکار است که داده‌ها را در چرخه اصلاح خط‌مشی‌ها وارد می‌کنند. سرمایه‌گذاری در زیرساخت‌های پردازش داده برای یادگیری خط‌مشی ازجمله کارکردهای حکمرانی داده در این مرحله است. بر این اساس، شاخص‌هایی که بر داده‌های مستند و پاک بنا شده‌اند، نه‌تنها امکان مقایسه بین‌زمانی و بین‌کشوری را فراهم می‌کنند، بلکه می‌توانند در چرخه یادگیری خط‌مشی نیز نقش ایفا کنند. همچنین داده‌ها امکان طراحی شاخص‌هایی را فراهم می‌کنند که به‌جای ارزشیابی نتایج نهایی، بر ارزشیابی مسیر تحقق پیامدها تمرکز دارند. این شاخص‌ها، که گاه به‌عنوان شاخص‌های واسطه‌ای یا پیش‌نگر شناخته می‌شوند، ازطریق تحلیل الگوهای رفتاری، تعاملات نهادی یا تغییرات زمینه‌ای، می‌توانند هشدارهای زودهنگام درباره موفقیت یا شکست خط‌مشی‌ها ارائه دهند. علاوه‌بر این، داده‌ها امکان طراحی شاخص‌هایی را فراهم می‌کنند که مشارکت‌پذیر، زمینه‌محور و چندمنظوره باشند. ازاین‌رو، ضرورت استفاده از داده‌های مشارکتی، داده‌های باز و داده‌های تولیدشده توسط شهروندان قابل تبیین است. این نوع داده‌ها می‌توانند شاخص‌هایی را شکل دهند که نه‌تنها پیامدهای خط‌مشی را از منظر دولت، بلکه از منظر تجربه زیسته شهروندان و نهادهای محلی بازنمایی کنند. چنین شاخص‌هایی، به‌ویژه در حوزه‌هایی مانند آموزش، سلامت، یا حکمرانی محلی، می‌توانند به اصلاح خط‌مشی‌ها از پایین به بالا کمک کنند. درنهایت، داده‌ها در طراحی شاخص‌های اثرگذاری و پیامد، نقش واسطی میان خط‌مشی‌گذاری، ارزشیابی و یادگیری ایفا می‌کنند [56].

علاوه‌بر این، حکمرانی داده در گزارش‌دهی و مستندسازی نتایج ارزشیابی، نقش تعیین‌کننده‌ای دارد. استفاده از مصورسازی داده‌ها، مستندسازی تغییرات در طرح ارزشیابی و ارجاع‌پذیر ساختن تحلیل‌ها ازجمله اصولی‌اند که شفافیت، قابلیت بازبینی و کاربردپذیری نتایج را ارتقا می‌دهند، ویژگی‌هایی که در حکمرانی داده به منزله شاخص‌های کلیدی تلقی می‌شوند. در این راستا، مستندسازی مراحل مختلف تحلیل، روش‌های گردآوری و محدودیت‌ها از ضرورت برخوردار است تا نتایج ارزشیابی در معرض راستی‌آزمایی و استفاده مجدد قرار گیرند؛ موضوعی که مستقیم به خط‌مشی‌های داده باز و استانداردسازی فراداده‌ها در حکمرانی داده متصل می‌شود [57].

به‌طور کل، نقش داده‌ها و در پی مدیریت آن، حکمرانی داده در امر نگارش ارزشیابی پررنگ و حائز اهمیت است. بااین‌حال، تحقق این مهم مستلزم تحقق پیش‌نیازهایی در ساختار ارزشیابی است تا امکان شکل‌گیری یک فرایند ارزشیابی اثربخش، قابل اتکا و ازنظر نهادی مشروع فراهم شود. این سه پیش‌نیاز شامل قالب زیرساخت‌های داده‌ای، مشروعیت نهادی و اجتماعی استفاده از داده، و کارآمدی عملیاتی بهره‌برداری از داده‌هاست (شکل 2).

شکل 2. پیش‌نیازهای بنیادین برای حکمرانی داده در ارزشیابی [58]

علاوه‌بر این، برخی رویکردهای متأخر، نقدهایی را بر ویژگی‌های حکمرانی داده در عمل و نقش آنها در چرخه خط‌مشی‌گذاری وارد کرده‌اند که برخی از این انتقادات شامل نقد بر «بی‌طرفی داده‌ها»، «قابلیت استفاده مجدد از داده‌ها»، «سراب داده‌انگاری»، «درهم‌تنیدگی داده و الگوریتم»، «قفل شدن آینده»، «دگرگونی ابزارهای تصمیم‌یار»، «پنهان‌سازی انتخاب‌های (تصمیم‌های) سیاسی» و «اختلال در فرایند دموکراتیک» است [59].

9ـ3. نقش فناوری‌های نوین در تدوین گزارش‌های ارزشیابی

امروزه، گزارش‌های ارزشیابی دیگر محدود به شیوه‌های سنتی نگارش، تحلیل و ارتباط نیستند و فناوری‌ها، امکان تدوین گزارش‌های تعاملی، دقیق و سریع را فراهم کرده است. ابزارهایی نظیر نرم‌افزارهای تحلیل آماری، با فراهم‌سازی ظرفیت‌های تحلیل کمی پیشرفته، کیفیت استنتاج‌های آماری را در گزارش‌ها ارتقا بخشیده‌اند. در سوی دیگر، استفاده از نرم‌افزارهای تحلیل کیفی موجب شده تا بررسی داده‌های متنی و غیرساختار‌یافته با دقتی بیشتر و ساختاریافته‌تر انجام پذیرد. علاوه‌بر این، فناوری‌ها در مرحله جمع‌آوری داده‌ها نیز نقش تسهیل‌گر ایفا می‌کند. این فناوری‌ها فرایند طراحی پرسشنامه، توزیع و تحلیل اولیه داده‌ها را با سرعت و کمترین هزینه ممکن سازند. استفاده از این ابزارها همچنین به کاهش خطاهای انسانی و افزایش شفافیت در داده‌های اولیه منجر شده است که خود زمینه‌ساز نگارش دقیق‌تر و مستندتر گزارش‌های ارزشیابی شده است. همچنین، بهره‌گیری از فناوری‌های ارتباطی و شبکه‌های اشتراک‌گذاری، امکان تعامل آنی بین ارزشیابان و ذی‌نفعان را فراهم کرده است. این تعاملات باعث می‌شود گزارش‌های ارزشیابی نه‌تنها بازتابی از داده‌ها، بلکه محصولی تعاملی، مبتنی‌بر بازخورد و مشارکت جمعی تلقی شوند. بدین ترتیب، فرایند نگارش گزارش از قالب صرفاً توصیفی به سمت فرایندی مشارکتی و بازتابی حرکت کرده است [60].

علاوه‌بر موارد فوق، فناوری‌های ناظر بر جمع‌سپاری تدوین گزارش‌های ارزشیابی نیز حائز اهمیت هستند. این فناوری‌ها نه‌تنها تسهیل‌کننده مشارکت وسیع کاربران در فرایند ارزشیابی‌اند، بلکه ازطریق تلفیق هوش مصنوعی، پلتفرم‌های همکاری مجازی و تحلیل داده‌های رفتاری، ارزشیابی را به‌سوی مشارکت‌محوری، شفافیت و یادگیری سیستمی سوق می‌دهند. یکی از مهم‌ترین کاربرد این دست از فناوری‌ها در امر جمع‌سپاری، طراحی هوشمند فراخوان ارزشیابی است. پلتفرم‌های جمع‌سپاری به‌واسطه ابزارهای طراحی تعاملی و الگوریتم‌های تطبیق، این امکان را فراهم می‌کنند که وظایف ارزشیابی به‌گونه‌ای تعریف شوند که ازنظر روش‌شناسی دقیق و برای مشارکت‌کنندگان قابل فهم و جذاب باشند. همچنین، الگوریتم‌های تطبیق مهارت با وظیفه، افراد واجد صلاحیت را برای مشارکت در ارزشیابی شناسایی کرده و از خطای انتخاب تصادفی جلوگیری می‌کنند. در مرحله اجرای جمع‌سپاری نیز، فناوری‌های رأی‌گیری جمعی و داوری تخصصی با یکدیگر تلفیق می‌شوند تا هم اعتبار علمی ارزشیابی حفظ شود و هم مشروعیت اجتماعی آن افزایش یابد. در این میان، ابزارهای تحلیل متن و داده‌کاوی، با دسته‌بندی و خوشه‌بندی پاسخ‌های دریافتی از مشارکت‌کنندگان، به غربال‌گری اولیه داده‌ها کمک می‌کنند؛ به‌ویژه در پروژه‌هایی با داده‌های متنی و نامتعارف که ارزشیابی سنتی در آن ناکارآمد است. همچنین، فناوری‌های هوشمند به یکپارچه‌سازی بازخورد نیز می‌پردازند. ابزارهایی طراحی شده‌اند که بازخوردهای کاربران را در قالب‌های ساختاریافته (مانند بازخورد توصیفی، تحلیلی یا انگیزشی) طبقه‌بندی کرده و به تصمیم‌گیرندگان ارائه می‌دهند. این فرایند نه‌تنها موجب افزایش اثربخشی ارزشیابی می‌شود، بلکه به بازیگران مشارکت‌کننده کمک می‌کند بازتاب شفاف‌تری از اثرگذاری خود ببینند. علاوه‌بر این، فناوری‌های کنترل کیفیت مانند لایه‌ای فرابخشی بر کل فرایند حاکم هستند. این کنترل کیفیت هم در مرحله طراحی فراخوان و هم در مرحله اجرا صورت می‌گیرد. بر این اساس، پلتفرم‌هایی که بتوانند به‌صورت پویا بین کیفیت ورودی‌ها و رفتار مشارکت‌کنندگان ارتباط برقرار کنند، موفق‌تر خواهند بود [51].

ازسوی دیگر، نقش فناوری‌های مبتنی‌بر بلاکچین و هوش مصنوعی نیز در امر ارزشیابی اثرگذار است. هرچند که این فناوری‌ها عمدتاً در حسابرسی‌ها، نظارت و ارزشیابی عملکرد کارکرد دارند، بااین‌حال پیش‌بینی می‌شود که سطح فعالیت خود را به سایر مدل‌های ارزشیابی نیز تسری دهند. بر این اساس، بلاکچین به‌عنوان یک فناوری ثبت داده‌های توزیع‌شده و غیرقابل تغییر، قابلیت‌هایی فراهم می‌کند که می‌تواند کیفیت و شفافیت فرایند ارزشیابی را به‌طور قابل توجهی بهبود بخشد. یکی از ویژگی‌های کلیدی بلاکچین، ثبت توزیع‌شده و شفاف اطلاعات مالی است که به تمامی ذی‌نفعان اجازه می‌دهد تا به داده‌ها دسترسی داشته باشند و آنها را تأیید کنند. این ویژگی به کاهش تقلب و خطا در اطلاعات مالی کمک می‌کند، زیرا هرگونه تغییر در داده‌ها نیازمند تأیید اکثریت شبکه است. ازسوی دیگر، بلاکچین با ایجاد یک لایه از اعتماد میان بازیگران مختلف، فرایند ارزشیابی را بهینه می‌کند. با استفاده از فناوری بلاکچین، حسابرسان می‌توانند به اطلاعات به‌روز دسترسی داشته باشند و به جای انجام ثبت‌های تاریخچه‌ای، به نتایج لحظه‌ای و واقعی دست یابند. بدین ترتیب، احتمال از دست دادن یا تحریف اطلاعات مالی به حداقل می‌رسد و این موضوع خود به بهبود کیفیت گزارشگری مالی منجر می‌شود. علاوه‌بر این، یکی از کاربردهای مهم هوش مصنوعی در فرایند نظارت و ارزشیابی، تشخیص تقلب به‌صورت آنی و مستمر است. با استفاده از تکنیک‌های تحلیلی پیشرفته، مثل یادگیری ماشین، هوش مصنوعی می‌تواند الگوهای جدید تقلب را شناسایی کند که ممکن است در روش‌های سنتی به‌سادگی قابل شناسایی نباشند. این نوع پیشرفت در تشخیص ناهنجاری‌ها به حسابرسان و ارزشیابان این امکان را می‌دهد که به‌طور فوری به ریسک‌های احتمالی پاسخ دهند و از وقوع مشکلات جلوگیری کنند. علاوه‌بر این، سیستم‌های هوش مصنوعی می‌توانند با استفاده از داده‌های تاریخی و تجزیه و تحلیل‌های پیش‌بینی‌کننده، می‌توانند نقاط و حوزه‌های اولویت‌دار ارزشیابی را شناسایی کرده و اولویت‌بندی‌های بهتری برای فرایند حسابرسی ارائه دهند. این اثر مستقیم بر افزایش دقت و کارایی ارزشیابی دارد. هوش مصنوعی همچنین می‌تواند به‌صورت خودکار برخی از وظایف تکراری و زمان‌بر را انجام دهد. انجام این وظایف کاهش‌دهنده بار کاری ارزشیابان و افزایش دقت و کیفیت کار آنها خواهد بود. این نوع خودکارسازی باعث می‌شود که ارزشیابان بتوانند وقت بیشتری برای فعالیت‌های پیچیده‌تر و ارزش‌افزا صرف کنند [61].

علاوه‌بر فناوری‌های فوق، ایجاد سایر زیرساخت‌های فنی برای تدوین بهینه گزارش‌های ارزشیابی حائز اهمیت است. همان‌طور که در بخش پیشین عنوان شد، وجود زیرساخت‌های فنی یکی از الزامات حکمرانی داده‌محور است. یکی از این زیرساخت‌ها، «سیستم‌های اطلاعاتی مدیریت و نظارت» است. برای پیگیری مستمر پیشرفت خط‌مشی‌ها و برنامه‌ها، کشورها نیازمند سیستم‌هایی هستند که بتوانند داده‌های عملکرد را به‌طور ساخت‌یافته گردآوری، ذخیره و گزارش کنند [62]. برای مثال، «سامانه یکپارچه الکترونیکی ارزشیابی خدمات عمومی» کره جنوبی، با هدف ادغام و هماهنگی فرایندهای مختلف ارزشیابی عملکرد طراحی شده تا داده‌های مربوط به عملکرد سازمان‌ها، نهادهای دولتی و دستگاه‌های اجرایی به‌طور آنی و برخط در دسترس باشند [63]. همچنین، وجود برنامه‌های جامع داده‌برداری و شاخص‌سازی نیز از ضرورت برخوردار است. گزارش‌های ارزشیابی نیازمند وجود شاخص‌های معتبر، قابل سنجش و زمان‌مند برای خط‌مشی‌ها و برنامه‌ها هستند. توسعه این شاخص‌ها مستلزم همکاری دستگاه‌های اجرایی با مراکز آمار و پژوهش است تا داده‌ها در سه سطح راهبردی (مثلاً رشد اقتصادی یا عدالت اجتماعی)، سطح مدیریتی (پیشرفت برنامه‌ها) و سطح عملیاتی (نتایج پروژه‌ها) تدوین شوند. بر این اساس، وجود سازمان‌های آماری ملی مجهز و روش‌های معتبر گردآوری داده (نمونه‌گیری، نظرسنجی، پایش میدانی) از اهمیت برخوردار است.

10ـ3. آموزش و تربیت نیروی ارزشیاب

یکی از الزامات اساسی در تضمین کیفیت گزارش‌های ارزشیابی و بهبود نتایج آن، تربیت نیروهای متخصص در این حوزه هستند. به‌طور کل، تربیت ارزشیابان نه صرفاً از منظر آموزش مهارت‌های فنی، بلکه به‌عنوان فرایندی چندبعدی شامل شکل‌دهی ذهنیت تحلیلی، آشنایی با اصول علمی علیت و توانمندسازی در تعامل با ذی‌نفعان به‌حساب می‌آید. با این وجود، کمتر از نیمی از کشورهای عضو سازمان همکاری اقتصاد و توسعه دارای برنامه‌ای نظام‌مند برای توسعه مهارت‌های ارزشیابان هستند که این مهم گویای شکاف ظرفیت‌سازی در ساختار ارزشیابی کشورهاست [7]. برنامه‌های آموزشی و تربیتی، سبب ایجاد نسلی از ارزشیابان می‌شود که نه‌تنها توان اجرای تکنیکی ارزشیابی را دارند، بلکه می‌توانند نتایج آن را به زبان خط‌مشی و برای بهبود حکمرانی ترجمه کنند. بر این اساس، در فرایند آموزش لازم است تا در گام نخست، ارزشیاب چگونگی تبدیل یک مداخله به فرضیه قابل آزمون را یادگیرد. بر این اساس، ارزشیاب می‌آموزد تا به‌جای پیش‌فرض گرفتن اثربخشی یک برنامه، هر مداخله را نیازمند اثبات عینی اثرگذاری آن در نظر گیرد. در گام بعد، در بعد فنی، ارزشیاب باید با طیف گسترده‌ای از طرح‌های ارزشیابی آشنا شود؛ چراکه آموزش فراتر از دانستن ابزارها است و مستلزم تناسب میان ابزار با سؤال ارزشیابی است. بنابراین، صرف یادگیری روش‌هایی مانند آزمایش‌های تصادفی کنترل‌شده یا تطبیق آماری کافی نیست، بلکه ارزشیاب باید بیاموزد چگونه براساس محدودیت‌های اخلاقی، سیاسی و عملی، طراحی مناسب را انتخاب کند. در مرحله جمع‌آوری داده، دقت و توجه بر ابعاد روش‌شناختی حائز اهمیت است. بر این اساس، نحوه طراحی ابزارهایی که ازلحاظ اعتبار و روایی قابل اتکا باشند، مدیریت داده‌های گمشده، تدوین شیوه‌نامه‌های اجرای میدانی و شناخت سوگیری‌هایی که ممکن است تحلیل را مخدوش کنند، ازجمله مصادیق ابعاد روش‌شناختی به‌حساب می‌آیند. در مرحله تحلیل داده‌ها نیز، آموزش استفاده از تکنیک‌های استنباطی آماری و فهم مفهومی نتایج حائز اهمیت است. بر این اساس، ارزشیاب باید بتواند میان نتایج آماری و پیامدهای اجرایی پل بزند. این بدان معناست که آموزش تحلیل باید به فهم دامنه عدم قطعیت، قدرت آزمون و حساسیت به مفروضات نیز بپردازد. علاوه‌بر موارد ذکر شده، آموزش مهارت‌هایی ازجمله توانایی برقراری ارتباط با ذی‌نفعان، توضیح ساده و مؤثر نتایج برای خط‌مشی‌گذاران و نیز استفاده از ابزارهایی مانند خلاصه خط‌مشی از اهمیت برخوردار است. همچنین فرایند آموزش نباید صرفاً فردمحور باشد، بلکه باید ظرف نهادی برای ارزشیابی در یک سازمان یا کشور تقویت شود. این نگاه ناظر بر ظرفیت‌سازی نظام‌مند است که در آن ایجاد سازوکارهایی برای حفظ، به‌روزرسانی و انتقال دانش ارزشیابی ازطریق تیم‌های چندرشته‌ای، مکانیسم‌های بازخورد و مستندسازی تجربیات موضوعیت می‌یابد [64].

یکی از مدل‌های آموزش و تربیت نیروهای انسانی، یادگیری شبکه‌ای است. یادگیری شبکه‌ای به‌عنوان ساختاری یادگیری‌محور و تعامل‌محور تعریف می‌شود که بر بنیان ارتباطات انسانی، بهره‌گیری از فناوری و بازخوردهای مداوم استوار است. فرایند تربیت و آموزش ارزشیاب در چنین مدلی به‌گونه‌ای طراحی می‌شود که فرد از همان ابتدا، درگیر چرخه‌ای از تجربه، بازخورد، تحلیل و بازطراحی است. این تجربه زیسته یادگیری، زیربنای یادگیری ارزشیابی است. فراتر از مهارت‌های تحلیلی، یادگیری شبکه‌ای ارزشیاب را در معرض دیدگاه‌ها و تجربه‌های متکثر قرار می‌دهد. به این ترتیب، یادگیری شبکه‌ای ارزشیاب را نه‌فقط با ابزارها، بلکه با زیست جهان ارزشیابی آشنا می‌کند. بر این اساس وجود گنجینه‌ای از تجربیات ارزشیابان در تدوین گزارش و شبکه ارتباطی قوی و پیوسته میان ارزشیابان با گروه‌های مختلف از ضرورت برخوردار است [65]. علاوه‌بر مهارت‌های فوق، طبق دستورالعمل خزانه‌داری بریتانیا، ارزشیاب نیازمند فراگیری مهارت‌های دیگری نیز است که می‌توان آن را ذیل چهار حوزه اصلی که شامل مجموعه‌ای از توانمندی‌های تخصصی، مدیریتی و ارتباطی است، دسته‌بندی کرد (جدول 10).

جدول 10. دستورالعمل مهارت‌های تخصصی خزانه‌داری بریتانیا [29]

در سال ۲۰۲۱، در «چارچوب اعلامیه اصلاحات حکمرانی دولت بریتانیا»، «کارگروه ارزشیابی» با هدف هدایت نظام ارزشیابی، سازمان‌دهی، ظرفیت‌سازی و جهت‌دهی راهبردی به ارزشیابی خط‌مشی‌های عمومی تأسیس شد. این نهاد با استقرار در نقطه اتصال وزارت خزانه‌داری و دفتر کابینه، به‌نوعی زیرساخت نهادی ارزشیابی را در قلب فرایندهای تصمیم‌گیری دولتی جای داده است. یکی از چالش‌های نظام ارزشیابی در بریتانیا، کمبود ظرفیت انسانی است که به‌عنوان یک مانع اساسی در اجرای گسترده و با کیفیت ارزشیابی خط‌مشی‌ها محسوب می‌شود. برای پاسخ به این نیاز، کارگروه ارزشیابی، «آکادمی ارزشیابی» را طراحی و راه‌اندازی کرده است که در پی آن، شرکت‌کنندگان نه‌تنها آموزش تخصصی در ارزشیابی دریافت می‌کنند بلکه پس از پایان دوره، قادر خواهند بود به‌عنوان مربی، دیگر کارکنان دولت را نیز آموزش دهند. چنین رویکردی افزون‌بر توسعه مهارت‌های تحلیلی فردی، قابلیت‌های تکثیر و بازتولید دانشی را در درون ساختارهای دولت بریتانیا نهادینه می‌کند. علاوه‌بر آکادمی ارزشیابی، کارگروه ارزشیابی از سایر برنامه‌ها و نهادهای مکمل برای تقویت تربیت ارزشیابان بهره می‌برد. در نتیجه این رویکرد، علاوه‌بر توسعه مهارت فردی، زیست بومی فراگیر و پایدار در ساختار ارزشیابی بریتانیا ایجاد شده است [66].

11ـ3. چالش‌های تدوین گزارش ارزشیابی

علاوه‌بر نکات فوق‌الذکر، برای شناسایی موانع بالقوه و تحقق این نکات، ضروری است تا مروری جامع بر چالش‌های پیش‌روی در تدوین گزارش‌های ارزشیابی انجام گیرد تا حدالمقدور از ظهور تهدیدات بالقوه جلوگیری شود. نکات ذیل نمونه‌ای از چالش‌های موجود در تدوین گزارش‌های ارزشیابی محسوب می‌گردند که از تجربیات ارزشیابی در سایر کشورها احصاء شده‌اند (شکل 3).

شکل 3 . چالشهای بالقوه تدوین گزارش ارزشیابی [18] [67] [25]

4. جمع‌بندی و پیشنهادها

به‌طور کل، در این گزارش تلاش شده است تا ابعاد مختلف خط‌مشی‌گذاری و نحوه تدوین گزارش‌های ارزشیابی به‌طور جامع و نظام‌مند مورد بررسی قرار گیرد. یافته‌ها نشان می‌دهند که گزارش‌های ارزشیابی به‌عنوان ابزاری کلیدی در تصمیم‌گیری‌های سیاسی و مدیریتی، می‌توانند به بهبود ارزشیابی مؤثرتر منابع و شفاف‌سازی عملکردها کمک کنند. با توجه به ساختار نظری و روش‌شناختی مشخص این گزارش، اهمیت استفاده از شاخص‌های دقیق و تحلیل‌های مبتنی‌بر شواهد به‌جای تکیه بر داده‌های پراکنده بار دیگر بر همگان روشن شد. چالش‌های موجود در فرایند تدوین گزارش‌های ارزشیابی، به‌ویژه کمبود وضوح در تعریف اهداف و عدم تجانس اطلاعات، به‌وضوح درخواست می‌کنند تا نهادهای اجرایی و خط‌مشی‌گذاران توجه بیشتری به اجتماعات پژوهشی و مشاوره‌ای داشته باشند. در این راستا، تأکید بر ضرورت تعامل و مشارکت ذی‌نفعان در فرایند ارزشیابی نه‌تنها موجب ارتقا کیفیت نتایج می‌شود، بلکه می‌تواند به بهبود پذیرش و کاربست این نتایج برای اصلاح و بهینه‌سازی خط‌مشی‌ها نیز منجر شود. همچنین، یافته‌ها بیانگر آن است که پیوند دادن ارزشیابی‌ها به فرایندهای تصمیم‌گیری کلان و طراحی اهداف از پیش تعیین‌شده، امکان شناخت بهتری از نقاط قوت و ضعف برنامه‌های جاری را میسر می‌سازد. به همین ترتیب، نتایج این ارزشیابی باید به‌صورت نظام‌مند و با در نظر گرفتن ابعاد اجتماعی، اقتصادی و زیست‌محیطی تحلیل گردند تا از بروز خطاهای ناشی از نگاهی تک‌بعدی جلوگیری به‌عمل آید. در نهایت، براساس بررسی‌های انجام‌شده، می‌توان نتیجه‌گیری کرد که تدوین چارچوب‌های استاندارد و عملیاتی برای گزارش‌های ارزشیابی، همراه با توجه به مسائل ساختاری و جمع‌بندی فراگیر در ارزشیابی‌ها، می‌تواند نه‌تنها به بهبود اعتبار علمی ارزشیابی‌ها کمک کند، بلکه زمینه‌ساز بهبود کیفیت خط‌مشی‌گذاری و اجرای برنامه‌ها در سطح کلان نیز شود. در نتیجه، برای دستیابی به نتایج مؤثر و پایدار، لازم است روندهای ارزشیابی به‌صورت مداوم اصلاح و تکمیل شده و در چارچوبی نظام‌مند و جوامع‌محور طراحی شوند.

پیشنهاد‌ها

• یکی از بایسته‌های مهم تدوین گزارش ارزشیابی، مطابقت گزارش، با اهداف ارزشیابی، ابزارهای جمع‌آوری و تحلیل اطلاعات، زمان اجرای آن، نهاد متولی و... است. بدین منظور، تنظیم نظام ارزشیابی، مبتنی‌بر پیوند سه سطح نهادی خرد، میانی و کلان بر مبنای یک چرخه مداوم تولید، تحلیل و بازخورد، پیشنهاد می‌شود.
• در سطح خرد، وزارتخانه‌ها و سایر دستگاه‌های اجرایی موظف‌اند در پایان هر سال، دو گزارش متمایز و مکمل تولید کنند: نخست «خلاصه خط‌مشی» که بر گزیده یافته‌ها و توصیه‌های اجرایی تمرکز دارد و برای تصمیم‌گیری سریع در اختیار کمیسیون‌های تخصصی مجلس و سازمان برنامه و بودجه قرار می‌گیرد؛ و دوم، «گزارش کامل ارزشیابی» به همراه ضمایم فنی که مستندی جامع از کارایی، اثربخشی و میزان تحقق اهداف برنامه‌ها است و به‌طور هم‌زمان برای مجلس و مجمع تشخیص مصلحت نظام ارسال می‌شود. ماهیت گزارش‌های در این سطح، از نوع ارزشیابی پایانی است.
• در سطح میانی، مجلس شورای اسلامی به‌عنوان نهاد محوری، نقش خود را در دو مسیر ایفا می‌کند: از یک‌سو، گزارش‌های «خلاصه خط‌مشی» را برای واکنش‌های کوتاه‌مدت و اصلاحات فوری بررسی می‌کند و ازسوی دیگر، «گزارش کامل ارزشیابی» و پیوست‌های ارسالی ازسوی دستگاه‌های اجرایی در مرکز پژوهش‌های مجلس مورد تحلیل روش‌مند قرار می‌گیرد تا انطباق عملکرد اجرایی با اهداف تقنینی سنجیده شود. خروجی این تحلیل‌ها «متا ارزشیابی»‌هایی است که علاوه‌بر ارزشیابی کیفیت و اعتبار گزارش‌های اجرایی، میزان تحقق و پیاده‌سازی توصیه‌های پیشین را مشخص می‌کند. این متاارزشیابی‌ها، همراه با تحلیل‌های خط‌مشی، هر دو سال یکبار، به مجمع تشخیص مصلحت نظام ارسال می‌شوند و بدین‌وسیله مجلس به‌عنوان حلقه واسط میان داده‌های اجرایی و تحلیل‌های کلان عمل می‌کند. در این سطح، مجلس شورای اسلامی می‌تواند برای تدقیق بررسی‌های خود و ارسال نتایج به مجمع، از گزارش‌های تفریغ بودجه و سایر گزارش‌های عملکرد نهادهای مختلفی مانند دیوان محاسبات کشور استفاده کند. ماهیت ارزشیابی در این سطح، تکوینی است.
• در سطح کلان نیز، مجمع تشخیص مصلحت نظام داده‌های دریافتی از دستگاه‌های اجرایی و مجلس، شامل گزارش‌های کامل و نتایج متا ارزشیابی، را در «مرکز ارزیابی و نظارت راهبردی» گردآوری و پردازش می‌کند. براساس این تجمیع، هر پنج سال یک‌بار «گزارش کلان ارزشیابی» تدوین می‌شود که برآیند تلفیق لایه‌های پایین‌تر و سنجش هم‌سویی خط‌مشی‌ها با اسناد بالادستی است. این گزارش، همراه با یک «خلاصه خط‌مشی راهبردی»، به رهبری و سایر نهادهای بالادستی ارائه می‌شود. بازخوردهای کلان در این مرحله به‌صورت رسمی به سطوح پایین‌تر بازگشت داده می‌شود تا خط‌مشی‌ها و برنامه‌ها به‌روز و هم‌سو با شواهد شوند. در این سطح این، ارزشیابی به‌صورت تکوینی انجام می‌گیرد.

ترتیب اولویت این پیشنهاد‌ها، از سطح کلان تا سطح خرد است و این بدان دلیل است که توصیه‌های فوق، به‌عنوان راهبرد کلان کشور در نظر گرفته شده است که سازوکاری تکلیفی را برای دستگاه‌های ذی‌ربط ایجاد می‌کند.

• علاوه‌بر این، پیشنهاد می‌شود برای ارتقای انسجام محتوایی، قابلیت مقایسه و اعتبار روش‌شناختی گزارش‌های ارزشیابی در سطوح مختلف، یک دستورالعمل ملی برای نگارش و تدوین گزارش‌های ارزشیابی تهیه و ابلاغ شود. این دستورالعمل باید به‌گونه‌ای طراحی شود که هم الزامات فنی و تحلیلی را پوشش دهد و هم با اقتضائات نهادی و سطح مخاطب گزارش هم‌خوان باشد؛ به‌نحوی که گزارش‌های تولیدشده در سطح خرد، میانی و کلان، از حیث ساختار، زبان، شاخص‌ها و پیوست‌های فنی، واجد استانداردهای مشترک و قابل ردیابی باشند. در این دستورالعمل، باید اجزای اصلی هر گزارش ازجمله بیان مسئله، چارچوب نظری، روش‌شناسی ارزشیابی، تحلیل یافته‌ها، سنجش تحقق اهداف، توصیه‌های خط‌مشی و پیوست‌های داده‌ای و فنی به‌صورت دقیق تعریف شود. همچنین لازم است سطوح دسترسی، نحوه تنقیح اطلاعات محرمانه و قالب انتشار عمومی نیز مشخص شود تا هم شفافیت حفظ شود و هم ملاحظات حقوقی رعایت شود. افزون بر این، دستورالعمل باید به تفکیک نوع گزارش، الزامات خاص هر سطح نهادی را نیز در برگیرد؛ برای نمونه، در سطح خرد، تأکید بر دقت داده‌های عملکردی و پیوند با بودجه، در سطح میانی، تمرکز بر تحلیل تطبیقی و متا ارزشیابی و در سطح کلان، الزام به تلفیق بین‌سطحی و سنجش هم‌سویی با سیاست‌های کلی. ازاین‌رو، ضروری است تا میان اجزا و مراحل مختلف تدوین گزارش ارزشیابی پیوستگی ایجاد شود که برحسب ماهیت، اهداف و سطوح ارزشیابی، روش‌شناختی، چارچوب نظری، روش تحلیل مختص به خود را می‌طلبد.

جدول 11. پیشنهاد توصیه سیاستی ویژه گزارش‌های راهبردی/نظارتی

مأخذ: یافته‌های تحقیق.