ارزشیابی فارغ از هدف؛ پیش بینی و تحلیل پیامدهای واقعی (مطلوب و ناخواسته) قانون

نوع گزارش : گزارش های راهبردی

نویسندگان

1 کارشناس گروه سیاست پژوهی و آزمایشگاه حکمرانی دفتر مطالعات مدیریت و حکمرانی مرکز پژوهش های مجلس شورای اسلامی

2 سرپرست گروه سیاست پژوهی و آزمایشگاه حکمرانی دفتر مطالعات مدیریت و حکمرانی مرکز پژوهش های مجلس شورای اسلامی

چکیده

مجلس شورای اسلامی در سرشت خود، هویت نمایندگی مردم را داراست که تجلی این هویت در دو مقام تقنین و نظارت می باشد؛ این نوشته بر وظیفه دوم مجلس یعنی نظارت متمرکز است و این مفهوم را توسعه به مفهوم عالی تری به نام ارزشیابی داده و به شرح یکی از مدل های مهم ارزشیابی که انجامش در توان معاونت نظارت مجلس شورای اسلامی به جهت امکانی (امکان زمانی، مالی، اطلاعاتی و بوروکراتیک) است می پردازد. رویکرد ارزشیابی فارغ از هدف، برخلاف رویکرد ارزشیابی مبتنی بر هدف که به مطالعه میزان و کیفیت تحقق اهداف قانون گذار می پردازد به آثار واقعی قانون گذاری متمرکز است؛ بی شک در این ارتباط به سنجش پیامدهای ناخواسته مثبت یا منفی قانون گذاری نیز حساسیت نشان خواهد داد. این گزارش ضمن معرفی این رویکرد، با ارائه پیشنهاداتی درخصوص ساختار فعلی معاونت نظارت مجلس و سازِکار بهره مندی آن از سایر بخش های مجلس نظیر مرکز پژوهش ها، بر انجام مؤثرتر امر مهم نظارت و ارزیابی، تأکید می کند. 

گزیده سیاستی

رویکرد ارزشیابی فارغ از هدف، برخلاف رویکرد ارزشیابی مبتنی بر هدف، به آثار واقعی قانونگذاری متمرکز است; بی شک در این ارتباط به سنجش پیامدهای ناخواسته مثبت یا منفی قانونگذاری در مجلس نیز حساسیت نشان خواهد داد.

کلیدواژه‌ها

موضوعات

خلاصه مدیریتی

بیان/ شرح مسله

مجلس شورای اسلامی در سرشت خود، هویت نمایندگی مردم را داراست که تجلی این هویت در دو مقام تقنین و نظارت میباشد. کارآمدی و اثربخشی هرچه بیشتر فعالیتهای نمایندگان در عرصه قانونگذاری، در گِرو توجه نمایندگان به موضوع نظارت بر قوانین است که تضمین کننده به ثمر رسیدن هدف مقنن از تقنین است. میتوان گفت فلسفه نظارت پارلمانی، بررسی و کنترل اجرای صحیح قانون بهسیله همه ارکان، نهادها و مقامهای دولتی و حکومتی، اعمال نظر و صلاحدید سیاسی مردم از طریق نمایندگان درباره چگونگی اداره کشور است. در همین راستا و برای تحقق این رسالت مهم، معاونت نظارت با ساماندهی مؤلفها و ابزارهای نظارتی و ارائه خدمات و پشتیبانی و کارشناسی به نمایندگان محترم، امور نظارتی مجلس را از اتقان و استحکام بیشتری برخوردار میکند و یاری رسان نمایندگان در تحقق وظایف نظارتی پارلمانی است . اما علیرغم همه این اقدامات، نظار تها بخش قابل توجهی از آثار و پیامدها را به درستی رصد نمیکند. در واقع این فرضیه مطرح است که چون ارزیابی قوانین مبتنی بر اهداف وضع آنهاست، از اینرو بخش قابل توجهی از آثار احتمالی یک قانون، که جزء اهداف اولیه آن نبوده است، هرگز دیده نمیشود. طبیعی است که پیامدهای ناخواسته احتمالی یک قانون یا برنامه از دغدغه های مهم قانونگذاران باشد، و مجلس شورای اسلامی، در واکنش به این نگرانیها، سازکاری برای پایش و رصد نظام مند آثار واقعی وضع یک قانون اعم از آثار و پیامدهای قصد شده و یا ناخواسته، ندارد.

نقطه نظرات/یافته های کلیدی

باید توجه داشت که معاونت نظارت مجلس شورای اسلامی برای نظارت بر حُسن اجرای قانون و پیش از آن برای بررسی آثار محتمل پیش‌‌نویس‌‌های قانون ـ طرح‌‌ها و لوایح ـ نیازمند رویکردهای کارامد ارزشیابی (و نه صرفاً نظارت) است. می‌توان وجه قوی‌تر و مؤثرتر نظارت را ارزشیابی نامید. نظارت و ارزشیابی دو تکنیک برای ارزیابی نتایج یک برنامه یا یک پروژه هستند. نظارت، فرایند جمع‌آوری اطلاعات در مورد یک برنامه یا کنترل پروژه است. این فرایند شامل جمع‌آوری داده‌ها، نظارت بر پیشرفت و ردیابی شاخص‌های کلیدی عملکرد است. از سوی دیگر، ارزشیابی، فرایند ارزیابی اثربخشی یک برنامه یا یک قانون است. این فرایند شامل جمع‌آوری، تجزیه و تحلیل و تفسیر داده‌ها است. در نتیجه می‌توان ادعا کرد حرکت معاونت نظارت از نظارت به رویکردهای مبتنی بر علم ارزشیابی، اقدامی است که موجب انجام و بهبود کیفیت کارویژه‌های مجلس شورای اسلامی و در نهایت کیفیت نظام حکمرانی کشور خواهد شد.

یکی از رویکردهای نسبتاً جدید، ارزشیابی فارغ از هدف است. این رویکرد نیاز به فهم اهداف قانون‌‌گذار در وضع قانون یا طراح پیش‌‌نویس‌‌های قانونی در طراحی پیش‌‌نویس ندارد بلکه مستقیما با آثار واقعی قانون خود را مواجه می‌‌داند؛ حال چه آثار محتملی که پیش‌‌نویس‌‌های قوانین ممکن است از خود بر جای بگذارند (تحت عنوان ارزشیابی پیشینی) و چه پیامدهای واقعی خواسته و ناخواسته‌‌ اجرای قوانین مصوب(تحت عنوان ارزشیابی پسینی).این گزارش در سلسله گزار شهای ارزشیابی تأثیرات قانونگذاری، رویکردی نوین برای ارزشیابی قوانین را در اختیار قانونگذار قرار داده که نامش ارزشیابی فارغ از هدف است؛ در این رویکرد، ارزیاب بدون اطلاع از اهداف قانونگذار جهت قانونگذاری، به شناسایی آثار و تبعات واقعی قانونگذاری مبادرت خواهد کرد.

پیشنهاد راهکارهای تقنینی، نظارتی یا سیاستی

 برخی نکات مهم برای اتخاذ رویکرد فوق به شرح ذیل است:

  1. اگرچه بر اساس دو موج علم‌‌محور و شواهد، تأکید بر شواهد و قرائنی که نسبت به موقعیت مسئله و موقعیت اجرا وجود دارد از جهت اثباتی می‌‌تواند امر ارزشیابی را اثبات‌‌پذیر و اقناع‌‌کننده کند، اما همچنان‌‌که فرایند مسئله‌‌شناسی و خط‌مشی‌‌گذاری بدون حضور ذینفعان امر اجرا را با موانع معتنابهی (شاید شکست اجرا) مواجه خواهد کرد، ارزشیابی بدون ذینفعان نیز چه در ارزشیابی پیشینی و چه پسینی امکان اصلاح پیش‌‌نویس‌‌های قانونی و همین‌‌طور اجرای مناسب قانون را به تأخیر خواهد انداخت. مجلس شورای اسلامی به جهت نمایندگی عموم مردم ناگزیر از تمهید شرایط برای مداخله ایشان در حوزه ارزشیابی است؛
  2. از میان سه ملاک ارزشیابی یعنی اثرگذاری، نتیجه‌‌بخشی و کارامدی، ارزشیابی فارغ از هدف با دو ملاک اثرگذاری و کارامدی قابل سنجش است؛ از یکسو اثر واقعی(و نه قصدشده) یک قانون بر رفتار جوامع هدف و غیرهدف را می‌‌سنجد و از سوی دیگر بر اساس ملاک کارامدی، تنها هزینه‌‌های جانبی و منفی قانون را اندازه‌‌گیری می‌‌کند لذا با دو شاخص مهم ارزشیابی می‌‌تواند سنجش خود را انجام دهد؛
  3. مرکز پژوهش‌‌ها به عنوان نهاد مشاور برای مجلس شورای اسلامی هم وظیفه ارزشیابی مبتنی بر هدف دارد تا امکان فهم آثار و توابع عملی قوانینی که توسط مجلس وضع شده است را برای نمایندگان و عموم مردم مشخص کند اما مهمتر از این شان سازمانی و البته مبتنی بر اساسنامه مرکز، وظیفه ارزشیابی تمام آثار و ره‌‌آوردهایی که بر هر قانون مترتب است را عهده‌‌دار است. لذا توصیه می‌‌شود مرکز به صورت ترکیبی(اگر شرایط از جهت زمانی، مالی، اطلاعاتی و بوروکراتیک مهیاست) توسط دو تیم مختلف ارزیاب، به ارزشیابی مبتنی بر هدف و فارغ از هدف قوانین مهم مجلس اهتمام نماید.
  4. مرکز پژوهش‌‌ها می‌‌تواند ارزشیابی فارغ از هدف را به عنوان یک رویکرد ارزشیابی مستقل استفاده کند هم‌‌چنان‌‌که می‌تواند آن را به عنوان مکمل یا همراه با ارزشیابی مبتنی بر هدف به کار بندد و یا می‌تواند از آن را متقدم بر ارزشیابی مبتنی بر هدف استفاده کند [1]. تنها دو حالت وجود دارد که در آن ارزشیابی فارغ از هدف نباید استفاده شود: (1) زمانی که ذینفعان برنامه مایل یا قادر به انطباق با ماهیت فارغ از هدف مدل ارزشیابی نیستند، و (2) زمانی که ارزیاب، دانش پیشین معتنابه و یا تجربه زیادی از اهداف و مقاصد برنامه دارد و نمی‌توان او را فارغ از اهداف در نظر گرفت.
  5. در آرایش ساختاری فعلی مرکز پژوهش‌‌ها سه مجموعه باید به صورت خاص بر انجام فرایند ارزشیابی فارغ از هدف اهتمام کنند: گروه آزمایشگاه حکمرانی و سیاست‌‌پژوهی دفتر حکمرانی که به تامین و تمهید روش‌‌شناسی و ابزارهای موردنیاز مطلق ارزشیابی و به صورت خاص ارزشیابی فارغ از هدف مبادرت کند، در عین حال این گروه به همراه مرکز داده‌‌کاوی با اتکا به روش‌‌هایی چون شبیه‌‌سازی، بازی‌‌واره‌‌سازی، سیستم‌‌دانامیک، عامل‌‌محور و ... به ارزشیابی فارغ از هدف پیشینی پیش‌‌نویس‌‌های قانونی بپردازد و مرکز افکارسنجی که ارزشیابی فارغ از هدف را به صورت پسینی و با اتکا به مدل‌‌های سنجش افکار عمومی اجرا کند. در این بازآرایی ساختاری، دفاتر تخصصی مرکز شان غربالگر خواهند داشت و مراکز سه‌‌گانه (یعنی مرکز داده‌‌کاوی، افکارسنجی و گروه آزمایشگاه) شان ارزیاب.

 

1.مقدمه

در دوران رکود و ریاضت اقتصادی که منابع (به خصوص منابع کمیاب) ارزش محسوس پیدا می‌‌کنند ارزشیابی‌ها منبع اطلاعاتی مهمی برای خط‌مشی‌گذاران به منظور برآورد اثربخشی و کارایی هزینه‌های عمومی است لذا درون نظامات سیاسی، مجلس‌‌ها یکی از متقاضیان مهم ارزشیابی خواهند بود، چراکه از یک طرف، ارزشیابی‌ها اطلاعاتی را (خط‌‌مشی‌‌ها چه پیامدهایی دارند یا اینکه چه خط‌‌مشی‌‌هایی کار می‌‌کنند) به منظور تصمیم‌گیری برای قانون‌‌گذاری فراهم می‌کنند و از سوی دیگر به مجلس‌ها کمک می‌کنند تا وظایف نظارتی خود را نسبت به اقدامات دولت انجام دهند [1]. ارزشیابی دو اثر مهم برای مجلس خواهد داشت:

  • کاهش عدم قطعیت‌‌ها: هم پیش از این و هم در آینده، ارائه اطلاعات خط‌مشی، ابزاری مهم برای اجرای نقش مجلس‌ها و پارلمان‌ها است. یک ابزار کلیدی ایجاد بینش نسبت به عملکردها، ارزشیابی خط‌مشی است. ارزشیابی را می‌توان به عنوان یک فرآیند ساختاریافته در نظر گرفت که اطلاعاتی را در مورد سرشت، روند و نتایج خط‌‌مشی ایجاد و ترکیب می‌کند تا سطح عدم‌قطعیت ذینفعان را در مورد یک برنامه یا خط‌‌مشی معین کاهش دهد. حال نمایندگان مجلس به عنوان نمایندگان افرادی که برای خط‌‌مشی‌‌ها هزینه می‌کنند و گروه‌های هدف را تشکیل می‌دهند، ذی‌نفعان برتر بوده و به دلیل مذکور می‌توانند به ارزشیابی علاقه معتنابهی داشته باشند [2].
  • افزایش شفافیت: ارزشیابی با ابتنا بر شواهد بررسی می‌کند که چگونه یک قانون یا یک خط‌‌مشی به طور کلی در مقایسه با اهداف مورد نظر خود عمل کرده است و بدین جهت تمهیدکننده شفافیت تقنینی (اجرایی) است؛ سنجش اثر برای تأیید این موضوع بسیار مفید است [3]. شفافیت تقنینی، از یکسو مسئولیت‌پذیری سرمایه‌گذاری‌‌های عمومی را که در قالب فرایند قانون‌‌گذاری انجام می‌‌پذیرد تضمین می‌‌کند و از سوی دیگر، یادگیری و در نتیجه بهبود سودمندی مداخلات عمومی دولت را در طول زمان ممکن می‌‌سازد [4] چرا که هدف مهم ارزشیابی آن است که چه چیزی، برای چه کسی و در چه بافت و بستری کار می‌‌کند [4].

اصطلاح "ارزشیابی" دارای تعدد معانی است که حداقل بین مفهوم تکنوکراتیک ارزشیابی (آنچه کار می‌کند) و مفهوم سیاسی آن (موفقیت یک خط‌‌مشی به عنوان تابعی از تصورات سایر خط‌‌مشی‌‌گذاران، رسانه‌ها یا عموم مردم) تمایز قائل شده‌‌اند. برخی نیز حفظ روایت‌های مثبت در مورد خط‌مشی‌ها را عامل نادیده انگاشتن ارزشیابی دانسته‌‌اند [5]. به‌طور سنتی، فعالیت‌های عمومی با رویه‌های مطلوب و سرمایه‌گذاری‌های اقتصادی مناسب و البته همراه با لفاظی‌های زیبا که منضم به اصول، نیت‌ها و اهداف بود، مقبولیت می‌‌یافت. به ندرت بخش دولتی با ارجاع به نتایج به دست آمده از سیاست‌‌ها و اقدامتش مشروعیت خود را به دست می‌‌آورد. با این وجود، طرفداران ارزشیابی استدلال می‌کنند که دیگر توجه به دروندادها کافی نیست بلکه آنچه محاسبه می‌‌شود، دستاوردهای واقعی است و به همین جهت خط‌‌مشی عمومی باید نتیجه‌‌گرا شود [6]. بنابراین ارزشیابی بر این اصل تکیه زد که مداخلات دولت باید دارای مزایای قابل اثبات باشد و تصمیم گیرندگان باید در قبال اقدامات خود پاسخگو باشند [7]؛ به دیگر سخن، اگر نتایج واقعی کارهایی که انجام شده است و همین‌‌طور مسیرهای رسیدن به آن‌ها به دقت بررسی و ارزیابی شود، بهتر می‌توان به سمت جلو حرکت کرد و صرف نیت خوب، افزایش بودجه و تعیین چشم‌اندازهای هیجان‌انگیز کفایت نخواهد داشت [6].

در مجلس شورای اسلامی نیز، ارزیابی و نظارت توسط ارکان مختلفی صورت می‌گیرد.  این نظارت‌ها توسط کل مجلس(مانند استیضاح و سؤال)، هریک از نمایندگان(تذکر)، رئیس مجلس(نظارت بر مقررات دولتی)، کمیسیون‌های داخلی مجلس(کمیسیون اصل نودم قانون اساسی) یا نهاد زیرمجموعه مجلس(دیوان محاسبات کشور) صورت می‌گیرد. ابزارهای نظارتی مجلس را می‌توان به این شرح دانست: تذکر شفاهی، تذکر کتبی، سؤال از وزرا و رئیس جمهور، استیضاح، تحقیق و تفحص، رأی اعتماد، نظارت موضوع ماده (234) قانون آیین‌نامه داخلی مجلس (نقض، عدم توجه به شأن یا استنکاف از اجرای قوانین)، نظارت کمیسیون اصل نودم قانون اساسی، نظارت دیوان محاسبات کشور، نظارت رئیس مجلس بر مقررات دولت، نمایندگان ناظر در شوراهای اجرایی، نظلرت بر عملکرد دستگاه های دولتی، نظارت خاص کمیسیون‌های تخصصی، ایجاد کمیسیون ویژه به‌منظور نظارت و تصویب برخی موارد اجرایی خاص و مهم.

معاونت نظارت نیز با ارائه خدماتی نظیر: ارزیابی آثار اجرای قوانین، آسیب‌شناسی قوانین، شناسایی خلاءهای قانونی و سفارش و ارزیابی نظرسنجی‌ها که در خصوص تأثیر اجرای قوانین صورت می‌گیرد؛ بررسی کارشناسی گزارش‌های نظارتی دریافتی از نمایندگان، کمیسیون‌های تخصصی، ناظرین مجلس در شوراها، مجامع و هیأت‌ها و سایر دستگاه‌های نظارتی و تهیه گزارش تحلیلی و تطبیقی از آن‌ها برای ارائه  به نمایندگان و کمیسیون‌های ذیربط رئیس و هیأت رئیسه مجلس حسب مورد؛ ارائه نظرات مشورتی در خصوص امور نظارتی مجلس به نمایندگان و کمیسیون‌ها، یکی از اصلی‌ترین ارکان مجلس در امر ارزشیابی قوانین و مصوبات است. حال سؤال این است که مجلس و ارکانش چگونه می‌توانند ارزشیابی دقیقی از مصوبات خود داشته باشند؟ در واقع باید پرسید رویکردهای نوین ارزشیابی که کارایی و اثربخشی آن را بالا می‌برد کدامند و مجلس با چه آرایش و سازکاری می‌تواند از آن‌ها بهره بگیرد.

 

2.نظریه ارزشیابی؛ پارادایم‌ها و رویکردها

2-1. چهار موج ارزیابی

ودونگ [6] چهار موج ارزشیابی را معرفی می‌‌کند که عبارتند از موج علم‌‌محور، موج گفتگومحور، موج نئولیبرال و موج شواهد.

  • موج علم محور

سرشت ارزشیابی علم‌‌محور (اواسط 1950) خردگرایی رادیکال است که نهادهای خط‌‌مشی‌‌گذار را برای امر ارزشیابی به روش‌های بودجه‌ریزی برنامه‌ای، بودجه‌ریزی مبتنی بر صفر، طرح‌ریزی چندساله، آینده‌‌پژوهی، تجزیه و تحلیل سیستم‌ها و تجزیه و تحلیل هزینه ـ فایده (در مجموع تحلیل خط‌‌مشی) تجهیز کرده تا با استفاده از پژوهش و تحلیل علمی، خط‌‌مشی‌های معقول و بلندمدت بر بازی‌های کوتاه‌مدت بین احزاب و گروه‌های ذینفع تاثیر بگذارد (اگر نگوییم به طور کامل جایگزین شوند)؛ گروه‌‌هایی(ذینفع) که با استفاده از قوانین سرانگشتی، خیال‌پردازی‌های گذرا و دانش داستانی تلاش می‌کنند تا مسائل اجتماعی را در هم‌‌آمیزند. خردگرایی رادیکال تأکید کرد که قبل از تصمیم دولت‌ها برای مداخله، مسائل باید به طور کامل و البته علمی بررسی شوند [6].

 

جدول 1: مراحل خردگرایی رادیکال [6]

1. خط‌‌مشی‌‌گذار به دنبال حل چه مسئله‌‌ای است؟

2. علل (یا نیروهای محرک پشت سر) مسئله چیست؟

3. اگر کاری انجام نشود، مسئله احتمالا چه تاثیراتی خواهد داشت؟

4. چه اهدافی در حوزه مسئله تعیین شده است؟

5. تصور می‌‌شود چه ابزارهای جایگزینی برای دستیابی به اهداف کمک می کند؟

6. پیامدهای ابزارهای جایگزین چیست و احتمال ایجاد این پیامدها چقدر است؟

7. هزینه‌‌ها و منابع مورد نیاز با ابزارهای مختلف چه میزان است؟

8. با توجه به این محاسبات در مورد پیامدها و هزینه‌‌ها، چگونه می‌‌توان ابزارهای جایگزین را ترتیب داد، و چه معیاری را باید در انتخاب وسیله مورد استفاده قرار داد؟

9. چگونه می‌‌توان از تجربیات حاصل از انتخاب‌‌هایی که قبلا انجام شده و اجرا شده است برای سنجش مجدد اهداف تعیین شده و وسایل اتخاذ شده استفاده کرد؟

 

  • موج گفتگومحور

موج دوم یعنی موج گفتگومحور (اواسط دهه 1970) در زمانی مطرح شد که اعتماد به ارزشیابی تجربی از بین رفته بود. استدلال شد که ارزشیابی باید کثرت‌‌گراتر باشد و مشارکت‌‌کنندگانی غیر از سیاستمداران، مدیران ارشد و پژوهشگران دانشگاهی باید در آن مشارکت داشته باشند. ایده ذینفعان تقریباً در این زمان در گفتمان و عمل ارزشیابی گنجانده شد. ذینفعان به عنوان گروه‌ها یا افرادی هستند که در مداخله‌ای که باید ارزشیابی شود، منافعی دارند. ادعاها، نگرانی‌‌ها و مسائل ذینفعان مختلف باید به عنوان نقطه عزیمت ارزشیابی‌‌ها باشد [6].

  • موج نئو‌‌لیبرال

پیشگامان ارزشیابی در دهه 1960 ادعا کردند که مسئله نظام دموکراسی نمایندگی و بخش عمومی این است که بیش از حد بر باورهای ایدئولوژیک مغرضانه، تاکتیک‌‌های سیاسی، مشاجره‌‌های بیهوده، خیال‌‌پردازی‌‌های گذرا و دانش داستانی مبتنی است. درمان این درد، علمی‌‌سازی اقدامات بود که به طور خاص بر اثرات مداخله‌‌ای تمرکز داشت. با این وجود، همانطور که دیدیم، این جنبش الهام گرفته از علم (جنبش علم‌‌محور) به زودی با تقاضاهایی برای مشارکت بیشتر ذینفعان و گفتگو و ارتباط میان آن‌ها، گروه‌‌های ذینفع و شهروندان (موج گفتگومحور) مواجه شد. نوآوری موج سوم (یعنی موج نئولیبرال در دهه‌‌های 1980 و 1990) نه نفس تحقق اهداف و یا بهبود اثربخشی، کارایی و بهره‌وری که فرایند و مسیر تحقق آن‌ها بود که این بار نه با مشارکت ذینفعان یا علمی‌سازی از بالا به پایین، بلکه با بازاری‌‌سازی دولت بنا بود محقق شود. در این فرایند، دولت نه به عنوان راه‌‌حل که بخشی از مسئله بود که باید با تمرکززدایی، مقررات‌‌زدایی، خصوصی‌‌سازی، مشارکت جامعه مدنی و به ویژه مشتری‌‌مداری وضع بازاری پیدا می‌‌کرد.

  • موج شواهد: بازگشت آزمایش

حامیان این جنبش خواستار موفقیت دولت‌‌ بوده و برایشان مهم آن است که چه چیزی کار می‌‌کند و معتقدند آنچه کار می‌‌کند شواهد نامیده می‌‌شود. موج شواهد ابتنا بر دیدگاه روش‌شناسی علوم اجتماعی داشته و بر عقلانیت ابزار ـ هدف تاکید می‌‌کند و لذا ارزشیابی را عامل ارتقاء و انتشار دانش ابزاری می‌‌داند. برخی از صاحب‌‌نظران استدلال می‌‌کنند که جنبش شواهد به نوعی بازگشت ارزشیابی مبتنی بر علم است، اما در پوششی جدید [6].

2-2.رویکرد‌های نظریه ارزشیابی

فیتزپاتریک و همکاران [8] رویکردهای ارزشیابی را به چهار دسته طبقه‌بندی کرده‌‌اند. آن‌ها نظریه‌‌ها را براساس عامل اولیه‌‌ای که اقدامات انجام شده در ارزشیابی را هدایت یا راهنمایی می‌کند، دسته‌‌بندی می‌کنند:

 

 

2-2-1. رویکردهای معطوف به قضاوت جامع درباره کیفیت برنامه یا محصول

 این رویکردها شامل ارزشیابی‌های تخصص‌محور و مصرف‌کننده‌محور است. این دو رویکرد اگرچه از نظر اینکه چه کسی ارزشیابی می‌‌کند متفاوت است، اما وجه مشترک آن‌ها این است که ارزشیابان را هدایت می‌کنند تا بر ارزش‌گذاری یا قضاوت در مورد کیفیت چیزی که ارزشیابی می‌کنند تمرکز کنند.

- رویکرد تخصص‌محور به تخصص حرفه‌‌ای برای قضاوت در مورد کیفیت یک موسسه، برنامه، محصول یا فعالیت متکی است که در چهار شیوه انجام می‌‌شود: 1. سیستم‌‌های بررسی حرفه‌‌ای رسمی، 2. سیستم‌‌های بررسی حرفه‌‌ای غیررسمی، 3. بررسی‌‌های کمیته موقت یا موردی، 4. بررسی‌‌های فردی موقت یا موردی[8].

جدول 2: برخی از ویژگی‌های چهار نوع رویکرد ارزشیابی تخصص‌محور[8]

نوع رویکرد ارزشیابی تخصص گرا

آیا ساختاری برای انجام بررسی وجود دارد

آیا استانداردهای منتشر شده یا صریح به عنوان بخشی از بررسی استفاده می‌شود

آیا بررسی‌‌ها در بازه‌‌های زمانی مشخص برنامه‌ریزی می‌شوند

آیا بررسی شامل نظرات کارشناسان متعدد است

آیا نتایج بررسی تأثیر ی بر وضعیت هر چیزی که در حال ارزشیابی است دارد

سیستم‌‌های بررسی حرفه‌‌ای رسمی

بله

بله

بله

بله

معمولاً

سیستم‌‌های بررسی حرفه‌‌ای غیر رسمی

بله

به ندرت

گاهی اوقات

بله

معمولاً

بررسی‌‌های کمیته موقت یا موردی

خیر

خیر

خیر

بله

گاهی اوقات

بررسی‌‌های فردی موقت یا موردی

خیر

خیر

خیر

خیر

گاهی اوقات

 

- همانند رویکرد تخصص‌محور، ارزشیابی مصرف‌کننده‌محور‌ (مشتری‌محور) قرن‌هاست که در عمل تصمیم‌گیری افراد درباره خرید یا تجارت کردن وجود داشته است [8].

 

2-2-2.رویکردهای معطوف به مشخصه‌‌های برنامه

این رویکردها شامل ارزشیابی‌های مبتنی بر اهداف، ارزشیابی‌های مبتنی بر استانداردها و ارزشیابی‌های مبتنی بر نظریه است. در هر یک از این رویکردها، ارزشیاب از مشخصه‌های برنامه، اهداف آن، استانداردهایی که برای دستیابی به آن طراحی شده است، یا نظریه‌ای که برنامه بر آن متکی و استوار است استفاده می‌کند تا مشخص کند که کدام سؤال ارزشیابی کانون تمرکز ارزشیابی خواهد بود.

در واقع، رویکرد مبتنی بر هدف‌‌بر میزان دستیابی به اهداف (چه اهداف از پیش تعیین‌‌شده و چه اهداف با مشارکت ذینفعان مشخص شده) متمرکز است؛ این در حالی است که مدل‌‌های منطقی زمانی مناسب است که برنامه‌‌ها برای دستیابی به اهداف خود با شکست مواجهه می‎شوند چرا که این مدل‌‌ها با پر کردن "جعبه سیاه" بین برنامه و اهداف آن، بر ارزشیابی تأثیر گذاشته‌‌اند. ادوارد ساچمن معتقد است برنامه‌‌ها ممکن است به دو دلیل کاملاً متفاوت در رسیدن به اهداف خود شکست بخورند: الف) شکست در اجرا و ب) شکست نظریه. ارزشیابی مبتنی بر نظریه یا نظریه محور برای تبیین چرایی شکست نظریه کاربرد دارد [9].

2-2-3.رویکردهای مشارکت‌کننده ‌محور (معطوف به مشارکت ذینفعان)

رویکردهای معطوف به مشارکت ذینفعان شامل ارزشیابی پاسخگویانه (واکنشی)، ارزشیابی مشارکتی عملی، ارزشیابی توسعه‌‌ای، ارزشیابی توانمندساز، و رویکردهای دموکراتیک می‌باشد. وجه اشتراک رویکردهای مشارکت‌کننده ‌محور این است که همه آن‌ها از ذینفعان (افراد ذینفع اعم از ذینفعان برنامه، خط‌‌مشی‌گذاران، حامیان برنامه، مدیران، کارکنان، دریافت‌کنندگان برنامه یا افراد سهیم در برنامه) برای کمک به انجام ارزشیابی استفاده می‌کنند [8].

  •  ارزشیابی مشارکتی عمل‌گرا (P-PE) شامل همکاری نزدیک ارزشیابان با ذینفعان اصلی، مدیران برنامه و کارکنان برای انجام یک ارزشیابی مشترک است. این رویکرد شامل آموزش پرسنل کلیدی سازمانی در زمینه مهارت‌‌های فنی ارزشیابی است، در حالی که آن‌ها در مشارکت با ارزشیابان کار می‌‌کنند. این شکل از ظرفیت‌سازی در سازمان‌‌ها به منظور تقویت مستقیم یادگیری سازمانی و آماده‌‌سازی اعضای کلیدی سازمان برای انجام هماهنگی ارزشیابی در پروژه‌‌های مستمر و جدید است [8].
  •  ارزشیابی توسعه‌‌ای چیز خاصی را ارزشیابی نمی‌‌کند بلکه از سبک‌‌ها یا شیوه‌‌های تفکر و تکنیک‌‌های ارزشیابی برای کمک به فرآیند توسعه و رشد ثابت، مستمر، و متغیر سازمان استفاده می‌‌کند [8]. در ارزشیابی توسعه‌‌ای، ارزشیابان صراحتا بخشی از تیم طراحی برنامه هستند. بنابراین، ارزشیاب نقش خارجی مستقلی را که می‌‌تواند در تصمیم‌‌گیری‌‌های نهایی ارزشمند باشد، از دست می‌‌دهد. اما ارزشیابی توسعه‌‌ای نه برای تصمیم‌گیری‌های نهایی در نظر گرفته شده است و نه برای تصمیم‌‌گیری‌‌های تکوینی، برای توسعه است [8]. این روش شامل ارائه بازخورد به‌‌هنگام (یا نزدیک به آن) به کارکنان برنامه است [7].
  •  ارزشیابی توانمندساز استفاده از مفاهیم و تکنیک‌های ارزشیابی برای پرورش مهارت خود تعیین‌گری (یا خود تصمیمی) و تمرکز بر کمک به مردم برای کمک به خودشان است [9]. این روش شامل فراهم کردن ابزارها و اطلاعات برای جوامع می‌‌شود تا بدان وسیله، عملکرد خود را پایش و ارزشیابی کنند؛ سه نقش این ارزشیابان عبارت است از: آموزش، تسهیل‌‌گری و طرفداری.
  • در حالی که ارزشیاب بوروکراتیک، به سازمان‌‌های دولتی خدمت می‌‌کرد، ارزشیاب مستقل هرچند توسط سازمان‌‌های دولتی استخدام شده بود ولی در مالکیت کار ارزشیابی و احتمالا انتشار آن مستقل‌‌تر بود با ارزشیاب دموکراتیک نیز مواجهیم که به سازمان‌های دولتی خدمت نمی‌کند، اما با ارزشیابی‌‌های خود در خدمت حق عمومی مردم برای دانستن است. برای خدمت به حق عمومی مردم برای دانستن، نتایج ارزشیابی باید به روش‌هایی ارائه شود که برای عموم مردم قابل درک باشد.

جدول 3: نسبت‌سنجی میان موج‌‌ها و رویکردهای ارزشیابی(ساخته پژوهش حاضر)

          موج‌های ارزشیابی

 

رویکردهای ارزشیابی

موج اول: علم محور ـ فنی

موج دوم: گفتگومحور ـ توصیفی

موج سوم: نئولیبرال ـ بازارگرا

موج چهارم: شواهد ـ طبیعت‌‌گرا

معطوف به خروجی برنامه

تخصص‌‌محور و قابلیت ارزشیابی و پایش بر عملکرد

مصرف‌‌کننده‌‌محور

مشتری محور

بدون هدف

معطوف به مشخصات برنامه

مبتنی بر استانداردها و مبتنی بر هدف

مبتنی بر هدف

پاسخگویانه (واکنشی)

 

معطوف به اصلاح برنامه

 

CIPP

توسعه‌‌ای

 

معطوف به ذینفعان برنامه

ارزشیابی متمرکز بر کاربرد

توانمندساز

دموکراتیک

مشارکتی عملگرا

 

توانمندساز و دموکراتیک‌‌گرا

  

2-3.رویکرد ارزشیابی فارغ از هدف

ملاک‌‌های ارزشیابی یک قانون عبارتند از اثرگذاری، نتیجه‌‌بخشی و کارآمدی. اثرگذاری، عبارت از میزان گرایش‌‌ها یا رفتار عینی جمعیت موردنظر (افراد، شرکت‌‌ها و مقامات عمومی که مسئولیت اجرا و اعمال قانون را دارند) که منطبق با مدل هنجاری است تا جایی که می‌‌توان گفت این گرایش و رفتارهای عینی را قانون‌‌گذار تجویز و اراده کرده است. نتیجه‌‌بخشی عبارت است از میزان دستیابی یک عمل تقنینی به اهداف خود؛ این معیار به ویژه از منظر سیاسی قابل توجه است که قانون‌‌گذار بتواند اهداف پیشنهاد تقنینی خود را تعیین کند تا متعاقب آن بتوانند میزان تحقق آن اهداف را ارزشیابی کنند. کارآمدی نیز رابطه میان هزینه‌‌ها و منافع عمل تقنینی است. معنای هزینه فقط شامل پیامدهای مستقیم مالی اجرا و تبعیت از هنجارهای قانونی نیست بلکه عوامل غیرمادی مانند عدم رضایت روانی و احساسی بلکه تمام آثار منفی قانون را در بر می‌‌گیرد. منافع نیز ناظر به اهداف قانون‌‌گذاری است همچنین همه آثاری که با این اهداف منطبق است یا تحقق آنها را تقویت می‌‌کند نیز ذیل عنوان منافع قرار می‌‌گیرد. ارزشیابی مبتنی بر هدف به طور عمده بر ملاک نتیجه‌‌بخشی تاکید دارد و ارزشیابی فارغ از هدف که در تعقیب میزان و کیفیت آثاری است که قانون بر رفتار جوامع هدف و غیرهدف می‌‌گذارد بر دو ملاک اثرگذاری و کارآمدی ابتنا دارد.

 

2-3-1. مفهوم و منطق ارزشیابی فارغ از هدف

اگرچه اهداف، ابزارهای مفیدی برای مدیران و مجریان برنامه هستند اما در ارزشیابی فارغ از هدف، ارزشیاب به صورت تعمدی و به جهت درک و سپس مشاهده زمینه‌های تاثیرگذار بر نتایج و پیامدها از دانستن تمام اطلاعات مربوط اهداف و مقاصد رسمی یا اعلام شده برنامه اجتناب می‌کند چرا که تمرکز بر اهداف و مقاصد ممکن است مانع از تشخیص اثرات جانبی مثبت و منفی مرتبط با برنامه شود بنابراین تمام نتایج واقعی را مشاهده و اندازه‌گیری کرده و برنامه را با توجه به اثرات مثبت و منفی پیامدها یا تاثیر آن بر مخاطبانش قضاوت می‌کند.

ارزشیاب مبتنی بر هدف غالبا اهداف و مقاصد را با شرح برنامه دریافت می‌‌کند و سپس معیارهای سنجش نتایج را ایجاد می‌‌کند، در حالی که ارزشیاب بدون هدف اغلب با جمع‌آوری داده‌‌ها شروع می‌‌کند؛ به همین جهت ارزشیابان بدون هدف تازه‌کار، اغلب در تعیین اینکه کدام داده‌ها را جمع‌آوری کنند، اضطراب قابل‌توجهی را تجربه می‌کنند [10]. هنگامی که ارزشیاب فارغ از هدف شروع به درک این موضوع می‌‌کند که برنامه چه کاری انجام می‌‌دهد و به چه کسی خدمت می‌‌کند، سنجه‌‌های نتایج مرتبط اغلب خودشان را نشان می‌‌دهد و اضطراب ارزشیاب فروکش می‌‌کند [10].

در مجموع، مشخصه‌‌های اصلی ارزشیابی بدون هدف به شرح زیر است:

  • ارزشیاب به طور هدفمند از آگاه شدن از اهداف برنامه اجتناب می‌‌کند؛
  • اهداف از پیش تعیین شده برای محدود کردن کانون مطالعه ارزشیابی مجاز نیستند؛
  • ارزشیابی فارغ از هدف به جای نتایج برنامه مورد نظر بر نتایج واقعی تمرکز دارد؛
  • ارزشیاب فارغ از هدف حداقل ارتباط را با مدیر برنامه و کارکنان خواهد داشت؛
  • ارزشیابی فارغ از هدف احتمال کشف عوارض جانبی پیش‌‌بینی نشده را افزایش می‌‌دهد [8].

 

2-3-2. کارکرد و اصول ارزشیابی فارغ از هدف

اسکریون (1972) معتقد است که مهمترین کارکرد ارزشیابی فارغ از هدف، کاهش سوگیری ناشی از شناخت اهداف برنامه و در نتیجه افزایش عینیت در قضاوت برنامه به عنوان یک کل است. رویکرد ارزشیابی فارغ از هدف در درجه اول برای شناسایی هرگونه عوارض جانبی پیش‌بینی نشده یک برنامه پیشنهاد شد که ارزشیابی هدفمند ممکن است به دلیل تمرکز بر نتایج قصد شده برنامه به جای نتایج واقعی برنامه از آن غفلت کند [8]. در ارزشیابی مبتنی‌ بر هدف، اهداف از پیش به ارزیاب برنامه ارائه می‌گردد و در نتیجه، برداشت‌های ارزیاب محدود می‌شود. اگرچه اهداف و مقاصد ابزارهای مفیدی برای اداره‌‌کنندگان و مدیران برنامه هستند؛ با این وجود، برای ارزشیاب، تمرکز بر اهداف و مقاصد ممکن است مانع از تشخیص عوارض جانبی مثبت و منفی ناخواسته مرتبط شود [11]. اسکریون [12] استدلال می‌‌کند هنگامی که فرد، اهداف و یا مقاصد اعلام شده برنامه را می‌‌آموزد، تمایل به تجربه دید تونلی نسبت به آن اهداف پیدا می‌‌کند که در نهایت منجر به نادیده گرفتن سایر نتایج مربوط به برنامه می‌‌شود بنابراین وی معتقد است که مهمترین کارویژه ارزشیابی بدون هدف کاهش سوگیری ناشی از شناخت اهداف برنامه، و در نتیجه افزایش عینیت در قضاوت برنامه به عنوان یک کل است [8]. هر چه ارزشیاب خارجی درباره اهداف پروژه کمتر بشنود، دید تونلی کمتری ایجاد خواهد شد و توجه بیشتری به جستجوی اثرات واقعی (به جای بررسی اثرات ادعاشده) از جمله توجه به عوارض جانبی و پیامدهای پیش بینی نشده فعالیت‌‌های برنامه معطوف خواهد شد [13].

چند اصل اساسی در ارتباط با ارزشیابی فارغ از هدف مطرح است:

  • ارزشیابی فارغ از هدف شامل اجتناب از اهداف و مقاصد است. اتکای بیش از حد به اهداف اعلام شده منجر به درگیر شدن در جزئیات پیش پا افتاده و ناتوانی در دیدن تصویر بزرگتر می‌‌شود. بنابراین، ناآگاهی ارزشیاب از اهداف بیان شده یک شرط لازم است [11]؛
  • همچنین پاتون [13] معتقد است ارزشیابی بدون هدف به جای ابتناء بر هدف، بر نیازها ابتناء دارد؛ یعنی بر سنجش میزان برآورده شدن نیازهای مخاطبان و جوامع هدف خط‌‌مشی یا برنامه تمرکز دارد. در نتیجه، دستاورد یک ارزشیابی فارغ از هدف، سنجش شایستگی خط‌‌مشی یا برنامه است، نه دستیابی به هدف. از اینرو می‌توان ادعا کرد این تمرکز بر نیاز و در نتیجه سنجش شایستگی خط‌‌مشی یا برنامه، از اصول اساسی این رویکرد ارزشیابی است؛
  • در این نوع ارزشیابی بر شناسایی اثرات مرتبط به خط‌‌مشی یا برنامه بدون ارجاع به اهداف و مقاصد آن تاکید می‌‌شود؛ لذا گاهی به شناسایی آنچه محقق شده بدون لحاظ کیفیت پیشبرد اهداف و مقاصد خط‌‌مشی یا برنامه اهتمام دارد؛
  • یک اصل مهم در ارزشیابی فارغ از هدف آن است که باید بتوان آنچه فی‌‌الواقع رخ داده است را منطقا به برنامه یا مداخله سیاستی نسبت داد؛
  • اصل دیگر ارزشیابی فارغ از هدف آن است که باید بتواند میزان مثبت، منفی یا خنثی بودن اثرات یک خط‌‌مشی یا برنامه که به صورت واقعی ایجاد شده است را تعیین کند.

 

2-4. رابطه ارزشیابی مبتنی بر هدف و ارزشیابی فارغ از هدف

در خصوص ارتباط بین ارزشیابی‌های مبتنی‌ بر هدف و فارغ از هدف می‌توان ادعا کرد که این دو رویکرد ارزشیابی غیرقابل جمع نیستند و مکمل یکدیگرند. ارزشیابان داخلی (کارکنان یک سازمان یا دستگاه اجرایی)، بر حسب ضرورت، ارزشیابی مبتنی ‌بر هدف انجام می‌دهند؛ آن‌ها نمی‌توانند از دانستن اهداف برنامه اجتناب کند. مدیران برنامه نیز باید بدانند که برنامه تا چه حد به اهداف خود دست یافته است. در عین حال، قضاوت دیگران (ارزشیابان خارجی) در خصوص برنامه نیز اهمیت دارد، هم به لحاظ کیفیت و نحوه عملکرد برنامه و هم براساس پیامدهایی که برنامه در تمامی زمینه‌ها دارد. این وظیفه مهم بر عهده ارزیابان فارغ از هدف و خارج از سازمان است که اطلاعی از اهداف برنامه ندارند. بنابراین، ارزشیابی مبتنی‌برهدف و ارزشیابی فارغ از هدف می‌توانند به خوبی در کنار هم اجرا شوند. ارزشیابی مقارن این دو روش نیز در شکل زیر ارائه شده است. در مدل زیر، ارزیابی ناظر به چهار سطح انجام گرفته است: مورد ارزشیابی، ارزیابان، کاربران ارزشیابی و پژوهشگران ارزشیابی.

  • در مورد یا متعلَق ارزشیابی، ابتدا باید خط‌‌مشی یا برنامه به دو تیم ارزشیابی مبتنی بر هدف و فارغ از هدف آموزش داده شود؛
  • سپس تیم‌‌های ارزشیابی برای انجام دو شیوه مبتنی بر هدف و فارغ از هدف تکمیل شوند؛
  • سپس گزارش ارزشیابی به کاربران ارزشیابی که عبارتند از خط‌‌مشی‌‌گذاران، بهره‌‌برداران از نتایج ارزشیابی و تأمین مالی‌‌کنندگان ارزشیابی داده شود؛
  • در نهایت تیم پژوهش پرسشنامه ساخت‌‌یافته را برای تکمیل به کاربران ارزشیابی بدهد؛ پرسشنامه اول، نگرش ایشان نسبت به ارزشیابی مبتنی بر هدف مشخص می‌‌کند و پرسشنامه دوم نگرششان را نسبت به ارزشیابی فارغ از هدف. و سپس با روش گروه‌‌کانونی به ارزشیابی نتایج و تفاوت میان گزارش‌‌های دوگانه بپردازد.

  

شکل 1: ارزشیابی مشترک مبتنی بر هدف و فارغ از هدف [14]

برنامه آموزشی

تیم پژوهش

آموزش‌دهندگان

ارزیابها

مورد ارزیابی

کاربران ارزیابی

پژوهشگران ارزیابی

تیم GFE

 GFE

مبتنی بر هدف

گروه‌کانونی

پرسشنامه

پرسشنامه

گزارش

فارغ از هدف

 

 

 

تیم GBE

 

2-5. انتقادات به رویکرد ارزشیابی فارغ از هدف

چهار انتقاد مهم به رویکرد ارزشیابی فارغ از هدف وارد شده است:

  • نقد هویتی: با وجود محاسن متعددی که برای ارزشیابی فارغ از هدف برشمرده شده است این رویکرد عموما توسط مدیران و ارزشیابان برنامه به دلایل روشنی چون فقدان ساختار از پیش تعیین شده و افزایش اضطراب و نگرانی ارزشیاب، نامطلوب تلقی شده است [12]. لذا پس از چند دهه از معرفی این رویکرد، علاقه کمی به آن در میان دانش‌‌پژوهان ارزشیابی وجود دارد.
  • نقد کارکردی: برخی از انتقادات رایج از ارزشیابی فارغ از هدف شامل این استدلال است که این رویکرد از ذینفعان بالادستی بیش از حد مستقل است، بنابراین برای آن‌ها مفید نیست؛
  • نقد ارزش‌‌شناختی: ارزشیابی فارغ از هدف، اهداف و مقاصدی را که تعمدا برای دموکراتیک بودن ساخته شده‌‌اند نادیده می‌‌گیرد و تنها برنامه‌‌های بالغی که خیلی موفق هستند، متقاعد خواهند شد که چنین رویکرد ارزشیابی " پرمخاطره‌‌ای" را امتحان کنند [11].
  • نقد روش‌‌شناختی: یکی از انتقادات جدی بر ارزیابی فارغ از هدف، این است که این رویکرد فاقد روش‌شناسی قابل استفاده است. اگرچه ارزیابی فارغ از هدف در ارزیابی برنامه بیش از 50 سال [15] سابقه دارد، با این حال تعدادی از اندیشمندان ارزیابی آن را به عنوان یک لفاظی محض مورد انتقاد قرار داده و نتیجه می‌گیرند که کاربرد عملی ندارد [16].

بسیاری از انتقادات فوق دقیقاً جهاتی را مورد نقد قرار می‌‌دهد که ارزشیابی فارغ از هدف آن جهات را هدف‌‌گیری کرده و در آن خود را از رویکرد مبتنی بر هدف ممتاز نموده است: مثلاً فقدان ساختار منقح و از پیش‌‌طراحی‌‌شده، استقلال از ذینفعان بالادستی، فقدان روش‌‌شناسی قابل تعمیم و مانند آن. اگر بازبودگی و امکان مانور این رویکرد سلب شده و در دام استبداد متدولوژیک و تصلب ساختارهایی یکنواخت و غیربهبودیابنده در فرایند اجرای ارزشیابی بیفتد و یا خود را وامدار مدیران و ذینفعان برنامه بداند مطلوبیت خود در شناسایی آثار واقعی برنامه‌‌ها را از دست خواهد داد.

 

3.انجام ارزشیابی فارغ از هدف؛ مدل‌های اجرایی و روش‌شناسی

 ارزیابی فارغ از هدف یک مدل ارزیابی جامع و مستقل نیست، بلکه ماهیت نگرشی و رویکردی دارد؛ نوعی جهت‌‌دهی است به ارزیاب در طول فرایند ارزیابی. اسکریون (1991) ادعا می‌کند که ارزیابی فارغ از هدف از نظر روش‌شناختی خنثی است، به این معنی که می‌توان از آن مشترکا با چندین رویکرد، مدل و روش ارزشیابی (روش مورد موفقیت (به عنوان مثال، برینکرهوف، 2003)؛ متن، ورودی، فرآیند، مدل محصول (به عنوان مثال، استفلیبیم، 2003)؛ ارزیابی متمرکز بر استفاده؛ ارزیابی سازه‌انگاری (به عنوان مثال، گوبا و لینکلن، 1989)؛ و قضاوت خبرگان (ایزنر، 1985) استفاده کرد. اسکریون (1991) ادعا می‌کند که ارزشیابی مبتنی بر هدف از نظر روش‌شناختی ثابت است، در حالی که ارزشیابی فارغ از هدف می‌تواند با تغییرات پراکنده در نیازهای جوامع هدف، منابع برنامه و اهداف برنامه سازگار شود چراکه جوامع هدف، برنامه‌ها، بنیادها و محیط آن‌ها پویاست. آنچه زمانی یک هدف یا هدف مناسب بود، ممکن است به مرور زمان کمتر مرتبط شود. برخی از محققان در اوایل دهه 1950 دریافتند که در واقع، این تغییرات اغلب از درون آمده و سازمان‌ها و کارکنان آن‌ها اختیارات زیادی برای تعریف و تغییر اهداف و مقاصد خود دارند [17]

 

3-1.نقطه شروع؛ جمع‌آوری داده

برای ارزیاب و نیز ناظر ارزیابی فارغ از هدف، یک مسئله روش‌شناختی وجود دارد: پس از پذیرش این فرض که یک برنامه را می‌توان بدون ارجاع به اهداف آن ارزشیابی کرد، سوال اجتناب‌ناپذیر این است: چه داده‌هایی جمع‌آوری شود؟ ارزیاب مبتنی بر هدف معمولاً اهداف و مقاصد را با شرح برنامه دریافت می‌کند و سپس شاخص‌های پیامدها را تعیین می‌کند، در حالی که ارزیاب فارغ از هدف اغلب با جمع‌آوری داده‌ها شروع می‌کند. تفاوت اساسی بین دانستن اینکه هنگام ارزیابی یک محصول مانند ماشین لباسشویی از کجا باید شروع کرد در مقایسه با ارزیابی یک برنامه احیای محله، از درک ارزیاب از موضوع مورد نظر و آنچه قرار است انجام دهد، ریشه می‌‌گیرد. ارزیاب فارغ از هدف از دانستن آنچه قرار است برنامه انجام دهد (اهداف و مقاصد) منع می‌شود، بنابراین نخستین وظیفه ارزیاب فارغ از هدف تلاش برای تعریف و توصیف برنامه است. این امر با اندازه‌گیری، مشاهده و بررسی ادبیات و اسناد مربوط به اقدامات و فعالیت‌های برنامه انجام می‌شود. هنگامی که ارزیاب فارغ از هدف شروع به درک این موضوع می‌کند که برنامه چه کاری انجام می‌دهد و به چه کسی خدمت می‌کند، اقدامات مربوط به نتیجه اغلب خود را نشان می‌دهد و اضطراب ارزیاب کاسته می‌شود [10].

 

3-2. پیش‌نیازهای روش‌‌شناختی برای ارزیاب فارغ از هدف

در واقع فقط دو پیش‌نیاز روش‌‌شناختی برای ارزیاب فارغ از هدف وجود دارد:

  • نخست این‌که ارزیاب فارغ از هدف، خارجی و مستقل از برنامه و ذینفعان بالادستی آن (تامین‌کنندگان مالی برنامه، طراحان، مجریان، مدیران، کارکنان، داوطلبان و ...) باشد.
  • دوم این‌که یک نفر به عنوان ناظر (غربالگر) هدف منصوب شود. یک غربالگر یک فرد بی طرف است (یعنی کسی که به طراحی فرایند ارزیابی یا جمع‌آوری داده‌ها منصوب نشده است)، مانند یک دستیار اداری، یک شخص ثالث یا حتی مخاطب ارزیابی. برای کاهش پتانسیل آلودگی ارزیاب به هدف، این فرد منصوب می‌شود تا تمام بیانیه‌های سازمانی و مطالب مرتبط با ارزشیابی را رهگیری کرده و اطلاعات هدف‌ را حذف و آن‌ها را از ارزیاب جدا کند [10].

در حالی که ارزیاب فارغ از هدف در تلاش است تا از استراتژی‌های کشف و تحقیق برای کشف اثرات واقعی استفاده کند فردی به او در مراحل اولیه ارزیابی هم از نظر ویرایش مطالب و هم به عنوان رابط برای کارکنان پروژه کمک می‌‌کند که غربالگر نام دارد؛ غربالگر بین ارزیاب و افراد برنامه مداخله می‌کند (حائل بین ارزیاب و منابع سوگیری) تا ارتباطات و اسناد هدف‌مدار را قبل از رسیدن به ارزیاب حذف کند. غربالگر به آموزش گسترده نیاز ندارد اما باید درک اساسی از هدف و روش ارزیابی فارغ از هدف داشته باشد و با سازمان و برنامه آن نیز آشنایی نسبی داشته باشد [18].

 

3-3. چک لیست ارزشیابی فارغ از هدف

چک لیست ارزشیابی فارغ از هدف، مجموعه‌‌ای از بایدها و نبایدهاست که در جدول شماره 1 ارائه شده است. این چک لیست، نسخه عملیاتی ایده‌آل ارزشیابی فارغ از هدف است، به این معنی که این چک لیست نظریه ارزیابی ایده‌آل (که هرگز قابل دستیابی نیست) را ارائه داده و توجیه می‌‌کند که چرا برخی از شیوه‌های ارزیابی منجر به انواع خاصی از نتایج در موقعیت‌هایی که ارزیابان با آن مواجه هستند می‌‌شود. چک لیست فوق، برای هدایت تلاش‌های ارزشیابی فارغ از هدف بوده و به عنوان ابزاری برای ارزیابی وفاداری ارزیاب به مدل طراحی شده است.

 

جدول 4: چک لیست بایدها و نبایدهای ارزشیابی بدون هدف [11]

بایدها

  •  یک غربالگر (یعنی واسطه‌‌ای که تضمین می‌‌کند هیچ اطلاعات مبتنی بر اهداف یا مقاصد به ارزشیاب بدون هدف منتقل نمی‌‌شود) شناسایی و به‌‌کار بگیرید.
  •  تمام بیانیه‌‌های سازمانی را به غربالگر ارجاع دهید و غربالگر را در طول ارزشیابی درگیر کنید تا از آلودگی احتمالی محافظت شود.
  •  قبل از پذیرش ارزشیاب، تمام مطالب نوشته شده را برای ارجاع به اهداف یا مقاصد برنامه غربال‌‌گری کنید.
  •  به همه افراد برنامه، ماهیت بدون هدف ارزشیابی را توصیه کنید. اطمینان حاصل کنید که آنها متوجه شده‌‌اند که قرار نیست اطلاعات مربوط به اهداف یا مقاصد را منتقل کنند.
  •  اگر کارکنان برنامه شروع به صحبت در مورد اطلاعات مبتنی برهدف کردند، آن‌‌ها را متوقف کنید.
  •  حوزه‌‌های بالقوه‌‌ای را که در آن می‌‌توانید برای اثرات جستجو کنید (تا حدی از طریق نیازسنجی) شناسایی کنید و از آنها به عنوان مبنایی برای معیارهای اندازه‌‌گیری استفاده کنید.
  •  ابزارهای قابل توجیه برای اندازه‌‌گیری عملکرد و اثرات واقعی (یعنی ابزارهای معقول با زمینه‌‌های مناسب برای استفاده) را شناسایی و انتخاب کنید.
  •  عملکرد و اثرات واقعی و تجربیات را اندازه‌‌گیری کنید؛ برنامه را همانطور که هست مشاهده کنید.
  •  اطلاعات واقعی درباره اثرات و تجربیات برنامه را با نیازهای از پیش شناسایی شده مقایسه کنید تا تاثیر برنامه بر نیازهای مصرف کننده را سنجش کنید.
  •  مشخصات یا نمایه‌‌ای از اثرات مثبت، منفی و خنثی ارائه دهید.

نبایدها

  •       با کارکنان برنامه در مورد اهداف یا مقاصد گفتگو نکنید.
  •      برای یافتن اهداف و مقاصد اعلام شده تلاش نکنید.

3-4. تسهیل ارزشیابی فارغ از هدف؛ توجیه، تبیین و نیازسنجی

برای تسهیل و اجرای بهتر ارزشیابی فارغ از هدف، دو موضوع وجود دارد که باید با آن‌ها برخورد شود:

  • موضوع اول بر چگونگی توضیح این رویکرد ارزیابی کمتر شناخته شده و گاه بحث‌برانگیز برای متقاضیان و ذینفعان ارزیابی تاکید دارد. بیان و روایت صحیح از این رویکرد نزد ذینفعان و اقناع ذهنی آنان به انجام هرچه بهتر این رویکرد و تحقق اهداف آن کمک شایانی می‌کند.
  • موضوع دوم به ارزیاب مربوط می‌شود؛ نادر بودن ارزشیابی فارغ از هدف، منحصر به فرد بودن روش آن و نادیده گرفتن اهداف مقاصد اعلام شده برنامه توسط آن، به این معنی است که زمان و تلاش بیشتری از سوی ارزیاب برای تبیین نظریه و روش‌شناسی ارزشیابی فارغ از هدف و همچنین برای هماهنگ کردن الزامات روش‌شناختی مانند غربالگری مورد نیاز است. ارزیاب تازه‌‌کار فارغ از هدف اغلب با دو سوال واضح روبرو می شود: چه داده‌هایی را باید جمع‌آوری کنم و چه چیزی را باید ارزش‌گذاری کنم؟ پاسخ اسکریون به این سوالات انجام یک نیازسنجی است [12] که نیازهای مصرف‌کنندگان برنامه را بررسی می‌کند و سپس این نیازهای مربوطه را با اندازه‌گیری‌ها و مشاهدات عملکرد فعلی و گذشته برنامه در برآورده کردن این نیازها مقایسه می‌کند.

در نهایت آنکه ارزشیابی فارغ از هدف یک مدل همه کاره است. تا زمانی که مدل ارزشیابی، جهت‌گیری هدف را دیکته نکند، می‌تواند در ترکیب با هر مدل ارزشیابی دیگری استفاده شود. همچنین باید توجه داشت که چهار اصل اساسی حاکم بر ارزشیابی فارغ از هدف، منابع اطلاعات اهداف و مقاصد از پیش تعیین شده و چک لیست برای انجام یک ارزشیابی فارغ از هدف، همگی به عنوان راهنمای روش‌شناختی برای ارزیاب‌های فارغ از هدف عمل می‌کنند.

4.مدل پیشنهادی ارزشیابی فارغ از هدف برای مجلس شورای اسلامی

ارزشیابی قانون را می‌‌توان برخوردار از هویت سه‌‌بعدی دانست: الف) بعد ابزاری که آن را ابزاری برای تغییر اجتماعی می‌‌دانند؛ ب) بعد توسعه نظری حقوقی که دانش برآمده از آثار اقدام تقنینی می‌‌تواند به اصول کلی حقوقی چون اصل برابری در قبال قانون، معنای تازه‌‌ای دهد؛ ج) بعد انتقادی که اعتبار قانون‌‌گذار را در نسبت تصمیماتش، پاسخگو می‌‌کند به این شکل که شکاف میان مقاصد قانون‌‌گذار و نتایج به‌‌دست‌‌آمده از قانون را به مثابه سوختی برای اصلاح قانون می‌‌کند [21]. به اعتبارات سه‌‌گانه که گفته شد روش‌‌های ارزشیابی مبتنی بر هدف کفایت لازم را نه به عنوان ابزار تام برای تغییر اجتماعی دارد، نه به بازگشایی افق‌‌های معنایی جدید در نسبت اصول قانون اساسی کمک می‌‌کند و نه امکان اتخاذ نوعی رئالیسم انتقادی در نسبت قوانین موجود را فراهم می‌‌کند و به همین جهت باید با روش‌‌های ارزشیابی فارغ از هدف جایگزین یا لااقل تکمیل شود.

معاونت نظارت نیز به تبع شرایط امکانی که برای خود و بیش از خود برای مجلس متصور است باید برای انجام پژوهش‌‌های مربوط به ارزشیابی (و نظارتی) تمسک به روش‌‌هایی کند که(بهره‌‌ور است یعنی) از یک‌‌طرف بالاترین میزان اثربخشی در سنجش را داشته باشد و از طرف دیگر با کمترین هزینه در فرایند اجرا و پایین‌‌ترین نیاز به داده‌‌هایی که در دست دولت است فرایند ارزشیابی را انجام دهد. به دو دلیل مهم ارزشیابی مبتنی بر هدف مطلوب نبوده و مرکز پژوهش‌‌ها باید متمرکز بر ارزیابی فارغ از هدف شود: دلیل اول، غیربهره‌‌ور بودن ارزیابی مبتنی بر هدف و نکته دوم عدم امکان انجام آن به سادگی (به جهت فقدان داده‌‌های موردنیاز برای ارزشیابی)؛ لذا به نظر می‌‌رسد ارزیابی مبتنی بر هدف، در شرایط موجود نظام سیاسی کشور (تفکیک قوا و دوگانگی سیاست و اداره) ممکن نیست اما اگر ممکن هم بود به تنهایی مطلوب نبود.

الف. عدم مطلوبیت

ارزشیابی مبتنی بر هدف که وظیفه سنجش ره‌‌آورد مورد انتظار یک برنامه را دارد به چند دلیل بهره‌‌وری لازم را برای هدف ارزشیابی مرکز پژوهش‌‌ها ندارد چرا که [20]:

  • اهداف باید در این رویکرد ارزشیابی به صورت جزئی، خاص و دقیق بیان شوند که هم زمان‌‌بر بوده و هم نیازمند سنجه‌‌های معتبر برای اندازه‌‌گیری هدف است.
  • به دلیل تأکید زیاد بر اندازه‌‌گیری اهداف، امکان لازم برای شناسایی تاثیرات ناخواسته، توصیف تنوع نتایج ناشی از زمینه برنامه و سنجش روابط بین اهداف را ندارد.
  • بعضا به شکست ارزشیابی خواهد انجامید؛ چه بسا اهدافی که در ذات خود شایستگی پیگیری ندارند و نمی‌‌توان تنها به دلیل تحقق آن‌‌ها، برنامه را موفق دانست محور ارزشیابی قرار بگیرند.
  • ممکن است اهداف مورد انتظار برنامه، آلوده به فساد، با کارکرد نامناسب، بی‌‌اهمیت، متناقض با نیازهای مخاطبان برنامه و برآمده از انگیزه‌‌های ناشی از سودانگاری و تعارض منافع باشد.
  • نگاه تک‌‌بعدی به ره‌‌آوردها دارد در حالی که بسیاری از ارزشیابی‌‌ها باید علاوه بر ره‌‌آوردها، خود اهداف، ساختارها و فرایندها را نیز بیازمایند؛ توجه تام به ره‌‌آوردها باعث غفلت از پیامدهای مهم و ناخواسته خواهد شد.
  • اهداف طراحان برنامه، ممکن است غیراخلاقی، غیرواقعی، متناقض با نیازهای سنجیده ‌‌شده، مطابق با علایق برنامه‌‌ریزان و به دور از بررسی آثار جانبی باشد.

ب. عدم امکان

  • ارزشیابی مبتنی بر هدف عمده بر اهداف و نیات فاعل برنامه‌‌ریزی یا خط‌‌مشی‌‌گذاری متمرکز است در حالی که ارزشیابی فارغ از هدف بر نیازهای جامعه هدف با ابتنا بر قضاوت‌‌های ارزشی واقع‌‌بینانه متمرکز است. شناخت نیات قانون‌‌گذار (که در عمده موارد قوانین مستفاد از لوایحی است که دولت تنظیم می‌‌کند) به جهت درهم‌‌تنیدگی امر فنی (که در اهداف اعلامی مندرج است) و امر سیاسی بسیار سخت است.
  • عمده پیچیدگی ارزشیابی توسط مجلس، به جهت فقدان اطلاعات اوست؛ از آنجا که اطلاعات به‌‌روز و معتبر در مواردی ابزاری قدرتمند برای اعمال نفوذ مقامات اداری است، این افراد علی‌‌رغم الزام قانونی، تمایلی برای اشتراک‌‌گذاری آن با دیگران (به خصوص نمایندگان مجلس که ناظر بر عملکردشان هستند) ندارند.
  • انجام فرایند ارزیابی تاثیرات، نیازمند برخورداری از نهادهای متعدد و طی تشریفات بوروکراتیک است که در دولت‌‌ها موجود و در مجالس، تقریبا مفقود است [23]

ارزشیابی فارغ از هدف هم واجد مطلوبیت‌‌هایی (نگاه چندبعدی، عدم تمرکز بر اهداف قانون‌‌گذار و توجه به فرایند، ساختار و ره‌‌آوردها) است که ارزشیابی مبتنی بر هدف، فاقد آن بود. اما در باب امکان نیز ارزشیابی فارغ از هدف وضع مشابهی دارد:

سنجش نیات قانون‌‌گذار: ارزشیابی فارغ از هدف موضوعاً از دامنه سنجش اهداف و نیات قانون‌‌گذار خارج است. آنچه در این رویکرد اصالت دارد سنجش فرایند و ره‌‌آورد قانون‌‌گذاری است فارغ از آنکه اهداف قانون‌‌گذار در این فرایند و آن برایند متبلور است یا خیر.

نیازمندی به اطلاعات دولتی: در عین حال که اخذ اطلاعات توسط مجلس از دولت به صورت رسمی (سوال از عالی‌‌ترین مقامات اجرایی، تحقیق و تفحص، کمیسیون‌‌های تخصصی پارلمانی و تاسیس نهادهای تخصصی نظارتی) برای ایجاد امکان ارزشیابی ره‌‌آورد عملکرد دولت سخت و بعضا ممتنع است‌ اما مجلس راهکارهای دیگری تحت عنوان راهکارهای غیررسمی دارد که عبارتند از کسب و جمع‌‌آوری اطلاعات از حوزه‌‌های انتخابیه، شبکه ارتباط شخصی نماینده و استفاده از قابلیت‌‌های احزاب و گروه‌‌های سیاسی متبوع نماینده [22]. همانطور که از روش‌‌های پیشنهادی برمی‌‌آید اخذ اطلاعات از دولت، سخت بلکه ممتنع است اما از جوامع هدف قانون یا برنامه ممکن و میسور خواهد بود.

برخورداری از امکان بوروکراتیک معتنابه: به جهت آنکه ارزشیابی فارغ از هدف در یک فرایند تخصصی و ناظر به اهداف خرد شده با سنجه‌‌های مشخص هر جزء نبوده بلکه بر کلیت آنچه واقع شده است عارض می‌‌شود محتاج امکان معتنابه بوروکراتیک نبوده و با حداقل بوروکراسی قابل تحقق است.

4-1. جانمایی ارزشیابی فارغ از هدف در مدل پیشنهادی ارزشیابی:

با توجه به اینکه به‌احتمال زیاد، معاونت نظارت مجلس امکانات و ظرفیت و به‌طورکلی زیرساخت کافی برای انجام ارزشیابی با ملاحظات فوق را ندارد، نیاز است از امکانات و ظرفیت‌های سایر بخش‌ها و نهادهای تابعه مجلس استفاده کرد تا با همکاری و هم‌افزایی این ‌نهادها، هدف والای ارزشیابی محقق شود. برای این منظور می‌توان از ظرفیت‌های تخصصی، بدنه کارشناسی و امکانات و دفاتر مرکز پژوهش‌های مجلس بهره گرفت. مرکز پژوهش‌های مجلس با دارا بودن بخش‌هایی نظیر گروه آزمایشگاه حکمرانی و سیاست‌‌پژوهی، دفتر حکمرانی، مرکز داده‌‌کاوی و مرکز افکارسنجی می‌تواند بدون صرف هزینه و ایجاد بوروکراسی جدید، بخش قابل توجهی از بار ارزشیابی قوانین معاونت نظارت را به دوش بکشد.

از اینرو و برای انجام ارزشیابی فارغ از هدف در مرکز پژوهش‌‌های مجلس شورای اسلامی و احصاء پیامدهای ناخواسته خط‌مشی‌های عمومی که در قالب طرح‌ها و لوایح صورتبندی شده‌اند، نیاز است ابتدا نقاط انجام این رویکرد ارزشیابی را در کل فرایند ارزشیابی بیابیم. پس از مکان‌یابی انجام ارزشیابی فارغ از هدف درون فرآیند ارزشیابی طرح‌ها و لوایح، روش‌های پیاده‌سازی آن را باید دنبال کنیم.

4-1-1.ارزشیابی فارغ از هدف در ارزشیابی پیشینی

جهت سهولت در فهم و اجرای رویکرد ارزشیابی فارغ از هدف، ابتدا لازم است مدل فرآیندی ارزشیابی را در مجلس شورای اسلامی بازبینی کنیم. در این مدل که هم ارزشیابی پیشینی و هم پسینی مندرج است چهار فعالیت قبل از اجرا و چهار فعالیت پس از اجرا قرار دارد. در مرحله پیش از اجرای طرح یا لایحه، چهار فعالیت اصلی شامل ساختاردهی مسئله، تحلیل شکاف، پیش‌بینی آثار و دانش تجویز قرار دارد. برای پیش‌بینی پیامدهای ناخواسته در ارزشیابی پیشینی طرح‌ها و لوایح،  رویکرد ارزشیابی فارغ از هدف در فعالیت پیش‌بینی آثار جانمایی می‌شود. یعنی در جایی که ما با روش‌ها و تکنیک‌هایی اقدام به پیش‌بینی آثار و پیامدهای طرح‌ها و لوایح  کرده‌ایم، اقدام به پیش‌بینی پیامدهای ناخواسته آن نیز با اتکاء به رویکرد ارزشیابی فارغ از هدف خواهیم کرد.

شکل2: مدل فرآیندی ارزشیابی در مجلس شورای اسلامی

 

 

 

  • ارزشیابی فارغ از هدف در راستای پیش‌‌بینی آثار واقعی قوانین:

در ارزشیابی پیشینی، ارزشیابی فارغ از هدف به دنبال پیش‌بینی آثار واقعی برنامه و قانون با ابتناء بر روش‌های متداول ارزشیابی که در رویکرد مبتنی بر هدف به کار گرفته می‌شود است. پیش‌بینی، مجموعه‌ای از رویه‌های تولید اطلاعات در مورد حالات آینده جامعه بر مبنای اطلاعات موجود  و گذشته است؛ آن‌ها، اطلاعاتی را در مورد نتایج مورد انتظار از قانون یا خط‌مشی ارائه می‌دهد. نکته حائز اهمیت آن است که استفاده از روش‌های پیش‌بینی در رویکرد ارزشیابی فارغ از هدف، با ملاحظه این معناست که اهداف و مقاصد رسمی قانون یا خط‌مشی مجهول می‌‌باشد. ویلیام دان سه شکل اصلی برای انواع پیش‌بینی ارائه می‌کند که عبارتند از: برون‌یابی، پیشگویی‌ها و قضاوت‌های خبرگانی.

الف) پیش‌بینی برون‌یابی

روش پیش‌بینی برون‌یابی، پیش‌بینی‌هایی از وضعیت‌های اجتماعی آینده را براساس داده‌های گذشته، جاری و تاریخی تولید می‌کند. پیش‌‌بینی مبتنی بر برون‌‌یابی غالبا بر تحلیل سری‌های زمانی استوار است که مستلزم تحلیل ارزش‌های مقادیر عددی جمع‌آوری شده در نقاط مختلف زمانی با ارائه متوالی است. تحلیل سری‌های زمانی، سنجه‌های تلخیص شده‌ای از میزان و نرخ تغییر در سال‌های گذشته و آینده ارائه می‌دهد. همچنین لازم به ذکر است پیش‌بینی مبتنی بر برون‌یابی بر سه پیش‌فرض:1) استمرار، 2) قاعده‌مندی و 3) روایی و پایایی استوار است.

ب) پیش‌بینی نظری  

پیش‌بینی نظری نوعی پیش‌گویی است که بر تبیین‌های نظری استوار است  و پرسش اصلی‌‌اش این است که چرا روند گذشته بایستی خود را در آینده تکرار کند. پیش‌گویی‌ها همچنین ممکن است از طریق پیش‌بینی‌های مبتنی بر خبرگی خبرگان یا مرجعیت روش‌هایی مانند مدل سازی اقتصادسنجی تکمیل شوند.

ج)پیش‌بینی قضاوتی خبرگان  

نوعی پیش‌بینی مبتنی بر تجربه حرفه‌ای و خبرگی افرادی است که فرض می‌شود دارای قابلیت‌هایی ویژه برای پیش‌بینی وضعیت‌های آینده جامعه هستند. قضاوت‌های  غیررسمی براساس دانش ضمنی، انجام می‌‌شود. در مقابل، پیش‌بینی‌های مبتنی بر استدلال صریح، کندتر، به روشی بیطرفانه تر و مطابق با قواعد پذیرفته شده یک رشته علمی یا یک حرفه انجام می‌شوند.

جدول 5: رویکردها، مبانی و روش‌‌های پیش‌‌بینی [19]

رویکرد

مبنا

روش

پیش‌بینی برون‌یابی

 

روند برون‌یابی

تحلیل سری‌های زمانی کلاسیک

برآورد روند خطی

وزن‌دهی نمایی

تبدیل داده‌ها

پیش‌بینی نظری

گزاره‌ها و قواعد نظری

نگاشت نظریه

مدل‌سازی علّی

تحلیل رگرسیون

برآورد فاصله‌ای و نقطه‌ای

تحلیل همبستگی

پیش‌بینی قضاوتی

قضاوت متخصص و خبره

دلفی کلاسیک

دلفی خط‌مشی

تحلیل اثر متقاطع

پیش‌بینی امکان‌پذیری

 

4-1-2. ارزشیابی فارغ از هدف در ارزشیابی پسینی

از آنجا که رویکرد ارزشیابی فارغ از هدف به سنجش پیامدهای واقعی یک برنامه یا قانون تمرکز دارد لذا رویکردی پسینی در ارزشیابی تلقی می‌‌شود. هدف از ارزشیابی پسینی ـ معطوف به گذشته ـ ، آگاهی از آن چیزی است که پس از اجرای قانون رخ می‌‌دهد؛ یعنی بررسی اثر واقعی قانون‌‌گذاری است. در واقع این نوع از ارزشیابی، به ارزیابی اثرگذاری، نتیجه‌‌بخشی و کارایی مقررات مبادرت دارد [22]. برای شناسایی پیامدهای ناخواسته پس از اجرای طرح‌ها و لوایح در ارزیابی پسینی، رویکرد ارزشیابی فارغ از هدف پس از فعالیت‌های پایش و ارزیابی جانمایی می‌شود. در اینجا نیز با اتکاء به روش‌های رویکرد ارزشیابی فارغ از هدف، اقدام به شناسایی پیامدهای ناخواسته خواهیم کرد.

  • شناسایی پیامدهای مطلوب و ناخواسته

ارزشیابی فارغ از هدف در ارزشیابی پسینی، به دنبال شناسایی پیامدهای واقعی برنامه و قانون می‌باشد و نه پیامدهای مقصود و گزینش شده آن. پیامدهای واقعی در دو قالب دسته‌بندی می‌شوند: پیامدهای مطلوب و پیامدهای ناخواسته.

ارزشیابی پسینی در ارزشیابی فارغ از هدف، اطلاعاتی روا و پایا در مورد عملکرد خط‌مشی تولید می‌‌کند؛ یعنی می‌‌گوید چه حدی از نیازها، ارزش‌ها و فرصت‌ها و همین‌‌طور اهداف اصلی و فرعی از طریق اقدام عمومی محقق شده‎اند. همچنین ارزش‌‌هایی که زیربنای اهداف کلی و فرعی هستند را از طریق تعریف و عملیاتی‌سازی، شفاف و نقد می‌‌کند. این فرایند شفاف‌‌سازی و نقد را می‌‌توان با بررسی سناریوهای بدیل ارزش‌‌محوری دنبال کرد؛ در این سناریوها به جای ارزش‌ها، مقامات دولتی و  منافع گروه‌های مشتری ملاک ارزیابی خواهند بود  و به جای تمرکز بر  عقلانیت جوهری، بر عقلانیت فنی، اقتصادی، حقوقی، اجتماعی تأکید می‌‌شود. معیارهای ارزشیابی پسینی دستاوردهای قانون یا خط‌مشی که گذشته‌نگرند به شرح ذیل است:

جدول 6: معیارهای ارزشیابی پسینی [19]

معیار

پرسش

معیار توضیحی

اثربخشی

آیا دستاورد ارزشمندی حاصل شده است؟

واحدهای خدمت

کارایی

برای دستیابی به دستاورد ارزشمند به چه مقدار تلاش نیاز بوده است؟

واحد هزینه

خالص منافع یا مزایا

کفایت

دستیابی به دستاورد ارزشمند تا چه حدی به رفع مسئله کمک می‌کند؟

هزینه‌های ثابت

برابری

آیا هزینه‌ها و منافع به طور مساوی میان گروه‌های مختلف توزیع می‌شود؟

معیار پارتو

معیار کالدور- هیکس

معیار راولز

پاسخگویی مسئولانه

آیا دستاوردهای حاصل از خطمشی، نیازها، ترجیحات یا ارزش‌های گروه‌های خاصی را برآورده می‌کند؟

سازگاری با پیمایش‌های شهروندان

تناسب

آیا دستاوردهای (اهداف) مطلوب واقعاً ارزشمند و سودمند هستند؟

برنامه‌های عمومی باید علاوه بر این که کارا هستند، منصفانه نیز باشند.

 

  • ارزشیابی نظری تصمیم

ارزشیابی پسینی در ارزشیابی فارغ از هدف از ارزشیابی رسمی فاصله باید بگیرد؛ ارزشیابی رسمی رویکردی است که با بهره‌گیری از روش‌های توصیفی، اطلاعات روا و پایا درباره دستاوردهای خط‌مشی تولید می‌کند  اما چنین دستاوردهایی را براساس اهداف برنامه خط‌مشی که بطور رسمی توسط خط‌مشی‌گذاران و اداره‌کنندگان برنامه اعلام شده است، ارزشیابی می‌کند. پیش‌فرض اصلی ارزشیابی رسمی این است که اهداف کلی و اهداف فرعی که به طور رسمی اعلام شدند، سنجه‌های مناسبی برای سنجش ارزش یا ارزشمندی خط‌مشی‌ها و برنامه‌ها هستند. لذا چنین پیش‌فرضی با اصل بنیادین رویکرد ارزشیابی فارغ از هدف در تعارض است.

از سویی دیگر، ارزشیابی نظری تصمیم، رویکردی است که از روش‌های توصیفی برای تولید اطلاعات روا و پایا درباره دستاوردهای قانون یا خط‌مشی استفاده می‌کند که به صراحت توسط ذینفعان متعدد ارزش‌گذاری می‌شوند. تفاوت اساسی ارزشیابی نظری تصمیم با شبه‌ارزشیابی و ارزشیابی رسمی، در این است که ارزشیابی نظری تصمیم، تلاش می‌کند تا اهداف کلی و فرعی نهفته تمام ذینفعان را آشکار سازد. این بدان معناست که اهداف کلی و فرعی‌‌ای که به طور رسمی از جانب خط‌مشی‌گذاران و مدیران اعلام شده‌اند، فقط متعلق به خود ایشان و متکی بر ارزش‌‌های ایشان است، درحالی‌‌که همه ذینفعان در تدوین و اجرای یک خط‌مشی نقش و سهم داشته و ارزش‌‌های خود را در آن اشراب کرده‌‌اند و در تولید اهداف کلی و فرعی‌‌ای که بر آن اساس، عملکرد اندازه‌گیری می‌شود، دخیل هستند. از اینرو می‌توان از این رویکرد ارزشیابی، برای ارزشیابی فارغ از هدف بهره جست[14] .

جدول 7: فنون ارزشیابی در رویکرد ارزشیابی نظری تصمیم [19]

رویکرد

فن (تکنیک)

ارزشیابی نظری تصمیم

نگاشت اثر متقاطع

طوفان فکری

تحلیل استدلال

دلفی خط‌‌مشی

تحلیل نظرسنجی از کاربر

5.نتیجه‌‌گیری

مجلس شورای اسلامی در کنار بال تقنین، موظف به نظارت بر حسن اجرای قوانین توسط قوه مجریه می‌‌باشد تا امر نمایندگی با اتکا به این دو بال به پرواز درآید؛ اگر چنین نشود، بال تقنین فربه شده و بار مقررات فزونی می‌‌یابد در حالی که متناسب اجرای قوانین، بازگشتی ساخت‌‌مند جهت بازبینی و احیاناً اصلاح قوانین پیشین و یا فهم ضرورت‌‌ها برای قانون‌‌گذاری‌‌های جدید اتفاق نخواهد افتاد. این گزارش در سلسله‌‌گزارش‌‌های ارزشیابی تأثیرات قانون‌‌گذاری، رویکردی نوین برای ارزشیابی قوانین را در اختیار قانون‌‌گذار قرار داده است که نامش ارزشیابی فارغ از هدف است؛ در این رویکرد، ارزیاب بدون اطلاع از اهداف قانون‌‌گذار جهت قانون‌‌گذاری، به شناسایی آثار و تبعات واقعی قانون‌‌گذاری مبادرت خواهد کرد. جهت اجرای این رویکرد توسط معاونت نظارت مجلس شورای اسلامی، توصیه‌‌هایی به شرح ذیل ارائه می‌‌شود:

 

توصیه‌‌های سیاستی:

  1. اگرچه بر اساس دو موج علم‌‌محور و شواهد، تأکید بر شواهد و قرائنی که نسبت به موقعیت مسئله و موقعیت اجرا وجود دارد از جهت اثباتی می‌‌تواند امر ارزشیابی را اثبات‌‌پذیر و اقناع‌‌کننده کند اما همچنان‌‌که فرایند مسئله‌‌شناسی و سیاست‌‌گذاری بدون حضور ذینفعان امر اجرا را با موانع معتنابهی(شاید شکست اجرا) مواجه خواهد کرد ارزشیابی بدون ذینفعان نیز چه در ارزشیابی پیشینی و چه پسینی امکان اصلاح پیش‌‌نویس‌‌های قانونی و همین‌‌طور اجرای مناسب قانون را به تأخیر خواهد انداخت. مجلس شورای اسلامی به جهت نمایندگی عموم مردم ناگزیر از تمهید شرایط برای مداخله ایشان در حوزه ارزشیابی است؛
  2. اگر ارزشیابی موفق را ارزشیابی در موج گفتگومحور بدانیم ناگزیر خواهیم بود در رویکردهای ارزشیابی نیز بر رویکردهای مشخصی تأکید نماییم: رویکرد مصرف‌‌کننده‌‌محور در ارزشیابی خروجی برنامه؛ رویکرد مبتنی بر هدف در ارزشیابی مشخصات برنامه؛ رویکرد CIPP در ارزشیابی معطوف به اصلاح برنامه؛ و رویکرد مشارکتی عمل‌‌گرا، توانمندساز و دموکراتیک در ارزشیابی معطوف به ذینفعان برنامه.
  3. از میان سه ملاک ارزشیابی یعنی اثرگذاری، نتیجه‌‌بخشی و کارامدی، ارزشیابی فارغ از هدف با دو ملاک اثرگذاری و کارامدی قابل سنجش است؛ از یکسو اثر واقعی(و نه قصدشده) یک قانون بر رفتار جوامع هدف و غیرهدف را می‌‌سنجد و از سوی دیگر بر اساس ملاک کارامدی، تنها هزینه‌‌های جانبی و منفی قانون را اندازه‌‌گیری می‌‌کند لذا با دو شاخص مهم ارزشیابی می‌‌تواند سنجش خود را انجام دهد؛
  4. معاونت نظارت به عنوان نهاد متولی نظارت و ارزشیابی برای مجلس شورای اسلامی هم وظیفه ارزشیابی مبتنی بر هدف دارد تا امکان فهم آثار و توابع عملی قوانینی که توسط مجلس وضع شده است را برای نمایندگان و عموم مردم مشخص کند اما مهمتر از این شأن سازمانی، وظیفه ارزشیابی تمام آثار و ره‌‌آوردهایی که بر هر قانون مترتب است را عهده‌‌دار است. لذا توصیه می‌‌شود این معاونت به صورت ترکیبی(اگر شرایط از جهت زمانی، مالی، اطلاعاتی و بوروکراتیک مهیاست) توسط دو تیم مختلف ارزیاب، به ارزشیابی مبتنی بر هدف و فارغ از هدف قوانین مهم مجلس اهتمام نماید. البته اگر امر ارزشیابی از جهت امکانات و شرایط، دائر بر انتخاب میان دو رویکرد ارزشیابی مبتنی بر هدف و فارغ از هدف باشد، مناسب‌‌تر است از رویکرد ارزشیابی فارغ از هدف بهره ببرد؛ چراکه رویکرد ارزشیابی مبتنی بر هدف نگاهی خطی به ارزشیابی دارد و از ارزیابی نتایج مهم اما غیرهدف‌‌گیری‌‌شده برنامه غفلت می‌‌کند و همین‌‌طور، ارزش‌‌های ارزیاب را در امر ارزشیابی دخالت می‌‌دهد؛ در حالی‌‌که ارزشیابی فارغ از هدف به جهت فقدان ارتباط ارگانیک با مدیر برنامه و کارکنان، حداقل سوگیری در ارزیاب را به همراه دارد و همچنین به جای نتایج موردانتظار برنامه بر نتایج واقعی تمرکز می‌‌کند لذا احتمال کشف عوارض جانبی پیش‌‌بینی‌‌نشده را افزایش می‌‌دهد.
  5. معاونت نظارت می‌‌تواند ارزشیابی فارغ از هدف را به عنوان یک رویکرد ارزشیابی مستقل استفاده کند هم‌‌چنان‌‌که می‌تواند آن را به عنوان مکمل یا همراه با ارزشیابی مبتنی بر هدف به کار بندد و یا می‌تواند آن را متقدم بر ارزشیابی مبتنی بر هدف استفاده کند [12]. تنها دو حالت وجود دارد که در آن ارزشیابی فارغ از هدف نباید استفاده شود: (1) زمانی که ذینفعان برنامه مایل یا قادر به انطباق با ماهیت فارغ از هدف مدل ارزشیابی نیستند، و (2) زمانی که ارزیاب، دانش پیشین معتنابه و یا تجربه زیادی از اهداف و مقاصد برنامه دارد و نمی‌توان او را فارغ از اهداف در نظر گرفت.
  6. ارزشیابی فارغ از هدف را می‌‌توان هم در ارزشیابی پیشینی (معطوف به آینده و پیش از تصویب قانون) و هم ارزشیابی پسینی (معطوف به گذشته و پس از اجرا) انجام داد؛ در ارزشیابی پیشینی مبتنی بر رویکرد فارغ از هدف باید آثاری که قانون محتملا بر تغییر رفتار جوامع هدف و غیرهدف خواهد گذارد، هزینه‌‌ها و منافعی که بر ایشان مترتب خواهد کرد سنجش شود و مبتنی بر این تحلیل به تجویز قانون اهتمام کرد و در ارزشیابی پسینی نیز آثاری (به خصوص پیامدهای ناخواسته) که قانون فی‌‌الواقع بر رفتار عموم گذارده است سنجش شده و پیشنهادهای اصلاحی قانون ارائه گردد. ارزشیابی پیشینی در رویکرد فارغ از هدف با روش‌‌های مختلف پیش‌‌بینی چون برون‌‌یابی، پیشگویی و قضاوتی خبرگان انجام می‌‌شود و ارزشیابی پسینی نیز با روش ارزشیابی نظری تصمیم و ابزارهایی چون طوفان فکری، تحلیل استدلال، دلفی خط‌‌مشی و نگاشت اثر متقاطع انجام می‌‌گیرد.
  7. با توجه به اینکه، معاونت نظارت مجلس امکانات و ظرفیت و به‌طورکلی زیرساخت کافی برای انجام ارزشیابی با ملاحظات فوق را ندارد، نیاز است از امکانات و ظرفیت‌های سایر بخش‌ها و نهادهای تابعه مجلس استفاده کند تا با همکاری و هم‌افزایی این ‌نهادها، هدف والای ارزشیابی محقق شود. برای این منظور می‌توان از ظرفیت‌های تخصصی، بدنه کارشناسی و امکانات و دفاتر مرکز پژوهش‌های مجلس بهره گرفت. لذا پیشنهاد می‌شود معاونت نظارت از ظرفیت‌های مرکز پژوهش‌های مجلس به عنوان یکی از نهادهای یاری‌رسان به امر ارزشیابی، استفاده کند.
  8. در راستای استفاده بهینه‌تر از ظرفیت‌های مجلس شورای اسلامی و نیز برای تحقق هرچه بهتر امر ارزشیابی، پیشنهاد می‌شود در آرایش ساختاری فعلی مرکز پژوهش‌‌ها، سه مجموعه باید به صورت خاص بر انجام فرایند ارزشیابی فارغ از هدف اهتمام کنند: گروه آزمایشگاه حکمرانی و سیاست‌‌پژوهی دفتر حکمرانی که به تأمین و تمهید روش‌‌شناسی و ابزارهای موردنیاز مطلق ارزشیابی و به صورت خاص ارزشیابی فارغ از هدف مبادرت کند، در عین حال این گروه به همراه مرکز داده‌‌کاوی با اتکا به روش‌‌هایی چون شبیه‌‌سازی، بازی‌‌واره‌‌سازی، سیستم‌‌دانامیک، عامل‌‌محور و ... به ارزشیابی فارغ از هدف پیشینی پیش‌‌نویس‌‌های قانونی بپردازد و مرکز افکارسنجی که ارزشیابی فارغ از هدف را به صورت پسینی و با اتکا به مدل‌‌های سنجش افکار عمومی اجرا کند. در این بازآرایی ساختاری، دفاتر تخصصی مرکز شان غربالگر خواهند داشت و مراکز سه‌‌گانه (یعنی مرکز داده‌‌کاوی، افکارسنجی و گروه آزمایشگاه) شان ارزیاب.

 

جدول 8: آرایش ساختاری مرکز پژوهش‌‌ها برای انجام ارزشیابی فارغ از هدف

       نهاد ارزشیاب

 

فرایند ارزشیابی

گروه آزمایشگاه حکمرانی و سیاست‌‌پژوهی

مرکز داده‌‌کاوی

مرکز افکارسنجی

تمهید مقدمات روش‌‌شناختی فارغ از هدف

*

 

 

ارزشیابی فارغ از هدف پیشینی

*

*

 

ارزشیابی فارغ از هدف پسینی

 

 

*

[1]    P. Bundi, “What Do We Know About the Demand for Evaluation? Insights From the Parliamentary Arena,” Am. J. Eval., vol. 37, no. 4, pp. 522–541, 2016, doi: 10.1177/1098214015621788.
[2]  S. Speer, V. Pattyn, and B. De Peuter, “The growing role of evaluation in parliaments: holding governments accountable?,” Int. Rev. Adm. Sci., vol. 81, no. 1, pp. 37–57, 2015, doi: 10.1177/0020852314546583.
[3]   I. Anglmayer and A. Scherrer, “Ex-post evaluation in the European Parliament: an increasing influence on the policy cycle,” J. Legis. Stud., vol. 26, no. 3, pp. 405–426, 2020, doi: 10.1080/13572334.2020.1782057.
[4]   K. Olejniczak, S. Borkowska-Waszak, A. Domaradzka-Widła, and Y. Park, “Policy labs: the next frontier of policy design and evaluation?,” Policy Polit., vol. 48, no. 1, pp. 89–110, 2020, doi: 10.1332/030557319X15579230420108.
[5]    K. Oliver, T. Lorenc, and J. Tinkler, “Evaluating unintended consequences: New insights into solving practical, ethical and political challenges of evaluation,” Evaluation, vol. 26, no. 1, pp. 61–75, 2020, doi: 10.1177/1356389019850847.
[6]  E. Vedung, “Four Waves of Evaluation Diffusion,” Evaluation, vol. 16, no. 3, pp. 263–277, 2010, doi: 10.1177/1356389010372452.
[7]   D. Guyadeen and M. Seasons, “Evaluation Theory and Practice: Comparing Program Evaluation and Evaluation in Planning,” J. Plan. Educ. Res., vol. 38, no. 1, pp. 98–110, 2018, doi: 10.1177/0739456X16675930.
[8]  J. L. Fitzpatrick, J. R. Sanders, and B. R. Worthen, Program Evaluation: Alternative Approaches and Practical Guidelines, 4th editio. Pearson, 2010.
[9] D. M. Fetterman, “Empowerment evaluation,” Eval. Pract., vol. 15, no. 1, pp. 1–15, 1994, doi: 10.1016/0886-1633(94)90055-8.
[10]    B. W. Youker and A. Ingraham, “Goal-free evaluation: An orientation for foundations’ evaluations,” Found. Rev., vol. 5, no. 4, p. 7, 2014, doi: 10.9707/1944-5660.1182.
[11]    B. W. Youker, “Goal-Free Evaluation: A Potential Model for the Evaluation of Social Work Programs,” Soc. Work Res., vol. 37, no. 4, pp. 432–438, 2013, doi: 10.1093/swr/svt032.
[12]     M. Scriven, Evaluation thesaurus, 4th ed. SAGE, 1991.
[13]    M. Q. Patton, “Goal-Based vs. Goal-Free Evaluation,” in Encyclopedia of Social Measurement, Elsevier, 2005, pp. 141–144. doi: 10.1016/B0-12-369398-5/00403-5.
[14]    B. W. Youker, A. Zielinski, O. C. Hunter, and N. Bayer, “Who needs goals? A case study of goal-free evaluation,” J. Multidiscip. Eval., vol. 12, no. 27, pp. 27–43, 2016.
[15]    M. Scriven, Die Methodologie der Evaluation. 1972.
[16]    J. F. Irvine, “Goal-free evaluation: Philosophical and ethical aspects of Michael Scriven’s model,” Calif. J. Teach. Educ., pp. 89–99, 1979.
[17]    E. H. Linn, The rhetorical theory and practice of Harry Emerson Fosdick. The University of Iowa, 1952.
[18]    J. W. Evers, A field study of goal-based and goal-free evaluation techniques. Western Michigan University, 1980.
[19]    W. N. Dunn, Public policy analysis : an integrated approach, 6th editio. Routledge, 2017.
[20] تیموریان، مرتضی؛ امامی، سیدمجتبی(1398). « ارزشیابی آزاد از هدف خط‌‌مشی گندم جمهوری اسلامی ایران». مدیریت دولتی، دوره 11، شماره 3، صص 455-480.