اعتبار کنونی روش دلفی در علوم اجتماعی
روش دلفی ، فنی متداول برای پیش گویی و یاری دهنده در تصمیم سازی یا استفاده از نظرات متخصصان می باشد
اعتبار کنونی روش دلفی در علوم اجتماعی
Current validity of the Delphy method in social sciences
خلاصه
روش دلفی ، فنی متداول برای پیش گویی[1] و یاری دهنده در تصمیم سازی یا استفاده از نظرات متخصصان می باشد که حدود 50 سال از پیدایش آن می گذرد.این مقاله سعی دارد تا روش شناسی دلفی را ارزشگذاری کرده و اعتبار[2] کنونی آن را به خصوص در حوزه علوم اجتماعی مورد بازبینی قرار دهد.سه کاربرد جدید از این فن در مقاله توضیح داده خواهد شد .هدف اصلی دو تا از این مطالعات فراهم نمودن داده هایی برای مدل های کمی آماری یا اقتصادی و استفاده از قضاوت های گروه های متصص است، در حالی که هدف مطالعه سوم ، تحلیل یک واقعیت پیچیده اجتماعی به وسیله فن دلفی است تا اطلاعات قابل اعتمادی قبل از تصمیم گیری به دست آورد.این کاربردها مشخص می کنند که چگونه این فن در مورد واقعیت ها و نیازمندی های اجتماعی متفاوت سازگار می شود و کمک مثبتی به پیشرفت اجتماعی می نماید.این فن با دقت روش شناختی لازم و با دانش مناسب از محیط اجتماعی به کار می رود.نهایتا ، توضیحی در مورد درسهایی که از نظریه و تجربیات مذبور به دست آمده آورده خواهد شد که ممکن است به نتیجه موفقیت آمیز از کاربرد دلفی بینجامد.
کلمات کلیدی : روش دلفی ، همرایی[3] ، دلفی سیاست گذاری ، استنباط قضاوت متخصص ، اعتبار دلفی
1-معرفی
بیش از 50 سال است که از اولین تجربه دلفی و 40 سال است از اولین مقاله در مورد دلفی که کاربرد و روند آن را توضیح می دهد ، می گذرد.از آن موقع ، روش دلفی به ابزاری شناخته شده و پر کاربرد برای پیش گویی و کمک به تصمیم سازی مبدل شده است.در این فرایند ، روش دلفی مراحل متفاوت و مختلفی را پشت سر گذاشته است.از اولین مراحل محرمانه بودن که پیدایش آن با اهداف نظامی بود ، مراحل متوالی دیگرشامل نوظهوری ، محبوبیت ، انتقاد و آزمون دوباره می شود تا به مرحله کنونی برسد که از آن به طور پیوسته ولی نه به صورت رایج از دهه 1980 به بعد استفاده می گردد.
در طول این سالها ، روش دلفی حوزه کاربرد خود را گسترش داده و دستخوش انتقادات شدید و ارزشگذاری[4] های متعدد گردیده و بدینوسیله قوت ها ، ضعف ها و پتانسیل های آن مشخص شده است.بر اساس نظر متخصصان و مطالبی که در مورد دلفی نوشته شده است ، دلفی شناخته شده ترین فن پیشگویی است.اما سوال این است که آیا این فن هنوز معتبر است؟ آیا هنوز برای مقاصد حرفه ای و دانش پژوهانه[5] به کار می رود یا به تاریخ پیوسته است؟آیا توانسته بر ضعف های خود فایق آید؟چه چیزهایی در طول این سالیان در مورد دلفی آموخته شده است؟
این مقاله پاسخ هایی به این سوالات می دهد و توجهی ویژه به استفاده از این فن در علوم اجتماعی کرده و به بعضی از تجربیات نویسنده در استفاده از این فن می پردازد.این مطالب می تواند به نویسندگان دیگر کمک کرده و زمینه ای را برای توسعه کاربرد دلفی به وجود آورد.
2-روش دلفی
در پایان دهه 1940 ، محققان شرکت راند[6] ، به باز جست استفاده علمی از عقاید متخصصان پرداختند.مطالعات انجام شده بر اساس عقاید گروهی و نه شخصی و با داوری عقاید متخصصان و با استفاده علمی آنها چاپ شد.روش دلفی ، با تمام مشخصات تعریف کننده آن برای اولین بار در ادارات مرکزی این شرکت به عنوان یک پروژه دفاع نظامی به کار گرفته شد که به دلایل امنیتی 12 سال بعد به چاپ رسید.همچنین در این شرکت بود که روش دلفی اولین بار برای مقاصد غیر نظامی به کار رفت.در حقیقت پیشنهاد شد که از روش دلفی برای استفاده در برنامه ریزی اقتصاد های در حال توسعه استفاده گردد.
دردهه 1960 ، و در نتیجه طبقه بندی شدن روش دلفی توسط نیروی نظامی آمریکا ، استفاده از این روش به سرعت هم در زمینه جغرافیایی و هم موضوعی گسترش یافت که این امر در پیش گویی های فنی و ارزشگذاری مشکلات اجتماعی پیچیده محسوس بود.
روش دلفی به عنوان فنی گروهی شناخته می شود که هدف آن به دست آوردن بالاترین همرایی قابل اعتماد از عقاید گروه متخصصان است که به وسیله یک سری از پرسشنامه های دقیق و بازخورد کنترل شده عقاید به دست می آید.
بعدا ، کاربرد این فن ، محدودیت تحقیقات اجباری برای همرایی را از بین برد و بنابراین امروزه می توان از آن به عنوان فن تحقیق اجتماعی نام برد که هدف آن به دست اوردن عقاید گروهی قابل اعتماد با استفاده از گروه متخصصان است.روشی است که ارتباطات بین افراد را ساختار بندی کرده و کمک های ارزشمندی برای حل مشکلات پیچیده عرضه می نماید.
خصوصیات اصلی این روش از این قرار است:
- فرایندی تکرار شونده است.باید حداقل دو مرتبه در مورد هر سوال به متخصصان توضیح داد تا بدین وسیله به یاری اطلاعاتی که از متخصصان دیگر دریافت می کنند آنها بتوانند جواب هایشان را دوباره مورد مداقه قرار دهند.
- گمنامی[7] شرکت کنندگان یا حداقل پاسخ های آنها باید حفظ شود.بدین معنی که فرایند کاری گروه باید به صورتی باشد که آنها در یک زمان یا فضا به سوالات پاسخ ندهند تا تاثیر منفی روی متخصصان دیگر نداشته باشد.
- بازخوردها[8] باید کنترل شده باشد.تبادل اطلاعات بین متخصصان آزاد نیست و تنها از طریق هماهنگ کننده گروه صورت می گیرد و بدینوسیله اطلاعات غیر مرتبط حذف می گردد.
- پاسخ ها به صورت آماری می باشد.تمام عقاید قسمتی از پاسخ نهایی را تشکیل می دهند.سوالات به صورت فرموله شده می باشند تا بشود جوابها را به صورت کمی و آماری پردازش نمود.
3- ارزشگذاری روش دلفی
روش دلفی به سرعت مورد پذیرش قرار گرفت و گسترش یافت.به این دلیل که راه حل های ارزشمندی برای مشکلات مرتبط با عقاید گروهی سنتی بر اساس میانکنش[9] های مستقیم به وجود می آوردکه از آنجمله می توان به کاهش عوامل روان شناختی غیر دلخواه در میان شرکت کنندگان ، بازخورد انتخابی اطلاعات مرتبط ، ملاحظات گسترده برای تکرار ، نتایج آماری ، روش شناسی انعطاف پذیر و اجرای ساده اشاره نمود.
اگرچه این روش عاری از ضعف های روش شناختی چشمگیر که در بسیاری از کارها مشخص شده نیست.برای مثال منابع اصلی اطلاعاتی آن(متخصص کیست ، هر متخصص چه تعصباتی دارد و غیره) ، استفاده از همرایی به عنوان راهی برای نزدیک شدن به حقیقت ، محدودیت میانکنش هنگام نوشتن و بازخورد کنترل شده ، سهولت نهفته در روش شناسی به وسیله شخصی که مطالعه را انجام می دهد ، مشکل بودن باز بینی ، صحت روش و قابل اطمینان بودن آن ، زمان مورد نیاز برای انجام آن و تلاش مورد نیاز از طرف شرکت کنندگان و ارتباطات محتمل که ممکن است بین رویدادهای پیش گویی شونده به وجود آید.
علاوه بر این ضعف های روش شناسی ، دلفی نه تنها از طرف خود فن مورد انتقاد قرار گرفته بلکه به خاطر کاربرد ناکارآمد آن مورد سرزنش واقع شده است.به طور مثال در انتخاب متخصصان سخت گیری زیادی نمی شود ، کمبود توضیحات در مورد ارزشگذاری آن وجود دارد ، سوالات و مشکلات به درستی فرموله نشده اند و نتایج به مقدار کافی تحلیل نگشته اند.
علیرغم این ضعف ها ، مقایسه هایی که بین این فن با گروه های آماری و گروه های میانکنش کلاسیک صورت گرفته ، نتیج مثبت زیادی برای روش دلفی نشان می دهد.اگرچه مقایسه ها به وسیله فنون قابل قیاس مانند گروه های اسمی و بر اساس معیارهای متفاوت(صحت ، اعتماد ، خلاقیت و غیره) صورت گرفته ولی نتایج قطعی را به سود یا ضرر دلفی نشان نمی دهد.
از طرف دیگر ، مشاهده شده هنگامی که این روش بدون استفاده از دانش مورد نیاز به کار رفته ، مشخصات نهفته در روش شناسی منجر به نتایج ناامید کننده ای شده اند که هم در مورد محققانی صدق می کند که برای اولین بار از این روش استفاده می کنند و هم متخصصانی که درتحقیق شرکت می جویند.در نتیجه، اگرچه دلفی یک فن شناخته شده و پر کاربرد است ، اما در میان کسانی که شناخت سطحی از آن دارند تنها یک مرتبه ممکن است مورد استفاده قرار گیرد چون تصور می کنند دلفی ، فنی مشکل درست کن و نسبتا قدیمی و دمده است.
به نظر می رسد این احساس به خاطر تضاد موجود میان سادگی آشکار این فن که افراد مبتدی را برای اولین بار به استفاده از آن ترغیب می کند و سختی اجرای آن یعنی تضمین همکاری اولیه متخصصان و خصوصا جواب هایشان در مراحل مختلف باشد.
با توجه به متخصصان شرکت کننده در روش دلفی ، احساس منفی در آنها به وجود می آید.یک به این دلیل که از آنها سوالات زیادی پرسیده می شود و در فنی شرکت می کنند که اغلب آنها چیز زیادی در مورد آن نمی دانند و باید به سوالاتی یکسان بیش از یک مرتبه جواب دهند ودر دوره ای نسبتا طولانی به سوالاتی جواب دهند که نمی دانند به درستی مورد فهم قرار می گیرند یا خیر.از طرف دیگر ، میانکنش آنها با متخصصان دیگر محدود است و آنها تنها یک سری آمار دریافت می کنند.آنها اغلب احساس می کنند که مورد سوء استفاده قار گرفته اند و عملا چیزی دریافت نکرده اند.
این مشکلات در حوزه علوم اجتماعی به خصوص در کاربردهای حرفه ای در مورد متخصصان و رهبران شرکت ها و موسسات افزایش می یابد.همچنین مشکل زمان و نبود ارتباط حرفه ای یا عاطفی میان شرکت کنندگان در این نوع مطالعه ها وجود دارد.
با توجه به این پیش زمینه و با در نظر گرفتن زمان سپری شده از به کارگیری این فن ، باید پرسیده شود که آیا این روش هنوز مورد بازجست قرار می گیرد؟ آیا در حوزه های حرفه ای و دانش پزوهانه به کار گرفته می شود؟ آیا بر ضعف های خود فایق آمده است یا مشخصا توسط فنون توسعه یافته دیگر کنار زده شده است؟
4- اعتبار روش دلفی
برای ارزشگذاری اعتبار تاریخی و در حال حاضر روش دلفی از کاربردهای انجام شده آن در این حوزه در طول سالیان متمادی به عنوان مرجع استفاده گردیده است.
مطالعات متعددی در مورد این حوزه وجود دارد.مخصوصا کاری که کلارک و گوپتا[10] انجام داده اند.آنها جستجو و طبقه بندی وسیعی در مورد مقاله های چاپ شده بین سالهای 1975 تا 1994 انجام داده اند و مقاله های روش شناختی را از مقاله های کاربردی و نیز مقاله هایی که روش دلفی به عنوان موضوع اصلی در مقاله یا عنصر فرعی و دومین در مقاله بوده ، جدا کرده اند.نتیجه جستجوی آنها شامل 463 تحقیق می شد که 254 تای آن مستقیما به دلفی مربوط می شد و در 209 مقاله باقیمانده ، دلفی به عنوان عنصر دوم نقش ایفا می کرد.از 254 مقاله اصلی ، 75 تای آن مقاله روش شناختی و 179 تای باقیمانده کاربردی بود.در تحلیلی که بر مبنای تعداد مقاله ها در دوره های 5 ساله انجام گرفت ، به استثنای 5 سال اول(1975-1971) ، که در آنها تعداد مقاله های مرتبط با دلفی به عنوان موضوع اصلی تنها 21 مورد بود ، در چهار دوره 5 ساله دیگر ، تعداد مقاله های مرتبط با دلفی نسبتا یکسان بود(به ترتیب 57،56،56 و 53).نشانگر این است که در طول این دوره ها ، علاقه به این فن به عنوان یک موضوع یا وسیله تحقیقی کم نشده است.
جدول 1 : تعداد مقاله های چاپ شده در مورد دلفی در طول دوره مورد مطالعه
جدول 2 : تعداد پایان نامه ها و رساله هایی که از روش دلفی استفاده کرده اند.
این مقاله جستجو را در مورد مقالات مرتبط با روش دلفی به عنوان موضوع اصلی یا فرعی از سال 1995 تا 2004 ادامه داد.پایگاه داده Science Direct و محتوای مقالات آن شامل فنون پزشکی ، فنی و علمی مورد مطالعه قرار گرفت.همچنین سه پایگاه داده تخصصی مهم در حوزه هایی که این فن بیشترین کاربرد را دارد ، بررسی شد که شامل ABI inform (در حوزه اقتصاد ، امور مالی و تجارت ) ، Medline (دارو و پرستاری) و Psycho (روانشناسی) می شد.نتیجه نشانگر شدت رو به افزایش استفاده از این فن بود و در عنوان یا چکیده از عباراتی جون روش دلفی ، فن دلفی یا مطالعه دلفی استفاده کرده بودند.
در حوزه پیشگویی فنی ، کاربرد چشمگیر و زیاد دلفی در سطح ملی قابل توجه بود مثل مطالعات انجام شده در ژاپن(Cuhls & Kuwahara, 1994) ، آلمان( Blind,Cuhls & Grupp, 2001) ، اتریش(Tichy, 2004) ، هند)Chakavarty, 1998) ، کره( Shin, 1998) و مطالعاتی که توسط موسسه IPES در اکثر کشورهای عضو اتحادیه اروپا انجام گرفته تعهد نهادی قوی به این روش در مطالعات خود دارد.هنوز نیز در مورد کاربرد این فن در حوزه روش شناختی ، کتاب ها و مقالاتی چاپ می شود.
نهایتا ، مثال های دیگری از اعتبار روش دلفی به عنوان وسیله تحقیقی بر اساس تعداد پایان نامه ها و رساله هایی که از این فن استفاده کرده اند ، بدست آمد.این داده ها نیز در دوره های 5 ساله دسته بندی شد تا بتوان بر اساس تعداد و استفاده از فن دلفی تحلیلی انجام داد.نتایج این جستجو در جدول شماره دو نشان داده شده است.
داده ها نشان می دهد که در حوزه تحقیقات دکترا ، فن دلفی بیشترین علاقه را در طول دهه 1980 داشته استو هم اکنون روندی ثابت را در به کار گیری فن دلفی پشت سر می گذازند و به نظر می رسد جامعه علمی این فن را به عنوان یک فن تحقیقی پذیرفته است که نشانگر استفاده و اعتبار آن در دنیای امروزین است.
تحلیل داده ها به صورت کلی نشان می دهد که استفاده از فن دلفی در مقالات چاپ شده ، در حال رشد و در پایان نامه ها کم کم در حال کاهش است.
5- تعدادی از کاربردهای کنونی دلفی در علوم اجتماعی
در این قسمت خلاصه ای از تجربیات اخیر از روش دلفی در حوزه علوم اجتماعی معرفی خواهد شد که نسبتا خصوصیات متفاوتی با مطالعات منتشر شده در مورد دلفی دارد(بر اساس گستره[11] کاربرد ، روش شناسی یا اندازه).این مطالعات نشان می دهد که چگونه این فن می تواند در مورد واقعیات اجتماعی متفاوت و ملزومات آنها به کار رود و کمک مثبتی به پیشرفت اجتماعی کند.همچنین با به کار گیری سخت گیری های روش شناسی لازم و دانش مناسب در مورد اجتماع ، کاربردی گردد.
1-5- کاربرد اول دلفی : مدلی برای تقسیم هزینه توریست ها در ایالت کاتالونیا
1-1-5- هدف
این کار هزینه توریست هایی که از ایالات دیگر اسپانیا به کاتالونیا می آمدند را تحلیل می کرد.هزینه هر توریست بر اساس چهار معیار محل اقامت ، غذا ، حمل و نقل و هزینه های دیگر تحلیل می گشت.
هدف مطالعه ، بدست آوردن تخمین های قابل اعتماد در مورد هزینه حداقل توریست ها در ایالت کاتالونیا می شد که برای این کار از میانکنش گروه متخصصان در ناحیه توریستی با به کارگیری روش دلفی انجام شد.هدف بدست آوردن کلیه تخمین هایی نبود که منجر به کمی شدن این هزینه ها می شد ، بلکه شامل آنهایی بود که نمی شد بر اساس داده های موجود یا منابع دیگر بدست آورد.
هدف نهایی این تخمین ها ، تکمیل داده هایی بر اساس مدل تقسیم هزینه توریستها برای موسسه آمار کاتالونیا بود.
2-1-5- شرکت کنندگان
تیم هماهنگ کننده از چهار محقق از موسسه Applied Business Economics از دانشگاه باسک و چهار متخصص از موسسه آمار کاتالونیا و از دپارتمانهای صنعت ، تجارت و توریسم دولت کاتالونیا تشکیل می شد.هیئت منصفه متخصصان از 14 غامل با دانش عمیق نسبت به بخش توریستی کاتالان تشکیل می شد که شامل عاملان تور ، موسسات سفری ، ادارات توریسم ، نمایندگانی از بخش های هتل ، رستوران ، آپارتمان و کمپ ها و مردمی که زیاد به کاتالان سفر می کنند ، متخصصانی از دانشگاه و مشاوران توریست می شد.
3-1-5- فرایند و داده ها
پرسشنامه شامل نود سوال کمی بود که در هر بخش پرسشنامه متخصصان باید هر نوع اطلاعات یا تغییری که احساس می کنند به سوال پرسیده شده مرتبط است ، به صورت کیفی جواب دهند.
متخصصان باید درجه دانش یا مهارت خود را(بالا ، متوسط و سطحی) در مورد هر سوال ارزیابی کنند تا برای وزن دهی به جوابها مورد استفاده قرار گیرد.
پرسشنامه قبل از آزمون نهایی توسط اعضای تیم هماهنگ کننده کاتالا در سازمانهای متبوع مورد آزمون قرار گرفت و در نهایت در چهار نوبت روش دلفی انجام شد.اولین بار در 16 نوامبر سال 2000 در بارسلونا شروع شد که شامل جلسه ای با حضور اعضای هیئت منصفه و نیز اعضای گروه هماهنگ کننده کاتالان در سوالاتی از مرکز آمار کاتالان و دپارتمان های صنعت ، تجارت و توریسم دولت کاتالونیا می شد.
بازخورد ها توسط گروه هماهنگ کننده ساختاربندی شد و در دو نوبت بعدی توزیع جواب ها در هر دو مورد به صورت آماری همراه با پرسشنامه به متخصصان داده می شد و اطلاعات اضافه ،چه به صورت کمی و چه کیفی، مستقیما از خود متخصصان بدست می آمد.
این فرایند با دریافت پرسشنامه سوم از 16 متخصص در 25 دسامبر 2000 به پایان رسید.
4-1-5- نتایج
روند اصلی کار از جواب به 90 سوال درخواست شده همراه با تغییرات کیفی ارزشمند بدست آمد.
با توجه به کیفیت ذاتی تمرین ، شاخص های گوناگون به گونه ای بودند که تصور می شد تحقیق به خوبی انجام شده است:
- کیفیت و پایداری متخصصان هیئت منصفه که همگی تا پایان کار همراه بودند.
- زمان بین نوبت های دلفی که کمتر از دو ماه بود.
- تفسیرهای متخصصان که همراه با اطلاعات کیفی فراوان بود.
- پایداری نتایج در طول نوبت های دلفی : درجه پایداری گروهی و شخصی در جواب ها بین نوبت های دوم و سوم بسیار بیشتر از بین نوبت های اول و دوم بود.در 70 درصد جوابها در آخرین نوبت ، پایداری گروهی بیشتر از نوبت های قبلی بود و پایداری شخصی نیز با 80 درصد بیشتر بود(تنها تعداد کمی از متخصصان جواب هایشان را تغییر داده بودند).طبیعت حرفه ای مطالعه نیاز به نوبت های بعدی را از بین برده بود ، همچنین قبل از مرحله آماده سازی مطالعه ، با متخصصان توافق شده بود که دلفی حداکثر در سه نوبت انجام خواهد شد.
- همرایی و همگرایی[12] عقاید : همرایی در بیش از 50 درصد از سوال ها بدست آمد و از 90 سوال ، در 89 مورد درجه همرایی بیش از مقداری بود که در نوبت اول بدست آمد.با توجه به اعتبار اجتماعی مطالعه ، نتایج برای موسسه آمار کاتالونیا بسیار خوشایند بود و بسیار خوشحال بودند که استفاده جدیدی از دلفی را برای مدل های آماری و اقتصادی تجربه کرده بودند.
- بهبود کیفیت اطلاعات فراهم شده توسط شرکت ها.در واقع سیستم سنتی تعداد جوابها را تضمین می کند و نه کیفیت آنها را.به وسیله دلفی ، ارتباط مستقیمی با متخصصان مشاغل بدست آمد که دانش بهتری نسبت به این اطلاعات تخصصی داشتند مثل کارکرد تولیدات آنها و مبدا داده ها و خدمات مورد استفاده آنها.
- حذف امتناع از حمل و نقل از طرف شرکت ها که اطلاعات راهبردی غلط را القا می کند مثل ساختار هزینه محصولات آنها.این اطلاعات با پرسیدن در مورد کارکرد خصوصیات تولید محصولات آنها بدست آمد.این امر همچنین به قابل اعتماد بودن اطلاعات کمک کرد.
- کاهش هزینه ها.پیمایش سنتی هزینه های بسیار زیادی داشت و برای گرفتن اطلاعات حداقل باید به 12000 شرکت مراجعه کرد(برای تقسیم آن بین 120 محصول همگن).در حالیکه در روش دلفی این اطلاعات می توانست به وسیله تعداد بسیار کمتری شرکت بدست آید(تقریبا چهار شرکت برای هر محصول).
- کیفیت و پایداری متخصصان هیئت منصفه : 465 متخصص از شرکت های مرتبط در کاتالان شرکت کردند و 85 درصد آنها در هر دو نوبت جواب دادند.
- تفاسیری که از متخصصان بدست آمد : اطلاعات کیفی زیاد و با کیفیت.مواد خام زیادی توسط متخصصان معرفی گردید که قبلا پیشنهاد نشده بود.پیشنهاداتی برای طبقه بندی دوباره و نیز نکات مثبتی از روش دلفی برای بدست آوردن اطلاعات حاصل شد.
- اصلاح عقاید اولیه در نتیجه تکرار و باز خوردها : 65 درصد متخصصان عقاید خود را اصلاح کردند و به طور متوسط 25 درصد تخمین های قبلی خود را تغییر دادند.
- همرایی و همگرایی عقاید.متوسط همرایی در نوبت دوم بیشتر از نوبت اول بود.انحراف از معیار متوسط از توزیع های متفاوت در نوبت اول 3.35 و در نوبت دوم 2.43 بود.
- کیفیت و پایداری متخصصان هیئت منصفه : اکثریت متخصصانی که از آنها همکاری به عمل آمده بود در فرایند شرکت جستند.تعداد اعضا در نوبت دوم به نصف کاهش یافت و درنتیجه به آنها اخطار داده شد که اگر جواب ندهند ، جواب های آنها در نوبت اول لحاظ خواهد شد.
- زمان بین نوبت ها : جواب به دو پرسشنامه درکمتر از سه ماه جمع آوری شد.
- کیفیت و شدت مشارکت : هر مصاحبه درکمتر از یک ساعت به پایان می رسید و هر متخصص نیز به طور متوسط 1.26 کمک کیفی به هر سوال می کرد.
- اصلاح عقاید اولیه در نتیجه تکرار و بازخورد : به طور متوسط در هر سوال ، 25.39 درصد از متخصصانی که در نوبت اول شرکت کرده بودند جوابهایشان را در نوبت دوم اصلاح کرده بودند.
2-5- کاربرد دوم دلفی : ترسیم جدول داده – ستانده برای کاتالونیا
1-2-5- هدف
در این مطالعه نیز فن دلفی برای یک مدل اقتصادی کمی مورد استفاده قرار گرفت که مخصوص ترسیم جداول داده – ستانده برای کاتالونیا می شد.جداول داده – ستانده ابزارهایی آماری هستند که ارتباطات اقتصادی کلی بین عاملان متفاوت را در یک برزن[13] در طول یک دوره خاص نشان می دهند.آنها به طور گسترده هم برای مقاصد آماری و هم تحلیلی استفاده می شوند.
برای آماده کردن این جداول ، اطلاعاتی در مورد کارکرد تولیدات(داده ها با مبدا و مقدار آنها) که با تولیدات اقتصاد همگن باشند برای ایالت کاتالونیا لازم است.
به صورت سنتی ، این اطلاعات از طریق پیمایش و نمونه گیری تصادفی از شرکت ها بدست آمد.در این پروژه ، تصمیم گرفته شد که از روش دلفی به عنوان جایگزینی برای روند های کلاسیک پیمایش و استنتاج آماری به سه دلیل اصلی استفاده گردد :
این روش در بدست آوردن اطلاعات همراه با روش شناسی SEC-95 ، بود تا به جای روش سنتی بدست آوردن جداول داده – ستانده ، از روش دلفی استفاده کند.
2-2-5- شرکت کنندگان
تیم هماهنگ کننده شامل سه محقق از موسسه IABE و تیم تحقیقاتی از موسسه آمار کاتالونیا می شد.متخصصان هیئت منصفه به 121 زیر هیئت تقسیم می شدند که هر یک مسئول یک محصول همگن بودند.
3-2-5- فرایند و تاریخ
یک پرسشنامه متفاوت برای هر محصول صنعتی طراحی شد تا از فن دلفی برای آنها استفاده کند و در آن در مورد مصرف مواد خام اصلی که در ساختن محصولات استفاده می شد ، سوال مطرح می گشت.همچنین از جداول داده – ستانده آمریکا به عنوان راهنما استفاده شد و در آن از مبدا جغرافیایی خرید مواد خام (چند درصد از کاتالونیا ، اسپانیا ، اتحادیه اروپا و جهان) پرسیده می شد.پرسشنامه دیگری برای هر محصول تهیه شد که با توجه به مصرف خدمات بیرونی و مبدا جغرافیایی آنها بود.
تمام افراد و متخصصانی که از آنها اطلاعات بدست آمد ، دعوت شد تا در جلسه ای شرکت کرده تا مطالعه به آنها معرفی شده و به آنها در مورد هدف اطلاعات توضیح داده شود.برای تسهیل ارائه ها و سازمان ها ، 121 محصول از بخش های تولیدی در 11 گروه و 23 ارائه توزیع شدند.
مطالعه در دو نوبت طراحی شد در حالیکه تعداد و خصوصیات متخصصان تعداد بیشتر نوبت ها را غیر ممکن می ساخت.
فرایند با یک دلفی آزمایشی در ژون 2002 شروع شد.از متخصصان در دو موقعیت سوال پرسیده شد(دو نوبت دلفی) و در نوبت دوم جواب های متخصصان در نوبت اول به آنها منتقل شد.
در اکتبر 2002 ، دلفی صنعتی عمومی آغاز شد.نوبت دوم مطالعه تقریبیا دو ماه بعد آغاز شد و نهایتا در ژون 2003 نوبت دوم به پایان رسید.
4-2-5- نتایج
سنجه هایی[14] برای روند اصلی (آنهایی که برای جداول داده – ستانده لازم بود) برای مواد خام ، اجزاء و خدمات کمکی از 121 محصول تحلیل شد که همراه با تفاسیر ارزشمند کیفی بود.
شاخص های متفاوتی اجازه داد تا ارزشگذاری مثبتی از حسن اجرای کاربرد دلفی بدست آید :
با توجه به اعتبار اجتماعی مطالعه ، نتایج بدست آمده (به وسیله کمک های متخصصان در مورد هر محصول) ، به صورت موثر در به کار گیری ترسیم جداول و بعد از پردازش داده ها با وزن دهی و مشخص نمودن ارزش های نسبی جواب های متخصصان و با توجه به اهمیت آنها کمک نمود.تصور می شد که داده های بدست آمده همان ارزشی را دارند که از طریق پیمایش بدست می آمد و واضح است که با هزینه مالی کمتر این امر حاصل شد.
فن دلفی همچنین خود را به عنوان فنی معتبر برای موسسه آمار کاتالان و دپارتمانهای اقتصاد ، صنعت و تجارت دولت کاتالان برای نزدیک شدن به شرکت های صنعتی کاتالان معرفی نمود.
3-5- کاربرد سوم دلفی : مشاوره دلفی برای اجتماع خود مختار کشور باسک
1-3-5- هدف
در سال 2002 ، حکومت باسک ، نیاز پیدا کرد که قانون سازمانی دانشگاه خود را ارتقا دهد تا با شرایط جدید که نتیجه قانون دانشگاه به صورت عمومی در اسپانیا بود ، وفق دهد.هدف از این قانون در نظر گرفتن احساسات ، عقاید و علایق عاملان اجتماعی درگیر یا متاثر از این عمل بود.بنابراین لازم بود تا یک فرایند مشاوره ای با این عاملان آغاز گردد.
خصوصیات گروه درگیر با مشاوره کار را به سمت انتخاب فنی با میانکنش غیر مستقیم رهنمون کرد که هماناروش دلفی بود.برای بدست آوردن اطلاعات با کیفیت و گشودن مشارکت اجتماعی که مورد پذیرش افراد درگیر با مشاوره باشد و کاهش محدودیت های برخاسته در فرایند مشاوره اجتماعی این فن انتخاب گردید.
هدف فن ، اجتناب از مشکلات برخواسته از مکانهای متفاوت متخصصان ، سفرهای متعدد آنها ، اقامت آنها در خارج ، برنامه های زمانی متفاوت آنها ، تفاوت مقام و شخصیت آنها ، تاثیر گروه یا علایق طبقه آنها و تعصب و گرایش آنها نسبت به یک گروه سیاسی بود.همچنین ضرورری بود که مشاوره در یک دوره زمانی محدود و دوره عملی تمام شود(قانون جدید باید ظرف یک سال تهیه می شد).در پایان فرایند ، نتایج باید با درجه بالایی از شفافیت تهیه می شد تا بشود به بقیه جامعه تعمیم داد.طبقه های سیاسی و قانونی حکومت بتوانند آن را اجرا کنند و بازتابی واقعی از احساسات و دانش تمام دانشگاه باشد.این کار یک مثال شفاف از سیاست دلفی است.
2-3-5- شرکت کنندگان
تیم هماهنگ کننده شامل معاون دانشگاه حکومتی باسک و محقق موسسه IABE می شد که توسط تیم بیرونی متشکل از دولت و دانشگاه که دارای تجربه در مشاوره به دانشگاه بودند ، حمایت می شدند و این تیم اساسا مسئول فرایند عملی و فنی مطالعه دلفی می شد.
متخصصان از گروه سخنرانان دانشگاه کشوری باسک ، با توجه به تجربه ، شخصیت ، ویزگی های جغرافیایی و دانش پزوهانه آنها ، دانشجویان ، کارمندان خدماتی و اداری ، افراد مرتبط از دیگر دانشگاههای باسک و متخصصان دیگر مرتبط با دانشگاههای باسک انتخاب شدند.در مجموع 115 متخصص در اولین نوبت شرکت کردند که در نوبت دوم تعداد آنها به 50 نفر کاهش یافت.
3-3-5- فرایند و تاریخ ها
فرایند با بازدید معاون دانشگاهها از گروه های اصلی شروع شد تا پروژه مشاوره را آغاز کرده و احساسات دانشگاه را اطمینان بخشد و همچنین اهمیت فرایند مشاوره را برای حکومت مشخص نماید.
پرسشنامه اولیه شامل 22 سوال بود که توسط تیم هماهنگ کننده تهیه شده بود.در پرسشنامه ، سوالاتی در مورد جنبه های متفاوت مرتبط با سیستم سازمانی دانشگاه باسک پرسیده می شد که با توجه به ارتباط خاص آنها با توجه به نواحی تحت حکومت توسط قانون جدید باسک انتخاب می شد.
به جای پرسشنامه الکترونیکی یا پستی کلاسیک ، مصاحبه کنندگان منتخبی به کار گماشته شدند که از اطلاعات دانشگاه باخبر بوده و برای مطالعه مورد نظر تربیت شده بودند.فرایند مصاحبه در طول ماه ژولای 2002 انجام گرفت.هر مصاحبه حداکثر 60 دقیقه طول می کشید تا عقاید کمی در کنار تفاسیر متعدد کیفی ، جمع آوری گردد.
پرسشنامه دوم به وسیله ایمیل در ماه های سپتامبر و اکتبر فرستاده و جمع آوری گردید.لازم است خاطر نشان گردد که همراه با هر سوال ، حجم زیادی از اطلاعات کیفی به کمک گروه می آمد ولی خبری از اطلاعات کمی نبود.در کل ، به هر متخصص دلایل متخصصان دیگر در حمایت یا مخالفت با هر سوال داده می شد.به عبارت دیگر ، بر خلاف حجم وسیعی از مطالعاتی که در مورد دلفی چاپ شده ، در این تحقیق به محققان روند اصلی مطالعه و توزیع کمی جواب ها در نوبت قبلی داده نمی شد.حتی جواب خود آنها نیز دیگر به اطلاعشان نمی رسید.هدف این کار بدست آوردن بالاترین درجه همرایی میان اعضای هیئت منصفه نبود بلکه تقویت عقاید و احساسات متفاوت نهفته در دانشگاه باسک بود تا بدین وسیله تبادل اطلاعات کرده و از یکدیگر چیز جدیدی یاد بگیرند تا به قانونی موثر منجر گردد.
4-3-5- نتایج
نتایج مطالعه به نحو رضایت بخشی اهداف و انتظارات اولیه را براورده نمود.به این دلیل که عقاید اجتماع دانشگاه اعم از گروه های تخصصی و طبقاتی را جمع آوری نمود و قانونی با توجه به تمام عقاید و احساسات افراد مرتبط با دانشگاه باسک به وجود آورد.
مانند موارد قبلی از شاخص های متفاوتی برای ارزشگذاری کیفیت تمرین دلفی استفاده شد :
با توجه به اعتبار اجتماعی مطالعه ، این یک تجربه بسیار مثبت در ارتباط بین دانشگاهی ، اجتماعی و اداری بود که با بازدید معاون دانشگاه آغاز شد.گزارش نهایی در مورد مطالعه بر روی سایت دانشگاه به جامعه اطلاع داده شد.گزارش برای اتحادیه ها و گروه های سیاسی فرصتی را فراهم نمود تا بدون تعصب عقاید و احساسات دانشگاه را در مرتبه اول بفهمند و در نهایت قانون سازمانی دانشگاه باسک تهیه و در نهایت تصویب شد.
6- نتایج و درسهای یاد گرفته شده
با جستجو و مرور در باره ادبیات ، می توان گفت که روش دلفی به حیات خود ادامه می دهد و ابزاری معتبر برای پیش گویی و پشتیبانی از تصمیم سازی است.
مقایسه های انجام شده با دیگر فنونی که در گستره و شرایط عملی یکسان با دلفی قرار دارند ، یافته های مشخصی به طرفداری یا مخالفت با آن نشان نمی دهد.اگرچه مقایسه های انجام گرفته با گروه های آماری و گروه های کلاسیک که از میانکنش مستقیم استفاده می کنند ، نتایج مثبتی را برای دلفی نشان می دهد.
گستره کاربرد دلفی در تحقیقات در طول 30 سال گذشته کم نشده است و حتی در طول پنج سال گذشته مقاله های بیشتری از این فن به خصوص در علوم اجتماعی(تجارت ، اقتصاد و روانشناسی) و علوم بهداشتی(داروسازی و پرستاری) استفاده کرده اند.دلفی ، یک ابزار معمول در حوزه های پیش گویی اجتماعی و فنی ، اجتماعی ، همرایی در واقعیات اجتماعی یا بهداشتی ، ارتباطات و مشارکت است.همچنین باید خاطر نشان کرد با وجود بالغ شدن فن دلفی ، هنوز مقالاتی در مورد روش شناسی دلفی چاپ می شود.
اگرچه خصوصیات یا ضعف هایی در روش شناسی یا کاربرد دلفی وجود دارد که هنوز کاملا درست نشده است.این مشکلات در حوزه علوم اجتماعی مخصوصا کاربردهای حرفه ای که متخصصان آن ارتباط حرفه ای یا عاطفی یا تعهد به انجام مطالعه ندارند ، پررنگ تر است.
تجربیاتی که در این مقاله ارائه شد واقعیاتی را در مورد حال و پتانسیل روش دلفی به منظور تولید داده هایی برای مدل های کمی به وسیله عقاید متخصصان ، تشخیص شرایط اجتماعی پیچیده ، پیش گویی اجتماعی ، بدست آوردن همرایی با توجه به نیازهای اجتماعی و بهبود مشارکت اجتماعی بیان نمود.
از طرف دیگر ، تجارب گفته شده درسهای زیادی برای اجرای تمرین های دلفی به صورت حرفه ای در علوم اجتماعی به همراه دارد که برخی از آنها قبلا در نوشته های کلاسیک مورد بحث قرار گرفت.به طور خلاصه ، درسها و جنبه هایی که باید به آنها توجه ویژه ای داشت از قرار زیر است :
- داشتن پشتیبانی نهادی برای حمایت و تضمین اهداف سودمند برای جامعه ، همکاری متخصصان را آسان می نماید.این پشتیبانی باید در قوانین و ابزار ارتباط با متخصصان مشخص باشد.در اکثر موارد ، متخصصان به خاطر منافع جامعه در تحقیقات شرکت می کنند.
- تشکیل تیمی که بتواند با درک کامل از فن دلفی ، مطالعه را انجام دهد و دانش بسیار بالایی نیز از ناحیه مورد مطالعه داشته باشد.
- انتخاب هیئت منصفه ای از متخصصان که بتوانند کمک موثری به موضوع مورد مطالعه بکنند.همچنین درجه علاقه آنها به مشارکت ، معیاری کلیدی است.
- فکر کردن به این امر که چه چیزی متخصص را ترغیب می کند تا در روش دلفی شرکت کرده و به صورت فعال تا آخر فرایند همکار نماید.
- اگر ممکن باشد ، معقولانه است که ارائه ای از مطالعه با تاکید بر اهمیت آن با حضور متخصصان داده شود.در نتیجه متخصص از جدیت و ارتباط مطالعه آگاه شده و افراد مرتبط با کار را می بیند ، روش شناسی را درک می کند و هر گونه شک و تردید و ترس از بین می رود.متخصصان می توانند یکدیگر را ببینند و متعهد شوند که در کار شرکت می کنند.این گردهمایی ، افرادی که علاقه به شرکت در روش دلفی دارند را با افراد دیگر متمایز می کند.
- انجام یک کاربرد آزمایشی برای بهبود دقت پرسشنامه و شناسایی مشکلات در اداره متخصصان هیئت منصفه و اجرای مورد مطالعه.
- تقویت کمک ها و فرستادن بازخورد ها به صورت کیفی : تفاسیر ، توضیحات و پیشنهادات از طرف متخصصان تا تخمین های متخصصان را با دریافت اطلاعات جدید ، تغییر دهد.به عبارت دیگر ، میانکنش های اطلاعات کیفی به این امر کمک می کند.متخصص باید احساس واقعی از شرکت هم در فراهم نمودن اطلاعات و هم مطالعه و همکاری بقیه اعضای هیئت منصفه و افراد درگیر در تحقیق داشته باشد.
- مطالعه نباید به هنگامی که متخصص آخرین پرسشنامه را تکمیل کرد ، خاتمه یابد و نتایج مورد مطالعه باید به متخصص منتقل شود.این امری حیاتی است که متخصصان ، نتایج مطالعه را همراه با تشکر ویژه در اسرع وقت دریافت نمایند.
تجربیات نشان داده با رهنمود های روش شناختی که شامل انتخاب متخصصان ، فرمول بندی کردن سوالات و پردازش داده ها ، اجرای رهنمود های منطقی هم از طریق محققان و هم متخصصان ، احساس رضایت از روش دلفی در یک مطالعه حاصل می گردد و سطح بالایی از پایداری و اعتبار حاصل می شود.
به عنوان نتیجه گیری پایانی می توان گفت که عقاید متخصصان و فنونی که به بهبود انتخاب متخصصان کمک می کنند هنوز کاملا معتبر هستند.مخصوصا در علوم اجتماعی این امر صادق است ، جایی که مداخلات بشر با تمام پیچیدگی وتغییر آن در بسیاری از موارد ، پیش گویی و تغییر فعالیت های اجتماعی را مشکل می کند.
منابع
[1] W.R. Rieger, Directions in Delphi developments: dissertations and their quality, Technol. Forecast. Soc. Change 29 (1986) 195 – 204.
[2] A. Kaplan, A.L. Skogstad, M. Girshick, The prediction of social technological events, Rand Corp. P-93 (1949).
[3] O. Helmer, N . Rescher, O n epistemology of inexact sciences, Manage. Sci. 6 (1) (1959) 25 – 52.
[4] N. Dalkey, O . Helmer, A n experimental application of the Delphi method to the use of experts, Manage. Sci. 9 (3) (1963) 458 – 467.
[5] O. Helmer, E.S. Quade, An approach to the study of a developing economy by operational gaming, Rand Corp. P-2718 (1963).
[6] H. Linstone, M. Turoff, The Delphi Method. Techniques and Applications, Addison-Wesley, Reading, MA, 1975.
[7] T.J. Gordon, O. Helmer, Report on a long-range forecasting study, Rand Corp. P-2982 (1964). [8] T. W. Weaver, Delphi, a Critical Review, Educational Policy Research Center, Report, vol. RR-7, Syracuse University Research Corporation, Syracuse NY, 1971.
[9] H. Sackman, Delphi assessment: expert opinion, forecasting and group process, Rand Corp. R-1283-PR (1974).
[10] H. Linstone, Eight basic pitfalls: a checklist, in: H.A. Linstone, M. Turoff (Eds.), The Delphi Method. Techniques and Applications, Addison-Wesley, Reading, MA, 1975.
[11] G.T. Milkovich, A.J. Annoni, T.A. Mahoney, The use of Delphi procedures in manpower forecasting, Manage. Sci. 19 (4) (1972).
[12] A.H. Va n d e Ven, A.L. Delbecq, The effectiveness of nominal, Delphi, and interacting group decision making processes, Acad. Manage. J. 17 (4) (1974) 605 – 621.
[13] G. Becker, D.A. Bakal, Subject anonymity and motivational distortion in self report data, J. Clin. Psychol. 26 (2) (1970) 207 – 209.
[14] G. Welty, A critique of Delphi technique, The Joint Statistical Meeting of American Statistical Association, Fort Collins, Colorado, August, 1971, pp. 377 – 382.
[15] J.P. Martino, The consistency of Delphi forecast, Futurist 4 (1970) 63.
[16] J.P. Martino, Technological Forecasting for Decisionmaking, American Elsevier, N Y, 1972, third edition in 1993, by McGraw-Hill, NY.
[17] V.E. Huckfeldt, R.C. Judd, Issues in large scale Delphi studies, Technol. Forecast. Soc. Change 7 (1974) 175 – 184.
[18] T. Gordon, H. Hayward, Initial experiments with the cross impact matrix method of forecasting, Futures, dec., 1968, pp. 100 – 116.
[19] W.G. Rieger, Directions in Delphi developments: dissertations and their quality, Technol. Forecast. Soc. Change 29 (1986) 195 – 204.
[20] J. Landeta, El Me´ todo Delphi. Una Te´ cnica de Previsio´ n Para la Incertidumbre, Ariel, Barcelona, 1999.
[21] D.H. Gustafson, R.K. Shukla, D. Delbecq, G.W. Walster, A comparative study of differences in subjective likelihood estimates made by individuals, interacting groups, Delphi groups, and nominal groups, Organ. Behav. Hum. Perform. 9 (1973) 280 – 291.
[22] W.E. Rigss, The Delphi technique: an experimental evaluation, Technol. Forecast. Soc. Change 23 (1) (1983) 89 – 94.
[23] R.J. Parente´ , J.K. Anderson, P. Myers, T. O’Brien, An examination of the factors contributing to Delphi accuracy, J . Forecast. 3 (1984) 173 – 182.
[24] J.M.G.M. Va n Dijk, Delphi questionnaires versus individual and group interviews, Technol. Forecast. Soc. Change 37 (1990) 293 – 304.
[25] R.C. Erffmeyer, I.M. Lane, Quality and acceptance of an evaluative task: the effects of four group decision-making formats, Group Organ. Stud. 9 (4) (1984) 509 – 529.
[26] J. Sniezek, A comparison of techniques for judgmental forecasting by groups with common information, Group Organ. Stud. 15 (1) (1990) 5 – 19.
[27] G. Rowe, G. Wright, The Delphi technique as a forecasting tool: issues and analysis, Int. J. Forecast. 15 (1999) 353 – 375.
[28] U.G. Gupta, R.E. Clarke, Theory and applications Delphi technique: a bibliography (1975–1994), Technol. Forecast. Soc. Change 53 (1996) 185 – 2 11 .
[29] K. Cuhls, T. Kuwahara, Outlook of Japanese and German Future Technology. Comparing Technology Forecast Surveys, Phisica-Verlag, Heidelberg, 1994.
[30] K. Blind, K. Cuhls, H. Grupp, Personal attitudes in the assessment of the future of science and technology: a factor analysis, Technol. Forecast. Soc. Change 68 (2) (2001) 131 – 149.
[31] G. Tichy, The over-optimism among experts in assessment and foresight, Technol. Forecast. Soc. Change 71 (4) (2004) 341 – 363.
[32] A.K. Chakravarti, B. Vasanta, A.S.A. Krishnan, R.K. Dubash, Modified Delphi methodology for technology forecasting: case study of electronics and information technology in India, Technol. Forecast. Soc. Change 58 (1–2) (1998) 155 – 165.
[33] T. Shin, Using Delphi for a long-range technology forecasting, and assessing directions of future R and D activities: the Korean exercise, Technol. Forecast. Soc. Change 58 (1–2) (1998) 125 – 154.
[34] Institute for Prospective Technological Studies (IPTS) www.jrc.es/home/pages/list.cfm .
[35] M.K. Rayens, E.J. Hahn, Building consensus using the Policy Delphi method, Policy Polit. Nurs. Pract. 1 (4) (2000) 308 – 315.
[36] H. Dransfeld, J. Pemberton, G. Jacobs, Quantifying weighted expert opinion: the future of interactive television and retailing, Technol. Forecast. Soc. Change 63 (1) (2000) 81 – 90.
[37] S. Keeney, F. Hasson, H.P.W.R. McKenna, A critical review of the Delphi technique as a research methodology for nursing, Int. J. Nurs. Stud. 38 (2) (2001) 195 – 200.
[38] J.P. Martino, A review of selected advances in technological forecasting, Technol. Forecast. Soc. Change 70 (8) (2003) 719 – 733.
[39] C. Okoli, S.D. Pawlowski, The Delphi method as a research tool: an example, design considerations and applications, Inf. Manage. 42 (1) (2004) 15 – 29.
[40] G. Rowe, G. Wright, A. McColl, Judgment change during Delphi-like procedures: the role of majority influence, expertise, and confidence, Technol. Forecast. Soc. Change 72 (4) (2005) 377 – 399.
[41] R.J. Parente´ , T.N. Hio¨ b , R.A. Silver, C . Jenkins, M.P. Poe, R.J. Mullins, The Delphi method, impeachment and terrorism: accuracies of a short-range forecast for volatile world events, Technol. Forecast. Soc. Change 72 (2) (2005) 401 – 4 11 .
[42] J. Landeta, J. Matey, V. Ruiz, O. Villarreal, Alimentacio´ n de modelos cuantitativos con informacio´ n subjetiva: aplicacio´n Delphi en la elaboracio´ n de un modelo de imputacio´ n del gasto turı´stico individual en Catalunya, Questio¨ 2 6 (1–2) (2002) 175 – 196.
[43] J.S. Dajani, M.Z. Sincoff, W.K. Talley, The Delphi stability and agreement criteria, Technol. Forecast. Soc. Change 13 (1979) 81 – 90.
[44] M. Scheibe, M. Skutsch, J. Schofer, Experiments in Delphi methodology, in: H.A. Linstone, M. Turoff (Eds.), The Delphi Method. Techniques and Applications, Addison-Wesley, Reading, MA, 1975.
[45] J. Landeta, J. Matey, V. Ruiz, A. Costa, Resultados de una aplicacio´ n Delphi en la elaboracio´ n de las tablas Input–Output de Catalunya, XIV Jornadas Luso Espanholas de Gesta¨ o Cientı´fica. CD of Papers, Universidade dos Ac¸ ores, Ponta Delgada (Azores-Portugal), 2004.
[46] W. Leontief, Input–Output Economics, Oxford University Press, New York, 1966.
[47] SEC-95. Regulation (EC) 2223/96, pg. 285.
[48] M. Turoff, The design of a Policy Delphi, Technol. Forecast. Soc. Change 2 (1970) 149 – 171. [49] P. Tapio, Disaggregative Policy Delphi. Using cluster analysis as a tool for systematic scenario formation, Technol. Forecast. Soc. Change 70 (1) (2002) 83 – 101.
[50] J. Ludlow, Delphi inquiries and knowledge utilization, in: H.A. Linstone, M. Turoff (Eds.), The Delphi Method. Techniques and Applications, Addison-Wesley, Reading, MA, 1975.
[51] H.P. McKenna, The Delphi technique: a worthwhile approach for nursing? J. Adv. Nurs. 19 (1994) 1221 – 1225.
[52] N. Jairath, J. Weinstein, The Delphi methodology (part one): a useful administrative approach? Can. J. Nurs. Adm. 7 (3) (1994) 29 – 40.
واژه نامه تخصصی انگلیسی – فارسی
Academic دانش پژوهانه
Aim هدف
Anonymity گمنامی
Consensus همرایی
Convergence همگرایی
Evaluation ارزشگذاری
Feedback بازخورد
Forecasting پیش گویی
Interaction میانکنش
Interconnected بین پیوندی
Measure سنجه
Policy سیاست
Prediction پیش بینی
Scope گستره
Validity اعتبار
Zone برزن
واژه نامه تخصصی فارسی – انگلیسی
Evaluation ارزشگذاری
Validity اعتبار
Feedback بازخورد
Interconnected بین پیوندی
Prediction پیش بینی
Forecasting پیش گویی
Academic دانش پژوهانه
Measure سنجه
Policy سیاست
Scope گستره
Anonymity گمنامی
Interaction میانکنش
Aim هدف
Consensus همرایی
Convergence همگرایی
[1]Forcasting
[2]Validity
[3]Consensus
[4]Evaluation
[5]Academic
[6]Rand Corporation
[7]Anonymity
[8]Feedback
[9]Interaction
[10]Clarke & Gupta
[11]Scope
[12]Convergence
[13]Zone
[14]Measures
این مقاله: کار کلاسی آقای محمدصادق سهیلی پور برای درس فنون و روش های برنامه‌ريزي شهري در سال 1387 بوده است
