یک راهنمای عملی برای تحقیقات تجربی (آزمایشی) تبلیغات
تحقیقات تجربی برای کمک به ایجاد روابط علت و معلولی انجام می شوند و می‌توانند ابزار قدرتمندی برای انجام این کار باشند. برای انجام تحقیقات تجربی تبلیغات، مفاهیم بنیادی را مورد بررسی قرار می‌دهیم. تحقیقات تجربی خوب شامل بررسی دقیق متغیرهای مستقل و وابسته و آنچه که قرار است نماینده آن‌ها باشد. برای این منظور، ما تهدیدهای پیش رو را برای ایجاد اعتبار مورد بررسی قرار می‌دهیم و در مورد چگونگی تفکر درباره اعتبار خارجی و محیطی در تحقیق تبلیغات پیشنهاداتی ارایه می‌دهیم. سه طرح تحقیقاتی نیمه تجربی و سه طرح آزمایشی تصادفی ساده همراه با آزمایش‌های طرح فاکتوریل پیچیده مورد بررسی قرار می‌دهیم. در نهایت، در مورد ملاحظات اخلاقی و نقش حیاتی محققان در حفظ یکپارچگی تحقیق بحث می‌کنیم. 
تحقیقات تجربی برای بررسی اینکه چرا و چگونه یک چیز باعث چیز دیگر می‌شود، طراحی و انجام می‌شوند. محققان تبلیغاتی از تحقیقات تجربی برای بررسی این موضوع استفاده می کنند که آیا تبلیغات بر فروش اثر می‌گذارد (به عنوان مثال، کابالرو و سولومون 1984)، آیا وضعیت ناشی از یک برنامه تلویزیونی بر پردازش تبلیغات بعدی تاثیر می گذارد (کلین و کلاریس، 2007)، آیا تکرار برای تقویت حافظه در مورد نام های تجاری روشی موثری است (نوردیلم، 2002)، و آیا افزایش اهمیت هویت های قومی مصرف کنندگان بر پاسخ های تبلیغاتی با تجدید نظر وطن پرستانه تاثیر می گذارد (یو و لی، 2016). روابط علّی در هر یک از این روابط ضمنی بوده و تحقیقات تجربی بهترین ابزار محققان برای تعیین روابط علّی می باشد. 
یک تحقیق تجربی شامل یک محقق ناظر و کنترل یک یا چند متغیر تصادفی (متغیرهای مستقل) و سپس مشاهده تفاوت‌های متناظر در نتیجه یا متغیر (متغیرهای) وابسته می باشد. با کنترل وضعیت، محقق می‌تواند برخی از شرایط بیرونی را که ممکن است نتایج را اشتباه جلوه دهد، حذف کند. به همین دلیل، تحقیقات تجربی معمولاً روش تحقیق ترجیحی برای اثبات رابطه علّی هستند. به عنوان مثال، اگر یک محقق بخواهد بداند که آیا تبلیغات نقطه ای (متمرکز) خرید کالا، افراد را برای خرید یک محصول تشویق کند، یک گزینه انجام نظرسنجی است که از افراد می‌پرسد آیا آنها بیشتر تمایل دارند تا محصولات را براساس تبلیغات متمرکز خریداری کنند. افراد به احتمال زیاد پاسخ‌های معقولی ارایه می‌دهند، اما حوزه بزرگی از تحقیقات وجود دارد که نشان می‌دهد افراد با دانستن دلیل واقعی انجام کارهایی که انجام می‌دهند، خیلی موافق نیستند (به عنوان مثال، نایسبت و ویلسون 1977). یک محقق را تصور کنید که از یک زن می‌پرسد؛ چرا از آن نام تجاری شوینده لباس‌شویی استفاده می‌کند. احتمالاً او می‌گوید چون لباس‌ها را به خوبی تمیز می‌کند. اما آیا این دلیل واقعی خرید است؟ به احتمال زیاد خیر، دلیل واقعی خرید این است که این نام تجاری است که خانواده او مورد استفاده قرار می‌دهند، و یا دوست یا هم‌اتاقی وی از آن استفاده می‌کند و او متوجه شده است که این نام تجاری به اندازه کافی خوب است. در حقیقت، تا زمانی که از او پرسیده نشود، هرگز واقعاً به آن فکر نکرده و صرفاً یک پاسخ منطقی می‌دهد. حال به یک سوال کاملاً متفاوت فکر کنید: تصور کنید از یک مصرف‌کننده همجنس باز بپرسید زمانی که از مقابل یک گروه همجنس گرا در یک نمایش عمومی می گذرد و یا جلوه های تبلیغاتی یک گروه همجنس گرا را می‌بینند، چه احساسی دارد (بات و لیگ و واردلو، 1998). افراد معدودی دوست دارند درباره خودشان به طور متعصبانه فکر کنند و حتی اگر آن‌ها بدانند که متعصب هستند ممکن است مایل به اعتراف به آن نباشند. محققان با انجام یک تحقیق تجربی می‌توانند از تکیه بر حافظه معیوب بالقوه اجتناب کنند، چرا که افراد پاسخ‌های اجتماعی مطلوب دارند و یا اینکه افراد حتی زمانی که نمی‌دانند چرا چیزی را انجام می‌دهند، پاسخ هایی ارائه می‌دهند. تحقیقات تجربی به حل مشکلات ذاتی سوال «چرا»، احتمال توضیحات متناوب و مشکل اینکه چه چیزی واقعاً باعث چه چیزی می‌شود، کمک می‌کند. 
تحقیقات تجربی همچنین برای آزمون و تدوین نظریه کمک می کنند. نظریه یک گروه از ایده هاست که برای توضیح وقایع و پیش بینی های خاص در مورد وقایع آینده استفاده می شود. نظریه های علمی قابل آزمون هستند و باید به نحوی بیان شوند که آنها را ابطال پذیر سازد (پوپر، 1959). یک نظریه باید به محققان اجازه دهد که درباره آنچه در شرایط دقیق رخ می دهد پیش بینی هایی خاص و فرضیاتی ارائه دهند. نظریه ای که ابطال پذیر نباشد و ثابت نشود نادرست است و محققان را درون مجموعه ای از باورها به دام انداخته و از پیشرفت جلوگیری می کند. به عنوان مثال، اگر کسی معتقد باشد که تبلیغ همیشه باعث نگرش مطلوبتری نسبت به برندهای تبلیغاتی می شود، این فرد تمایل دارد که برای حفظ نظریه اصلی، هرگونه شرایطی را که با این باور ناسازگار است توضیح دهد (به عنوان مثال اگر تبلیغات نگرش مطلوب را افزایش ندهد، به این دلیل است که بینندگان بیش از حد احمق اند تا پیام را درک نکرده اند). تحقیقات تجربی مجموعه ای از ابزارها هستند که محققان می توانند برای آزمون فرضیه های مشتق از نظریه ها استفاده کنند؛ برای تعیین اینکه آیا آنها تأیید می شوند (و بنابراین باید حفظ شوند) و یا رد می شوند (و باید اصلاح شده یا رد شوند).
استفاده بسیار ویژه از تحقیقات تجربی برای آزمون نظریه هایی است که پیش‌بینی‌های رقابتی را بررسی می کنند (پلات، 1964). برای مثال، در نظر بگیرید تلاش برای درک چگونگی وضعیت ناشی از یک برنامه تلویزیونی شاد یا غم انگیز بر پاسخ مصرف کنندگان به تبلیغات شاد و غم انگیز اثر می گذارد (کامینز و همکاران، 1991). با توجه به نظریه تناسب، زمانی که افراد خوشحال هستند، همه چیز را خیلی دوست دارند و زمانی که غمگین می شوند، همه چیز به نظر زیاد خوب نیست. از آنجا که افراد هنگام تماشای یک برنامه تلویزیونی شاد، خوشحال هستند؛ همه آگهی ها (حتی تبلیغات غم انگیز) در بین بهترین برنامه های شاد قرار داده می شوند. با این حال، نظریه پایداری (ثبات) پیش بینی می کند که افراد تبلیغی را ترجیح می دهند که با آن منطبق باشند و وضعیتی را که آنها قبلاً تجربه کرده اند نشان دهد. بنابراین، اگر کسی نیاز به تبلیغ غم انگیز داشته باشد (به عنوان مثال درخواست کمک مالی برای کمک به کودکان گرسنه) نظریه تناسب پیش بینی می کند که آن در بین یک برنامه شاد قرار گیرد، در حالی که نظریه پایداری پیش بینی می کند که بهتر است آن در یک برنامه غم انگیز قرار داده شود. کامینز، مارکس و اسکینر (1991) این پیش بینی های متضاد را در یک تحقیق تجربی بررسی کردند و ارتباط قویتری با نظریه پایداری مشاهده کردند. تحقیقات تجربی همیشه رقابت بین نظریات را حل نمی کند (نگاه کنید به گرینوولد، 2012)، اما آنها به شناسایی پذیرش نظریه ها کمک می کنند.
دانش و استنتاج علّی
علت و معلول دقیقاً چه چیزی هستند؟ به طور کلی، علل چیزهایی هستند که تولید می کنند (مثلا ایده ها، آگهی ها) و معلول (اثرات) چیزهایی هستند که تولید می شوند (مثلا نگرش، باورها، نیت ها). به گفته جان لاک، «علت آن چیزی است که هر چیز دیگر مانند ایده، ماده، یا حالت و شروع (آغاز شدن) را به سادگی ایجاد می کند؛ و معلول آن چیزی است که آغاز آن از چیزهای دیگر باشد» (لک 1689). ایجاد روابط علّی نیازمند وجود سه معیار است (میل، 1843). اولاً علت و معلول باید با هم متفاوت باشند (به عنوان مثال، همبستگی). ارتباط بودجه های تبلیغاتی با فروش مثال شناخته شده ای در این حوزه است. در حالی که متغیرها مرتبط هستند، لزوماً این بدان معنا نیست که بودجه های تبلیغاتی بیشتر باعث فروش بیشتر می شود. برندها اغلب بودجه های تبلیغاتی خود را بر اساس درصد فروش سال گذشته یا آینده پیش بینی می کنند. در عوض، هر دو بودجه و فروش ممکن است به یک عامل سوم مانند یک اقتصاد پررونق مربوط باشد. بنابراین، حتی اگر دو متغیر همبستگی داشته باشند، هیچ تضمینی وجود ندارد که آنها با یکدیگر رابطه علّی داشته باشند.
دوم، علت باید مقدم بر معلول باشد. این به عنوان اولویت زمانی شناخته شده است و ممکن است به نظر خیلی ساده باشد، اما همیشه اینطور نیست. مطالعه ای را تصور کنید که در آن به افراد تبلیغات زیادی را نشان می دهند. سپس، از آنها پرسیده می شود که کدام آگهی های را به یاد می آورند، و نیز درباره نگرش آنها به هر نام تجاری تبلیغاتی سئوال شود. محققان دریافتند تبلیغاتی که توسط افراد بیشتری به یاد آورده می شود، نمرات نگرش نام تجاری بیشتری دارند. آیا محققان می توانند بگویند که یادآوری تبلیغ (یعنی علت) منجر به نگرش های نام تجاری بالاتر می شود؟ پاسخ خیر است، آنها نمی توانند بگویند، زیرا این احتمال وجود دارد نام های تجاری که بیشتر افراد دوست دارند (به عنوان مثال، نام های تجاری که نمرات نگرش بالاتری دارند) احتمالاً بیشتر دیده شده و در یاد مانده است. بنابراین، در حالی که دو متغیر همبستگی دارند، ایجاد علیت نیازمند یک تحقیق تجربی است که به طور صریح یادآوری را دستکاری یا کنترل کند، در حالی که اثرات بر روی نگرش های نام تجاری را ارزیابی می کند.
این به نیاز سوم در ایجاد روابط علّی منجر می شود: یعنی تلاش برای رد توضیحات جایگزین قابل قبول برای رابطه مشاهده شده. این به عنوان معیار اعتبار درونی شناخته می شود. یک تحقیق تجربی با اعتبار درونی بالا – کنترل یا رد علل جایگزین – باعث می شود که محققان بتوانند در مورد رابطه علت و معلولی نسبتاً مطمئن باشند. بدون اعتبار درونی، محققان نمی توانند تعیین کنند که آیا یک نتیجه توسط یک عامل یا عامل دیگر تولید شده است، بنابراین درک آن بسیار مهم است.
طبق دیدگاه میل (1843)، یک مبنای منطقی برای توجیه روابط علّی بین متغیرها می تواند با علل ضروری و کافی ایجاد شود. این کار با سه ایده ساده انجام می شود: روش توافق، تفاوت و تغییر همزمان. اول، روش توافق است: «اگر X، پس Y» اگر Y اتفاق افتد که در آن X در هر زمان وجود دارد، پس می توان گفت که X یک علت (دلیل) کافی برای Y است؛ X برای ایجاد اثر مناسب است. ایده دوم، روش تفاوت است: «اگر X نه، پس Y نه» اگر Y زمانی که X وجود ندارد رخ ندهد، X یک شرط لازم یا ضروری برای علت Y است. سوم، روش تغییرات همزمان: «تغییرات Y با تغییرات X اساساً مرتبط است». هنگام انجام تحقیقات تجربی، محققان از روش میل (1843) برای ایجاد علل ضروری و کافی از طریق گروه های تجربی و کنترل استفاده می کنند.
یک نمونه خوب برای نشان دادن منطق میل (1843)، از یک قرن پیش در تحقیقات پلاگرا - یک بیماری که در اوایل دهه 1900 حدود 100000 نفر را کشت – مشاهده شد. این بیماری در میان افراد فقیری که در جنوب آمریکا با لوله کشی و دفع فاضلاب ضعیف زندگی می کردند، رایج بود اما در میان افراد ثروتمندتر با سیستم های لوله کشی و فاضلاب بهتر به مراتب کمتر رایج بود. پزشکانی که پلاگرا را مطالعه می کردند، اعتقاد داشتند که برخی از میکروارگانیسم ها علت بیماری می باشند. با این حال، جوزف گلدبرگر اعتقاد داشت که این امر به دلیل رژیم غذایی با کربوهیدرات و کمبود پروتئین است که مردم فقیر آن را تجربه کرده اند. گلدبرگر فرضیه های میکروارگانیسم را بررسی کرده و توسط برخی از دستیاران‌اش خون و ترشحات را از بیماران مبتلا به پلاگرا به خود تزریق کردند. نه گلدبرگر و نه دستیاران‌اش بیمار نشدند، و بنابراین نتیجه گزارش های میکروارگانیسم مربوط به فاضلاب را از این بیماری حذف کردند. سپس، برای آزمایش گزارش مبتنی بر رژیم، گلدبرگر از یک گروه داوطلب زندانی (که به سیستم های فاضلاب مناسب دسترسی داشتند) خواست که یک رژیم غذایی با کربوهیدرات بالا و پروتئین کم داشته باشند و از گروه داوطلب دیگر خواست که رژیم غذایی متعادل تری داشته باشند. ظرف پنج ماه، زندانیانی که دارای رژیم غذایی با کربوهیدرات بالا و پروتئین کم بودند از پلاگرها رنج می بردند، در حالی که زندانیان دارای رژیم غذایی متعادل سالم بودند (استانویچ، 2010). بدین ترتیب، گلدبرگر همبستگی فقر و پلاگرا (روش توافق) را مشاهده کرد، اما با بررسی این ایده که پلاگرا عفونی بوده و از طریق بهداشت ضعیف (روش تفاوت: قرار گرفتن در معرض میکروارگانیسم ها باعث ایجاد پلاگرایی نمی شود) توضیحات جایگزین را رد کرد سپس یک عامل بالقوه دیگر، رژیم غذایی دستکاری شد در حالی که ثابت نگه داشتن بهداشت (تغییرات همزمان) حفظ شد. با دقت در از بین بردن میکروارگانیسم ها و ایجاد رژیم غذایی به عنوان علت پلاگرا، گلدبرگر با حمایت از نتایج خود در طی حملات ناشی از رهبران کشورهای با نرخ بالای پلاگرا به نگرانی هایی که یافته های آنها به تصاویر دولت آنها لطمه می زد، کمک کرد (المور و فینستین، 1994). 
متغیر مستقل و وابسته
تحقیقات تجربی به محققان اجازه می دهد تا عوامل علّی احتمالی یا همانگونه که در تحقیقات تجربی شناخته شده، یعنی متغیرهای مستقل (IVs) را کنترل و دستکاری کنند. محققان متوجه شدند که متغیرهای مستقل چگونه نتایج یا متغیرهای وابسته (DVs) را تحت تاثیر قرار می دهند. متغیرهای مستقل و متغیرهای وابسته به عنوان متغیرها نامیده می شوند، زیرا آنها در معرض تغییر هستند. در تحقیقات تبلیغاتی، متغیرهای مستقل رایج ممکن است شامل مواردی مانند وضعیت (خوشحال در برابر غمگین، ژائو و همکاران، 2014)؛ سطح مشارکت (پوترو و لرد، 1994)؛ اثرات عناصر تبلیغاتی خاص، مانند جذابیت سخنرانی افراد مشهور (کامینز، 1990)، مقدار فضای سفید در تبلیغ (اولسن و همکاران، 2006) یا نوع استعاره در تبلیغ (چانگ و ین، 2013) باشد. متغیرهای وابسته رایج تبلیغات شامل متغیرهای نتیجه ای مانند توجه به تبلیغ، حافظه، نگرش، میل و رفتار واقعی می باشد.
به طور کلی، در تحقیقات تبلیغاتی، متغیرهای مستقل، دستکاری یا کنترل می شوند تا متغیرهای گسسته و مجزا شوند؛ در حالی که متغیرهای وابسته، پیوسته (مستمر) هستند، اگر چه آنها مجبور نیستند به این شکل باشند. یکی از دلایل تجربی متغیر مستقل، به طور معمول گسسته است، زیرا استفاده از متغیر مستقل برای بسیاری از گروه های تجربی نیاز است زیرا سطوح آن متغیر خاص وجود دارد. به طور معمول، هنگامی که متغیر مستقل مستمر در تحقیقات تبلیغاتی مورد استفاده قرار می گیرند، چیزی شبیه به صفات شخصیت یا نگرش را ارزیابی می کنند. به عنوان مثال، یک محقق اثرات وضعیت حافظه را برای یک تبلیغ بررسی می کند که ممکن است به طور تصادفی افراد را به یک گروه خوشحال یا یک گروه غم انگیز اختصاص دهد، و برای هر گروه به طور جداگانه استنتاج وضعیت را انجام دهد. محقق دیگر ممکن است به تاثیرات وضعیت حافظه برای یک تبلیغ علاقه مند باشد و تصمیم بگیرد که قبل از تماشای تبلیغات، وضعیت غالب شرکت کنندگان را اندازه گیری کند. از آنجا که در مثال دوم متغیر مستقل بعد از دستکاری اندازه گیری می شود، روش تحقیق یک آزمایش نیمه تجربی است، نه یک آزمایش تصادفی (یا واقعی). ابزار تحلیلی پیچیده ای برای مقابله با متغیرهای مستقل پیوسته وجود دارد (به عنوان مثال، هایز، 2013)، اما اندازه گیری های متغیر مستقل همیشه دارای اختلافات سیستماتیک اساسی یا متغیرهای مخالف هستند که کاملاً کنترل شده و متغیرهای مستقل دستکاری شده به طور تصادفی به شرکت کنندگان اختصاص داده می شوند. به همین ترتیب، عمدتاً در مورد متغیرهای مستقل دستکاری شده، استنتاج ارتباط علیت با متغیرهای پیش بینی کننده پیوسته دشوارتر می شود.
متغیرهای وابسته نیز ممکن است گسسته باشند، مانند انتخاب یک نام تجاری از بین نام های تجاری دیگر؛ یا پیوسته باشد، مانند امتیازبندی در یک مقیاس هفت نمره ای. برای نشان دادن بعضی از این ایده ها، تحقیق تجربی را در نظر بگیرید که برخی از شرکت کنندگان بارها و بارها تحت تأثیر نام تجاری «لیپتون آیس» که یک چای کیسه ای نسبتا محبوب است قرار گرفتند، در حالی که شرکت کنندگان گروه کنترل تحت تأثیر نام تجاری «نیپیک تول» قرار گرفتند (کارمانز و همکاران، 2006). همه شرکت کنندگان گفتند که در یک کار تشخیص بصری درگیر بوده و به عنوان یک بررسی دستکاری شده بر اثربخشی محرک های پنهان، هیچ کدام از شرکت کنندگان در هیچ یک از این گروه ها هیچ چیزی غیر عادی ندیدند. متغیر وابسته دو بخشی این بود که آیا شرکت کنندگان چای لیپتون آیس را انتخاب می کنند یا دیگر نوشیدنی هایی که پس از «تشخیص بصری» به طور متوسط محبوب بودند. شرکت کنندگان احتمالاً زمانی که به صورت ظاهری لیپتون آیس ارائه می شد و صرفاً در صورتی که آنها تشنه بودند چای لیپتون آیس را انتخاب می کنند. در مطالعه اول، نویسندگان از تشنگی به عنوان یک متغیر پیش بینی پیوسته استفاده کردند، اما به این دلیل که نویسندگان احساس تشنگی را به جای دستکاری، اندازه گیری کردند؛ آنها کاملاً محتاط بودند که تکرار یافته های آنها در مطالعه دوم رفتار تشنگی به عنوان یک متغیر مستقل واقعی باشد. در مطالعه دوم، محققان، قبل از شروع پیام پنهان آزمایش، تشنگی شرکت کنندگان را با خدمات رفتار شور (روش تحت نمک به عنوان تحریک تشنگی) کنترل و دستکاری کردند. نتایج مطالعه دوم با مطالعه اول مطابقت داشت. به این ترتیب، محققان می توانند احتمال این را که متغیر پنهان سوم باعث ایجاد تشنگی و انتخاب چای بعد شده را رد کنند.
بسیاری از مطالعات تبلیغاتی از متغیر وابسته پیوسته استفاده می کنند، همانطور که در مطالعات تغییر نگرش نشان داده شد. نگرش ها را می توان با روش های مختلف اندازه گیری کرد، اما یک روش معمول، روش تفاوت (افتراق) معنایی است (اوسگود و همکاران، 1957) که از پاسخ دهندگان خواسته می شود تا یک مفهوم را از طریق مقیاس صفت های متضاد قطبی (به عنوان مثال، خوب / بد) ارزیابی کنند. متغیرهای وابسته همچنین می توانند در سطح نسبی پیوسته باشند، به طوری که، زمانی که از شرکت کنندگان سئوال می شود ارزش یک مورد را بر حسب دلار و یا سنت تخمین می زنند یا زمانی که از آنها سئوال می شود امتیاز را به گزینه های مختلف پاسخ تخصیص می دهند. با این حال، آیا متغیرها به صورت گسسته یا پیوسته اند، دستکاری شده یا اندازه گیری شده اند، این بسیار مهم است که آنها دقیقاً مفهومی را که قصد دارند نشان دهند، ارائه می کنند.
متغیرهای مفهومی و عملیاتی
متغیرهایی که در تحقیق تجربی دستکاری و اندازه گیری می شوند اغلب برای نشان دادن ساختارهای مرتبه بالاتر در نظر گرفته می شوند. ترغیب دانش (هام و همکاران، 2015)، سواد تبلیغاتی (نلسون، 2016)، عملکرد چند وظیفه ای چند رسانه ای (چین‌چان‌چوکچی و همکاران، 2015) و شوخی (یون، 2016) نمونه هایی از متغیرهای پژوهش محققان هستند. این متغیرها مفاهیم انتزاعی هستند که می توانند با روش های مختلف اندازه گیری و یا دستکاری شوند. حرکت از ایده انتزاعی یا مفهوم به متغیر دستکاری یا اندازه گیری شده، فرایند عملی کردن این متغیر است. با مشخص کردن واقعیت، محققان عملیاتی مستقیماً از ذهنیت به هدف حرکت می کنند. متغیرهای عملیاتی بخش مهمی از فرایند علمی هستند زیرا «تعریف عملیاتی مفهوم را از احساسات و شهود یک فرد خاص حذف می کند و اجازه می دهد تا آن توسط هر کسی که بتواند عملیات قابل اندازه گیری را انجام دهد، آزمایش شود» (استانویچ، 2010). عملیاتی کردن با توانمندسازی محققان برای ارزیابی کار دیگران، علم را توسعه می دهد. 
عملیاتی کردن یک متغیر با تعریف مفهومی متغیر، توضیحی کلامی از معنی مفهوم، بیان ایده مرکزی یا اصلی مفهوم آغاز می شود. تعریف مفهومی آن چیزی را که مفهوم است و نه آن چیزی که مفهوم نیست را تعریف می کند. محققان تبلیغات معمولاً نگرش نسبت به تبلیغات و برندهای تجاری را اندازه گیری می کنند. یک نگرش مستقیماً قابل مشاهده نیست؛ نمی توان آن را مانند ارتفاع و یا وزن و یا درجه حرارت به طور مستقیم اندازه گیری کرد. بنابراین، یک تعریف مفهومی از نگرش ضروری است.
یکی از تعاریف مفهومی معاصر و مشهور نگرش این است که: نگرش «یک گرایش روانشناختی است که با ارزیابی یک نهاد خاص با برخی از مزیت ها یا ناسازگاری ها بیان می شود» (اگالی و چایکن، 1993). این تعریف مفهومی مشخص می کند که نگرش ها سازه های ذهنی هستند که به عنوان مزایا وجود دارند و به عنوان ارزیابی تجلی می یابند. این تعریف اجازه می دهد تا انواع عملیاتی کردن (به کوک و سلتیز، 1964 نگاه کنید) برای مواردی اعم از خود گزارش دهی آشکار (به عنوان مثال، ارائه رتبه بندی در مقیاس تورستون، تفاوت های معنایی، مقیاس لیکرت؛ برای توضیحات دقیق از این نگرش و سایر اقدامات آن نگاه کنید به هیملفارب، 1993)، عملکرد بر روی وظایف عینی (به عنوان مثال، آزمون ارتباطات ضمنی، گرینوالد و همکاران، 2003) همراه با پاسخ به محرک های «جزئی ساختار یافته» (به عنوان مثال، داشتن قضاوت افراد برای سناریوی مبهم، جایی که نگرش آنها ممکن است بر قضاوت آنها تاثیر بگذارد همانطور که وارگاس و همکاران، 2004 نشان دادند) و پاسخ های فیزیولوژیکی مانند اندازه گیری فعالیت در عضلات صورت که برای لبخند و خندیدن استفاده می شود (ساکیوپو و همکاران، 1986)، کاربرد داشته باشد. 
در برخی موارد، عملیاتی کردن برای یک ساختار به طور گسترده پذیرفته شده و توسط تعداد زیادی از محققان مورد استفاده قرار می گیرد. یکی از این مثال ها، نگرش نسبت به یک تبلیغ است (Attad). نگرش نسبت به یک تبلیغ به عنوان «موقعیتی برای پاسخ به شیوه ای مطلوب یا نامطلوب به یک محرک تبلیغاتی خاص در یک موقعیت خاص» تعریف می شود (مک کینزی و لوتز، 1989). میچل و اولسون (1981) ابتدا چهار جفت تفاوت معنایی را شناسایی کردند که به شدت بر روی ابعاد ارزیابی رتبه بندی تبلیغات تأثیر دارد و از این روش برای نشان دادن نگرش نسبت به یک تبلیغ استفاده کردند. چهار جفت مخالف عبارتند بودند از: خوب/بد؛ سازگار/ ناسازگار؛ تحریک کننده /غیرتحریک کننده؛ و علاقه‌مند/ بی علاقه. مک کینزی و همکاران (1986) دریافتند که فقط دو مورد (خوب/بد و سازگار/ ناسازگار) برای بهره برداری از این مفهوم کافی است. از آن زمان، بسیاری از محققان تبلیغاتی همچنان از بعضی از زیرمجموعه های مورد استفاده توسط میچل و اولسن (1981) استفاده کرده یا برخی از آنها با شرایط بسیار مشابه مانند مثبت/منفی (مثلاً هالکیاس و کوکیناکی، 2014) جایگزین کردند.
به طور معمول، اقداماتی که به خوبی تثبیت شده اند مزایای پذیرفته شده در این زمینه را  قبلاً نشان داده اند که قابل اعتماد بوده و اعتبار قابل قبولی دارند. با این حال، همیشه مهم است تا در این مورد فکر شود که آیا عملیاتی کردن استاندارد به طور مناسب با مفهوم قبل از استفاده از آن مطابقت دارد.
ایجاد اعتبار 
هنگام عملیاتی کردن متغیرهای مستقل و متغیرهای وابسته، محققان باید در مورد توانایی تعمیم عملیاتی کردن خاص در مطالعات حوزه مفاهیم انتزاعی که در نظر دارند، نگران باشند. این نگرانی به عنوان ایجاد اعتبار شناخته می شود. برخي از مشكلاتي كه اغلب ذكر شده و علل منفي رد مقاله در نشريات، مشكلاتي با عنوان ایجاد اعتبار است. شادیش و همکاران (2002) 14 تهدید متفاوت برای ساخت اعتبار را شناسایی کرده اند. ما برخی از این تهدیدها را که بیشتر در معرض محققان تبلیغات قرار می گیرند بررسی می کنیم، اما از خوانندگان علاقمند خواسته ایم که لیست کامل تهدیدات برای ایجاد اعتبار را در کتاب عالی شادیش و همکاران (2002) مرور و بررسی نمایند.
توضیح ناکافی سازه ها
در هر تحقیق تجربی، متغیرهای اولیه باید به صراحت تعریف شوند و سپس اندازه گیری ها و دستکاری ها باید از این تعاریف حاصل شود. سازه ها ممکن است به طور کلی بیش از حد معمول، خیلی محدود، نادرست و یا نامشخص توصیف شده باشد. مشکلات می توانند از تعریف ضعیف مفهوم به مشابه اندازه گیری ضعیف این مفهوم بدست آیند. به عنوان مثال، اگر یک محقق می خواهد بررسی کند که چگونه احساسات مثبت بر ادراک تبلیغ تأثیر می گذارد، باید توجه داشته باشد که آیا او علاقه مند به وضعیت مثبت است یا اینکه او به یک واکنش احساسی علاقمند است. دلیل، مدت زمان و اثرات آن بسته به این موضوع متفاوت است، بنابراین مشخص کردن این موارد با توجه به پیش بینی ها، اندازه گیری ها و دستکاری ها، و نیز توانایی محققان آینده برای ساختن دقیق یا تکثیر کارهای ارائه شده مهم است. به طور مشابه، اندازه گیری یا دستکاری مفهوم باید توسط تعریف مفهومی هدایت شود.
از فرد خوشحالی که به سادگی لبخند می زند بپرسید چرا لبخند می زند، شاید بگوید چرا که با تعمیم بیش از حد اکثر مردم لبخند می زنند. افراد در مصاحبه شغلی لبخند می زنند، زیرا می خواهند احساس خوبی داشته باشند، نه لزوماً چون آنها خوشحال هستند. توضیحات ظریف ممکن است حاوی این استدلال باشد که وضعیت خوشحال ناشی از یادآوری هویت شناختی، تمام انواع شادی را نشان می دهد. خوشحالی ناشی از یک خاطره خوشایند مطمئنا از شادی ناشی از برنده شدن یک بخت آزمایی بزرگ متفاوت است. یک توضیح نادرست می تواند شادمانی را اندازه گیری کند و آن را نگرش نامید. یک توضیح نامشخص می تواند یک معیار سنجش وضعیت خود گزارشی به عنوان معیار وضعیت باشد. موقعیت هایی مانند این، که در آن تعریف عملیاتی نمی تواند دقیقاً با تعریف مفهومی یا نظری مطابقت داشته باشد، یک مشکل عمده در مقالات می باشد. علاوه بر اطمینان از اینکه تعاریف مفهومی و عملیاتی متصل و دقیق هستند، پیش آزمون اعتبار سازه ها می تواند بسیار مفید باشد. به عنوان مثال، ژائو و همکاران (2014) یک پیش فرض برای مطالعه دوم خود در شرایط خنثی قرار دادند تا اطمینان حاصل شود که رفتارهای خشن و غم انگیز واقعا منعکس کننده حالات شادی و غم انگیز می باشد و تنها از لحاظ آماری با یکدیگر متفاوت نمی باشند.
ممکن است به نظر برسد که عملیاتی کردن قابل بحث (مشکوک) و اظهارات مفهومی نامناسب آسان باشد، اما نویسندگان این مقاله اغلب وقتی به عنوان داور مشغول به کار هستند، مشکلات دیگری دارند. به عنوان مثال، افراد هنگامی که از لحاظ نظری انتظار دارند نگرش نسبت به یک تبلیغ تحت تاثیر قرار گیرد (یا برعکس)، نگرش نسبت به یک برند را اندازه گیری می کنند. یا یک نظریه در مورد وضعیتی استفاده می شود اما پاسخ عاطفی فوری دستکاری می شود. به همین ترتیب، محققان می توانند از یک نوع اندازه گیری حافظه مانند تشخیص استفاده کنند، در حالی که واقعاً این تئوری یک معیار متفاوت پیشنهاد می دهد، مانند یادآوری، بنابراین، چه چیزی تحت تأثیر قرار خواهد گرفت.
تعیین این تهدیدات برای ایجاد اعتبار نیازمند تفکر و در نظر گرفتن دقیق اعضای تیم تحقیقاتی و فراتر از آن باشد. با توسعه یک تحقیق، بررسی تحقیق قبلی برای مشاهده این است که چگونه دیگران عملیاتی کردن را می توانند به عنوان بیشترین اطلاعات در نظر گرفته باشند. با این حال، محققین هنوز هم باید در مورد اقدامات قبلی دقیق فکر کنند و تعیین کنند که آیا آنها به اندازه کافی تعریف مفهومی متغیر را منعکس می کنند. در حقیقت، نتایج ترکیبی بین مطالعات ممکن است اتفاق بیفتد، زیرا آنچه که نامیده می شود همان مفهومی است که به شیوه عملیاتی کردن بازتاب کننده مفاهیم مختلف است. در مقالات، ضروری است که معنی و اندازه گیری تمام سازه های کلیدی به طور کامل و دقیق توصیف شود. این اغلب ناحیه ای است که توسط داوران مقالات مطرح می شود.
ایجاد تضاد
در بطن تحقیقات تجربی قوی، کنترل کردن بیشتر متغیرها ممکن است متغیرهای مورد مطالعه را تغییر دهد. دستکاری وضعیت با نشان دادن وضعیت شاد در یک تصویر از یک غروب آفتابی آرام و وضعیت غم انگیز در یک تصویر از تعقیب یوزپلنگ و کشتن یک بچه زرافه به شرکت کنندگان، ارزش و تحریک را آشفته و پریشان می کند. شرکت کنندگان در وضعیت خوشحال ممکن است در واقع خوشحال باشند، اما به دلیل این تصویر نیز ممکن است آرام باشند. شرکت کنندگان در وضعیت غم انگیز ممکن است غمگین و آشفته باشند. بنابراین، هر گونه تفاوت در گروه ها نمی تواند به تناسب صرف وضعیت ارزش (منفی یا مثبت) باشد، بلکه احتمالاً به دلیل تفاوت در تحریک می باشد. بررسی دستکاری و تضاد می تواند راه مهمی برای محافظت در برابر تهدیدات آشفتگی برای ایجاد اعتبار باشد (برای مثال، پردو و سامرز 1986 در مورد استفاده از کنترل های پنهانی و دستکاری). اما محققان باید همیشه با دقت در مورد کنترل احتمال تلاش برای جداسازی متغیرهای مورد علاقه فکر کنند.
تعصب تک عملیاتی
در بسیاری از مقالات پژوهشی، سازه ها در مطالعات متعدد یکپارچه عملیاتی می شوند. هر یک از عملیات ممکن است ساخت کامل را کم رنگ نماید و حاوی نکات خاصی باشد که می تواند نتایج را تحت تأثیر قرار دهد. تکرارهای دقیق مطالعات مهم هستند زیرا باعث افزایش اعتماد به نفس در یافته ها می شوند، اما از لحاظ ایجاد اعتبار بهتر است از تجربیات متعدد در میان مطالعات استفاده شود. به عنوان مثال، الدر و کریشنا (2010) در یک مقاله سه قسمتی درباره اثرات احساس تک و چندگانه در مورد ترجیحات طعم، احساسات را با استفاده از برچسب های سه کلمه ای برای آدامس در اولین مطالعه خود؛ پارامترهای توصیفی طولانی تر برای چیپس سیب زمینی در مطالعه دوم و پاراگراف توصیفی متفاوت برای پاپ کورن در مطالعه سوم خود دستکاری کردند. با استفاده از این دستکاری های مختلف اعتبار سازه آنها افزایش یافت، هرچند هنوز ممکن است فراتر از اظهارات نسبتاً کوتاه و میان وعده های غذایی تعمیم داده نشود.
تعصب تک روشی
همانطور که با تعصب تک عملیاتی، استفاده از یک روش واحد در تعمیم پذیری محدودیت تحقیق محدود می شود. اگر چندین مطالعه در مقاله گزارش شده است، ایده عاقلانه این است که روش های مختلفی برای ایجاد سازه های کلیدی در نظر گرفته شود تا از هر گونه تعصب تک روشی بالقوه جلوگیری شود. برای مثال، ژائو، مهلینگ و کریکلاس (2014) از دو روش مختلف برای نشان دادن این که حالت مؤثر مصرف کننده، اثربخشی تبلیغات نوستالژیک را کنترل می کند، استفاده کردند. در یک حالت مؤثر، شرکت کنندگان با یادآوری تجربیات مثبت (یا منفی) از زندگی خود، تحریک می شدند؛ در حالی که در مرحله دوم، اخبار جدید را که قبلا کشف کرده بودند، باعث وضعیت شاد و یا غم انگیز می دانستند.
تضاد ساخت با سطوح سازه
روش هایی که برای شرکت کنندگان انجام می شود ممکن است برای ایجاد تغییرات در متغیرهای وابسته بسیار ضعیف باشد. به عنوان مثال، محققان با مقایسه اثر کیفیت استدلال (مثلا استدلال های قوی به ضعف) بر تغییر نگرش، می توانند تفاوت بین گروه ها را بیابند و نتیجه بگیرند که کیفیت استدلال بر روی نگرش تاثیری ندارد. اگر دستکاری کیفیت استدلال ضعیف و یا ملایم باشد، عدم تفاوت ممکن است به دلیل محققانی باشد که استدلال های قوی و یا ضعیفی به حد کافی ندارند. تبلیغات اغلب برای برندهایی است که بسیار متفاوت نیستند، بنابراین پیام استدلال در تبلیغات موجود بیش از حد قوی و یا ضعیف نیست. در نتیجه، بسیاری از مطالعات تبلیغاتی از دستکاری هایی استفاده می کنند که به مقیاس قدرت استدلال بسیار نزدیک باشد. این ممکن است واقعیت را منعکس کند اما می تواند توانایی یافتن تفاوت ها را محدود کند و یا تئوری مورد نظر را به اندازه کافی آزمایش کند. پیش آزمون دستکاری با گروهی از پاسخ دهندگان که در آزمایش واقعی نخواهند بود، می تواند به اطمینان از این که دستکاری ها به طور مؤثر بر مفهوم علاقه تاثیر می گذارد، کمک کنند.
این مهم است که بدانیم دستکاری هایی که منجر به تفاوت های قابل توجه بین گروه ها می شوند، به اندازه کافی برای اطمینان از این که محققان به طور مکرر مفهوم مورد نظر را ارائه نمی کنند، کافی نیست. به عنوان مثال، یک محقق ممکن است دستکاری هایی را انجام دهد که شامل دخالت زیاد و یا کم باشد. پیش آزمون با استفاده از یک مقیاس دخالت از درگیری کم (1) تا دخالت زیاد (7) نشان می دهد که دستکاری A دارای میانگین 2.4 و دستکاری B دارای میانگین 3.8 می باشد. حتی اگر تفاوت بین گروه ها نشان دهد که B در مقایسه با A به طور قابل توجهی بالاتر است، این نامناسب است که دستکاری B به عنوان «دخالت زیاد» نام گذاری شود، زیرا میانگین آن کمتر از نقطه میانی مقیاس است. برای نشان دادن درست سازه، دستکاری ها نه تنها باید از یکدیگر متفاوت باشد (از لحاظ آماری معنی دار)، بلکه باید کاملا متفاوت باشند (در دو طرف متفاوت مقیاس نقطه مرکزی). هنگامی که این کار انجام می شود، می توان گفت که تفاوت ها به احتمال زیاد مربوط به دخالت زیاد یا کم است. با این حال، هنوز معلوم نیست که آیا تفاوت در نتایج با دخالت کمتر یا دخالت بیشتر (و یا هر دو) هدایت می شود. یک گروه سوم که نمایانگر وضعیت خنثی یا نیمه متمرکزتر از مشارکت است می تواند به عنوان پایه ای برای گروه های دیگر در این مورد کمک کند.
ساختار عوامل حساس به رفتار
تغییرات در متغیر وابسته به علت متغیر مستقل ممکن است در تمام ابعاد یک اندازه گیری رخ ندهد. تأثیر یک پیام متقاعد کننده بر اندازه گیری نگرش می تواند پنهان شود اگر اندازه گیری به عنوان یک معیار نگرش تک بعدی و جهانی، به جای معیارهای جداگانه ای از عناصر عاطفی و شناختی نگرش ها مورد توجه قرار گیرد. به عنوان مثال، گرون، فام و سین (2001) نشان دادند که تبلیغات پررنگ اثرات مستقیم ارزش بر نگرش ها را بیشتر برای اندازه گیری نگرش های منحصر به فرد (من آگهی را دوست دارم) در مقابل محرک ها (آگهی قابل قبول است) نشان می دهند. اگر یک محقق به دنبال اثرات تحریک در نگرش آگهی باشد و به طور ناخودآگاه از اندازه گیری نگرش با برخی از مواردی که خود و برخی از محرک های اشاره گر را ذکر کرده بود، استفاده کنند، ممکن است ناخودآگاه توانایی دیدن تاثیرات روی نگرش را کاهش دهد. توجه دقیق به چارچوب نظری، مفهوم سازی ها و عملیات ها باید در درک اینکه چه تغییراتی ممکن است انتظار رود، کمک کند.
واکنش به وضعیت آزمایشی
برای افراد (به عنوان مثال، شرکت کنندگان در تحقیق) طبیعی است که تلاش کنند تا شرایطی را که در آن هستند را درک کنند. آنها ممکن است سعی کنند حدس بزنند که محقق چه چیزی انجام می دهد و «کمک کنند» تا محقق به شرایطی که تمایل دارد در آن باشد به جای وضعیت تجربی «طبیعی» پاسخ دهد، به طوری که ممکن است آنها ندانند در یک آزمایش حضور دارند. این می تواند در تحقیقات تبلیغاتی که در آن افراد با یک آگهی تبلیغاتی معرفی می شوند مشکل ساز و گیج کننده باشد و سپس از آنها خواسته به سئوالات پاسخ دهند. در چنین شرایطی افراد به احتمال زیاد به تبلیغات غالباً توجه بیش از حدی می کنند و تلاش می کنند تا مشخص کنند که چه چیزی دستکاری شده است و تمرکز تحقیق چیست. راه های متعددی وجود دارد که سعی کنید تا این واکنش را به حداقل برسانید، از جمله؛ پنهان کردن ماهیت واقعی مطالعه (مثل اینکه گفته می شود هدف این است که یک بازی ویدیویی را ارزیابی کنید زمانی که هدف واقعی توجه به تبلیغات در بازی باشد؛ مثلاً، لی و فابر 2007)؛ تجزیه و تحلیل تحقیق با ارزیابی متغیرهای وابسته در زمانی بعد از انجام تحقیق (مانند تماس 48 ساعت بعد با افرادی که در یک تبلیغ نشان داده شده اند، برای ارزیابی بدون درنگ تبلیغ، به عنوان مثال، فریدمن و فریدمن 1979)؛ و استفاده از دو آزمایش کننده متفاوت که ادعا می کنند به مطالعه چیزهای مختلف می پردازند، یکی از آنها متغیر مستقل را ارائه می دهد و دیگری متغیر وابسته را جمع آوری می کند (مانند فینبرگ، 1986). روزنتال و روسنو (2007) بحث کاملتری در مورد تکنیک های به حداقل رساندن واکنش در شرایط مختلف ارائه می دهند.
انتظارات آزمایش کننده
درست همانطور که انتظارات معلمان برای دانش آموزان می تواند پیشگویی های خود را انجام دهد (روزنتال و جاکوبسن، 1968)، انتظارات آزمایش کنندگان برای شرکت کنندگان تحقیق می تواند ایجاد اعتبار را تهدید کند. ممانعت آزمایش کنندگان از شناخت اینکه دریافت رفتار شرکت کنندگان می تواند به کاهش این مشکل کمک کنند، همانطور که می توان تعامل آزمایش کننده با شرکت کنندگان را حداقل کرد و به عنوان مثال به جای ارائه دستورالعمل تحقیق به صورت چهره به چهره از کامپیوتر استفاده کرد (روزنتال روسنو، 2007). علاوه بر این، هنگامی که مطالعات شامل معیارهای ذهنی کدبندی شده اند (به عنوان مثال، یادآوری بی انتهای کدگذاری یک لیست تجاری یا مصرف کننده)، مهم است که توافق زیادی میان کد کننده های چندگانه ای که هرکدام از آنها (از جمله «کور») از شرایط و فرضیه ها بی اطلاع اند برقرار باشد. 
تهدیدات دیگر برای ایجاد اعتبار وجود دارد مانند اثرات تازگی و ناخوشایند (رفتارهای جدید ممکن است موجب هیجان یا ایجاد اختلال در وضعیت فعلی شوند)، برابری جبرانی (آزمایش کنندگان امیدوار به کمک به شرکت کنندگان تحقیق ممکن است برخی از رفتارها را برای شرکت کنندگانی که به این رفتار اختصاص داده نشده اند پیشنهاد دهند)، رقابت جبرانی (شرکت کنندگان در گروه های مختلف برای نشان دادن اینکه آنها می توانند به خوبی عمل کنند، رقابت می کنند)، تضعیف روحیه مضطرب (شرکت کنندگان ممکن است رفتار غیرمعمول «انصراف» از مشارکت را انجام دهند) انتشار رفتار (شرکت کنندگان در یک وضعیت ممکن است رفتاری را که برای دیگری در نظر گرفته شده دریافت کنند). با این حال، این تهدیدات احتمالاً در تحقیقاتی تجربی میدانی وجود دارد که در آن شرکت کنندگان برخی خدمات یا برنامه های کمکی را دریافت می کنند و می توانند در مورد رفتارهای مختلف با یکدیگر تعامل داشته باشند (شادیش، کوک و کمپل، 2002). آنها در تحقیقات تجربی مبتنی بر آزمايشگاه كمتر تهديد می شوند.
اعتبار داخلی (درونی)
اعتبار داخلی به میزان قابل توجهی که محققان می توانند به رابطه علت و معلول اعتماد داشته باشند، اشاره دارد. یک تحقیق تجربی با اعتبار داخلی بالا، امکان اطمینان بیشتری از علت و معلول را فراهم می آورد. تهدید به اعتبار داخلی توضیحات جایگزین برای یافته های مشاهده شده است، مانند تغییرات در متغیر وابسته که ممکن است ناشی از وقایع خارج از آزمایش باشد، یا شرکت کنندگان تحقیق که در طول مطالعه به بلوغ می رسند، حساسیت به موضوع مورد مطالعه یا حذف بر خلاف انتظار از مطالعه. به عنوان مثال، اگر محقق یک هدیه کوچک، مانند یک شکلات، برای دستکاری خوشحالی به شرکت کنندگان تحقیق بدهد، او نمی داند که این تأثیر ناشی از خوشحالی هدیه یا شکر در شکلات است. توضیح کامل تهدیدات رایج برای اعتبار داخلی فراتر از محدوده مقاله حاضر است، اما ما اشاره می کنیم که خوانندگان علاقه مند به کارهای عالی در این زمینه توسط کمپبل و استنلی (1963) و شادیش، کوک و کمپبل (2002) مراجعه نمایند.
اعتبار خارجی (بیرونی) و محیطی
اعتبار خارجی معمولاً به توانایی محققان برای تعمیم دادن مولفه های خاص یک آزمایش خاص به افراد، زمینه ها، رفتارها و نتایج دیگر اشاره دارد (کمپل و استنلی، 1963 و همکاران). به زیبایی بیان شده که: «اکثر تحقیقات تجربی محلی هستند ولی اهداف عمومی دارند» (شادیش، کوک و کمپل، 2002). اعتبار خارجی مسئله تمام انواع تحقیقات تجربی است، اما در مطالعات آزمایشگاهی در زمینه های کاربردی نظیر تبلیغات، می تواند نگرانی خاصی باشد.
یک نگرانی عمده در مورد اعتبار خارجی شامل شرکت کنندگان در آزمایش می باشد. برای حداقل 70 سال گذشته (مک‌نیر، 1946) افراد ملاحظه کرده اند که تعداد زیادی از مطالعات آزمایشگاهی دانشگاهی از دانشجویان دانشگاه به عنوان شرکت کنندگان استفاده می کنند. این موضوع منجر به بحث در مورد تعمیم پذیری چنین تحقیقاتی و سوالاتی در مورد این که آیا «دانشجویان مقطع لیسانس (نماینده) افراد واقعی» هستند (گوردون، اسلید و شیمیت 1986 و همکاران). اخیرا، نگرانی مشابهی در مورد تغییرات جمعیت شناختی محدود از اکثر شرکت کنندگان تحقیق وجود دارد. اکثریت بزرگی از تحقیقات علمی در زمینه تبلیغات، بازاریابی، رفتار مصرف کننده، روانشناسی و اقتصاد رفتاری توسط افرادی که با نام اختصاری WEIRD شناخته می شود (غرب، تحصیلکرده، از کشورهای صنعتی، نسبتاً غنی و از کشورهای دموکراتیک: هنریش و همکاران 2010) انجام می گیرد. بخش غیرنماینده از بشریت تقریبا مانع آن است که محققان بتوانند یافته های تجربی را به اکثریت دیگر افراد و سایر زمینه ها، رفتارها و نتایج دیگر در جهان تعمیم دهند. 
در برخی موارد این امر باعث ایجاد مشکل اعتبار خارجی نمی شود، اما در سایر موارد ممکن است مشکل ساز باشد. تقریبا دو سوم جمعیت جهان در آسیا زندگی می کنند، که گرایش بیشتری نسبت به فرهنگ فردی غرب دارند. فرهنگ های همکارانه، هماهنگی گروه ها را در اولویت قرار می دهند، در حالی که فرهنگ های فردگرایانه، خودمختاری را اولویت می دهند؛ و تبلیغات موثر در کره و ایالات متحده نشان دهنده این اولویت های مختلف است. بر این اساس، هان و شاتیت (1994) دریافتند که شرکت کنندگان در ایالات متحده آگهی های فردی (به عنوان مثال «رفتار خودتان را با یک تجربه تازه تجدید کنید»، ص 336) را ترجیح می دهند، در حالی که شرکت کنندگان کره ای آگهی های جمعی (مثلاً «به اشتراک گذاری آزادی خواهی را با یک تجربه تازه تجدید کنید»، ص 336) را ترجیح می دهند. اما تصور کنید که گروه دیگری از محققان در مورد اثربخشی تجدید نظر شخصی در برابر اعتراضات گروهی در تبلیغات آگاه باشند و این محققان تنها در ایالات متحده اطلاعات جمع آوری کنند. آنها درمی‌یابند که تجدید نظر شخصی باعث نگرش های مطلوب تر نسبت به اعتراضات گروهی می شود و ممکن است وسوسه شوند که یافته های خود را در سطح جهانی به طور کلی به کار گیرند. با تشکر از هان و شاتیت (1994) ما می دانیم که تاثیر اعتراضات فرد نسبت به گروه در همه فرهنگ ها یکسان نیست.
تهدیدهای اعتبار خارجی نیز ممکن است از محققان محرک خاص و زمینه های مورد مطالعه (مثلا آزمایشگاه، فروشگاه، خانه، ماشین) ظهور پیدا کند (شادیش، کوک و کمپل، 2002). آیا یک نتیجه از آگهی های مختلف، محصولات مختلف یا رسانه های مختلف (به عنوان مثال، آگهی چاپی، آگهی ویدیویی، آگهی پاپ آپ، آگهی بنر) بدست می آید؟ آیا مردم به یک پیام تجاری ارائه شده در یک محیط آزمایشی به طور مشابه پاسخ خواهند داد، همانطور که آنها به تبلیغ در تلویزیون خود در خانه پاسخ می دهند؟ متاسفانه، امکان ندارد که هر مطالعه شامل تمام انواع محرک ها و مکان های ممکن باشد. محققان تا حدی به تکرارها با استفاده از انواع مختلف مشارکت کنندگان، محرک ها، رسانه ها و زمینه ها اعتماد می کنند تا نشان دهند که آیا یک نظریه می تواند فراتر از حد آزمون اولیه آن تعمیم یابد. به همین دلیل است که آزمون نظریه یک فرآیند تجمعی است که در طول زمان رخ می دهد و به همین دلیل نتایج هر مطالعه یک نظریه را ثابت نمی کند، بلکه تنها نشان دهنده حمایت از آن است. با این حال، این بدان معنا نیست که یک تلاش ارزشمند برای به دست آوردن یک نظریه خاص و پیوسته آن را با استفاده از شرکت کنندگان مختلف، رسانه ها یا محرک ها تکرار کنید. در عوض، محققان باید از منطق و استدلال استفاده کنند تا تعیین کنند که چه مدت و چرا یک نظریه ممکن است حمایت نشود. مثال ذکر شده از فرهنگ جمع گرا در برابر فردگرا نمونه خوبی است که یک نظریه به محققان امکان پیش بینی تفاوت های ناخواسته بین گروه ها را داده است.
اعتبار محیطی به این مطلب اشاره دارد که آیا عناصر آزمایش ها با انواع چیزهایی که مردم در زندگی روزمره با آن مواجه هستند سازگار است. تبلیغات نشان داده شده در اینترنت و شبکه تلویزیونی کابلی اولیه معمولاً ارزش تولید بالا و هزینه ده برابر و اگر نه صدها هزار دلار ایجاد می کند. آگهی هایی که معمولاً در آزمایشگاه مورد استفاده قرار می گیرند، شباهت کمی به آنهایی است که خارج از آزمایشگاه دیده می شوند. به طور مشابه، در زندگی واقعی، مردم اغلب همان تبلیغات را چندین بار مشاهده می کنند و اغلب اعتقادات و نگرش های موجود نسبت به نام تجاری که قبل از دیدن آگهی تبلیغ می شوند، وجود دارد. محققان اغلب مجبور هستند بین حداکثر اعتبار محیطی و حداکثر کنترل متغیرهای مورد علاقه و از بین بردن اختلالات احتمالی تعادل ایجاد نمایند.
در برخی موارد، اعتبار خارجی و محیطی در زمینه تحقیقات تجربی نسبتاً بی اهمیت اند. اکثر پژوهش های علمی با استفاده از مطالعات تجربی برای بررسی فرضیه های علمی انجام می شود؛ محققان دانشگاهی معمولاً آزمایش هایی را برای تعیین احتمال وقوع برخی رویدادها در یک جمعیت خاص، با رفتار خاص، به ویژه نتایج یا زمینه خاص انجام نمی دهند (برکویتز و دونرستین، 1982). این یک تفاوت عمده بین تحقیقات علمی و تحقیقات صنعتی است. مطالعات علمی تبلیغات همیشه نیازمند تحقیق نیست که محققان سعی در تدوین دقیق تجربیات روزمره در مواجهه با تبلیغات دنیای واقعی دارند. تحقیقات تجربی گاهی اوقات توسط متغیرهای کاوشگرانه انجام می شود و حتی گاهی اوقات به طور عمدی باعث ایجاد محرک ها و موقعیت های غیر واقعی می شوند، به این ترتیب محققان می توانند متغیرهای خاص، آزمون فرضیه ها و روابط علت و معلول را کنترل کنند (بانجی و کرودر، 1989). به عنوان مثال، اگر یک محقق بخواهد تاثیر طنز را بر توجه به یک آگهی درک کند، ممکن است بخواهد عوامل را در آزمایشگاه به طور دقیق کنترل کند و از قرار گرفتن در معرض یک محرک استفاده کند. با این حال، اگر نظریه مورد نظر محقق حذف اثر طنز بر توجه باشد، پس لازم است که چندین عامل در معرض آگهی را شامل شود. نظریه باید روشی را که محقق به نتیجه دست می یابد و نوع تهدیداتی را که می خواهد حذف نماید، مشخص کند. این باید به محققان در تصمیم های طراحی تجربی کمک کند؛ مانند مناسب بودن استفاده از در معرض یک یا چند آگهی قرار گرفتن؛ برندهای واقعی در مقابل ناشناخته یا ساختگی؛ و هنگامی که مهم است آگهی های ایجاد شده حرفه ای باشد یا به سادگی یک مفهوم را با استفاده از آگهی های ایجاد شده مصنوعی آزمایش کند.
طرح های تجربی و نیمه تجربی
روش های متعددی برای انجام تحقیقات تجربی وجود دارد و آنها به چندین طرح آزمایشی پایه ای پایبند هستند (برای بحث کامل در مورد این طرح ها، به دیدگاه کمپل و استانلی 1963 و شادیش، کوک و کمپل 2002 مراجعه کند). این طرح ها را می توان به دو دسته عمده تقسیم کرد: آزمایش های نیمه تجربی و آزمایش های تصادفی. طرح های نیمه تجربی فاقد حداقل یکی از دو ویژگی حیاتی آزمایش واقعی تصادفی می باشد: (1) گروه های کنترل یا مقایسه و (2) تقسیم تصادفی گروه ها. آزمایش های نیمه تجربی عموماً برای تهدید اعتبار داخلی حساس هستند و به همین دلیل ابزار محرک محققان هستند که امیدوارند روابط علت و معلول ایجاد کنند. با این حال، محققان چه زمانی نمی توانند به طور عملی و یا اخلاقی برخی متغیرها مانند پیشینه فرهنگی پاسخ دهندگان (مثلاً هان و شاویت، 1994) یا یک ویژگی شخصیتی را دستکاری کنند.
طرح های نیمه تجربی
یک شات؛ در ساده ترین طرح نیمه تجربی، محققان یک رفتار (X) را با یک گروه واحد و پس از مشاهده (O) اداره می کنند. به عنوان مثال، یک محقق ممکن است به شرکت کنندگان تبلیغاتی نشان دهد و سپس از آنها بپرسد که کدامیک از برندهای مورد علاقه در تبلیغات را دوست دارید. مشکل اینجا این است که محقق نمی تواند بداند که اگر تبلیغات مشاهده شود در علاقه مندان به نام تجاری تفاوت ایجاد می کند. برای غلبه بر این محدودیت، پژوهشگران به نوعی از گروه کنترل نیاز دارند تا نتایج را مقایسه کنند.
یک گروه پیش آزمون - پس آزمون؛ یکی از راه های انجام این کار این است که مقایسه نگرش های نام تجاری هر فرد را قبل و بعد از دیدن تبلیغات مشاهده کرد. در اینجا محققان می توانند یک گروه واحد (O1) را مشاهده کند، رفتار (X) را انجام دهند و سپس مشاهده دیگری از همان گروه (O2) انجام دهد. در این حالت، تفاوت بین گروه در زمان 2 در مقایسه با زمان 1 (O2 ¡O1) بر اثر X است. با این حال، این طرح به بسیاری از تهدیدات اعتبار داخلی حساس است. به عنوان مثال، بین پیش آزمون و پس آزمون، رویدادهای دیگر (مثلاً خبرهای منفی درباره نام تجاری) می توانند بر تغییرات تأثیر داشته باشند (تهدید تاریخی برای اعتبار داخلی). از آنجا که کسی نمی تواند تهدید به اعتبار داخلی را رد کند، روابط علّی با هیچگونه اطمینانی ایجاد نمی شود.
گروه ایستا؛ راه دیگری برای معرفی یک گروه کنترل دو گروه متفاوت است که با هم مقایسه می شوند. یک گروه بعضی از رفتارها را دریافت می کند (Otreat)، در حالی که گروه دیگری (Octrl) دریافت نمی کنند. همان ابزار برای مشاهدات دو گروه مختلف استفاده می شود و تفاوت بین دو گروه (Otreat ¡Octrl) اثر X است. به عنوان مثال، محققان ممکن است تعجب کنند که آیا دیدن یک فیلم که شامل تعیین برند برجسته (به عنوان مثال، موتور سیکلت دوکاتی) بر نگرش ها نسبت به آن برند تاثیر می گذارد. برای تعیین، این محققان می توانند از مردم بپرسند که آیا آنها فیلم را دیدند و سپس از آنها بخواهند ارزیابی خود از چند برند از جمله دوکاتی را ارائه نمایند. محققان سپس می توانند تعیین کنند که آیا افرادی که فیلم را دیدند نسبت به افرادی که این فیلم را ندیدند، نگرش مثبت تری نسبت به برند موتورسیکلت دارند. با این حال، محققان هنوز قادر نخواهند بود که عوامل دیگر مانند تفاوت سیستماتیک در عضویت گروه را به عنوان علت هر گونه اختلاف، کنار بگذارند. به عنوان مثال، اگر این یک فیلم اکشن بود، افرادی که آن را دیدند نسبت به افرادی که فیلم را ندیدند ممکن است در جستجوی احساس بیشتر باشند؛ و جویندگان حساسیت بالا می توانند مطلوبیت بیشتری نسبت به موتور سیکلت ها داشته باشند.
تخصیص تصادفی
تخصیص تصادفی شرکت کنندگان به شرایط مختلف رفتار، در غلبه به برخی نگرانی ها در طرح های قبلی کمک می کند. با نمونه های کافی بزرگ، به طور تصادفی افراد را به گروه های مختلف اختصاص می دهند، این گروه ها به طور متوسط تقریباً یکسان هستند. افراد شاد و غمگین، به طور یکسان غنی و فقیر، شانس برابری در گروه های آزمایشی و کنترل دارند. همین امر همچین برای هر ویژگی ای که افراد دارند متفاوت است: هوش، جنس، سن، حس شوخ طبعی، خلق و خو، برون گرایی، انگیزه و غیره. بنابراین، گروه های آزمایشی و کنترل قبل از اینکه در معرض آزمایش تجربی قرار گیرند و هر گونه تفاوت مشاهده شده به احتمال زیاد به علت رفتار باشد، باید تقریباً یکسان باشند.
تخصیص تصادفی کامل نیست، بنابراین تضمین نمی کند که گروه های تجربی و کنترل یکسان باشند. اما این یک روش فوق العاده ساده و موثر برای مقابله با تغییرات شگفت انگیز در میان افراد است. تخصیص تصادفی در مقایسه با گروه های همسان اثربخشی کمتری دارد زیرا به خاطر نمونه های کوچک، شرکت کنندگان کمتری در یک مطالعه وجود دارد. به عنوان مثال، مطالعه ای را فقط با چهار شرکت کننده در نظر بگیرید: دو مرد (M) و دو زن (F). اگر شرکت کنندگان به طور تصادفی به هر شرایط تخصیصی یابند، تنها نتایج ممکن MM، MF، FM، یا FF می باشد. یک احتمال 50٪ وجود دارد که یک شرط وجود خواهد داشت که تنها یک شرکت کننده مرد و دیگری تنها زن باشد. اگر این اتفاق رخ دهد، معلوم نیست که آیا اختلاف مشاهده شده به علت رفتار یا جنس پاسخ دهندگان است.
اکنون یک مطالعه با 100 شرکت کننده، 50 مرد و 50 زن انجام دهید. احتمال تخصیص تصادفی شرکت کنندگان به شرایطی که تمام مردان در یک شرایط قرار گیرند و تمام زنان در شرایط دیگری قرار گیرند بسیار اندک است. مطمئنا ممکن است که تخصیص تصادفی می تواند به گروه هایی با 23 زن در یک گروه و 27 زن دیگر در گروه دیگر منجر شود، اما این تفاوت نسبتاً کوچک و بعید است که یک توضیح محتمل جایگزین برای تفاوت های مشاهده شده را پس از رفتار ایجاد کند. محققان می توانند با اضافه کردن گروه های تصادفی و کنترل به دو آزمایش نیمه تجربی گذشته، آنها را به طرح های تجربی تبدیل کنند.
آزمایش های تصادفی
چندین طرح آزمایشی تصادفی وجود دارد که شامل طراحی قبل و بعد با گروه کنترل است که بر اساس طراحی نیمه تجربی قبل و بعد با اضافه کردن یک گروه کنترل و تصادفی، و طرح چهار گروه سولومون که طرح قبل و بعد با گروه کنترل را با طرح صرفاً بعد با گروه کنترل و تخصیص تصادفی شرکت کنندگان را به تمام چهار شرایط ترکیب می کند. با این حال، طرح رایجی که در تحقیقات تبلیغاتی استفاده می شود، طرح صرفاً بعد با گروه کنترل است. طرح صرفاً بعد با گروه کنترل تخصیص تصادفی شرکت کنندگان به طرح گروه ایستا نیمه تجربی است. تخصیص تصادفی شرکت کنندگان به گروهی که رفتار را دریافت می کنند و گروهی که دریافت نمی کنند (گروه کنترل)، به محققان اجازه می دهد که رابطه علت و معلولی خوبی داشته باشند.
مسائل مشترک در آزمایش های تبلیغاتی
تجربه ما این است که رایج ترین طرح مطالعه در ادبیات تبلیغاتی شامل موارد زیر است: (1) طرح تجربی صرفاً بعد با گروه کنترل (در اینجا «کنترل» اشاره به گروهی است که رفتارهای متفاوتی دریافت می کند و نه اینکه لزوماً گروهی که هیچ رفتاری دریافت نمی کند) (2) استفاده از یک نمونه دانشجویی (3) نمایش تبلیغات برای محصولاتی که دانشجویان به طور معمول با آن آشنا هستند، (4) استفاده از برندهای فرعی یا نامعلوم (5)  تنها با یکبار در معرض تبلیغ قرار گرفتن (6) قرار گرفتن در معرض شرایط اجبار. در حالی که هر یک از این خصوصیات ممکن است در بعضی موقعیت ها مناسب باشد، همچنین زمان هایی نیز وجود دارد که هیچ کدام از اینها مناسب نیستند.
همان طور که قبلاً توضیح داده شد، طرح صرفاً بعد با گروه کنترل یک طرح آزمایشی بسیار مفید است که به تصادف متکی است و به حذف بسیاری از تهدیدات اعتبار کمک می کند. با این حال، تمرکز چارچوب نظری و مفاهیم پژوهش باید طرح مطالعه را تعیین کند. دیگر طرح های تصادفی ممکن است برای برخی از سوالات پژوهش مناسب تر باشد. برای مثال، برای مشاهده تاثیر انتخاب در مبارزات بازاریابی ایمیل، دوفرین و همکارانش (2005) مشابه افراد دیگر نگرش های نام تجاری، قصد خرید و احساس اعتماد به شرکت قبل و بعد از دریافت تعداد متفاوتی ایمیل از شرکت را نشان دادند. در شرایطی که محققان اثرات یک تبلیغ در حال انجام را برای یافتن تفاوت در پاسخ های فوری و تاخیری تبلیغات (به عنوان مثال، لاریسی و تینخام) دنبال می کنند، طرح قبل و بعد با گروه کنترل می تواند برای آزمون ایده های نظری مناسب باشد.
محققان برای استفاده از نمونه های دانشجویی سال ها بحث کرده اند. با این حال، دانشجویان مکرراً به عنوان شرکت کنندگان تحقیقات تجربی همچنان باقی می مانند زیرا استفاده از آنها منافع متعددی دارد که شامل هزینه های کم، سهولت به دست آوردن شرکت کنندگان، سهولت بالقوه گرفتن آنها از محیط آزمایشی و این واقعیت که همگن بودن دانشجویان، یافتن محصولات و درخواست های تبلیغاتی مناسب برای همه شرکت کنندگان را آسان تر می کند. با این حال، دانش آموزان کالج همیشه برای این نظریه مورد آزمایش مناسب نیستند. مطالعات به دنبال ایجاد یک درک از چیزی است که تجاری سازی نامیده می شود (مثلاً وارد، واکمن و وارتلا، 1997)، یا توسعه سواد تبلیغاتی و دانش متقاعد کردن (به عنوان مثال، نلسون، 2016) یا بررسی تفاوت ها در طول عمر (به عنوان مثال استفنز 1982) به وضوح به دانش آموزان غیر کالجی نیاز دارد. حتی زمانی که دانش آموزان کالج ممکن است سن مناسبی داشته باشند، این مهم است که در نظر بگیریم که آیا از لحاظ نظری مناسب است که آنها به سئوالات پژوهشگران پاسخ دهند. 
تحقیقات معنادار در تبلیغات نیازمند محرک هایی مانند محصولات مورد استفاده در آزمایش ها برای مطابقت با نظریه آزمون شده است. بسیاری از مطالعات تحقیقاتی تبلیغات علاقه مند به دخالت و مسیرهای مرکزی به جای محوری برای متقاعد کردن می باشد. تعدادی از این مطالعات از ماشین های گران قیمت برای نشان دادن یک محصول با تأثیر بالا استفاده می کنند. با این حال، آیا محصول BMW یا مرسدس برای اکثر دانش آموزان کالج یک محصول با درگیری بالا است؟ تصور این سخت است که بسیاری از آنها قادر به صرف 50،000 تا 100،000 دلار برای یک ماشین جدید خواهند بود. پیش آزمون ممکن است انجام شود که نشان می دهد دانش آموزان بر این باورند که BMW ها گران هستند و قبل از خرید نیاز به تحقیق و مقایسه دارند. با این حال، اگر آنها در حال حاضر در بازار ماشین نیستند، پس بعید است که انگیزه ذاتی خرید ماشین واقعی را داشته باشند. پس، آیا آنها واقعاً انگیزه و توانایی پردازش پیامی را برای یک ماشین لوکس جدید می دانند و آیا واقعاً می توانند احتمال اینکه این خودرو را خریداری خواهند کرد، ارزیابی نمایند؟ این مهم است که محصول و برندهای تجاری مورد استفاده در یک مطالعه را در نظر بگیریم که چگونه پاسخ دهندگان در واقع پیام های این محصولات را پردازش می کنند و چگونه این ممکن است بر متغیرهای اولیه در مطالعه تأثیر بگذارد.
علاوه بر این، بسیار مهم است که مفاهیم را به روشنی تعریف کنیم و عملیاتی کردن آن را از تعاریف مفهومی استخراج کنیم. به عنوان مثال، محقق ممکن است مشارکت در یک مطالعه را به عنوان «تصمیم خریدی که ارتباط و اهمیت شخصی بالایی دارد» تعریف کند (به عنوان مثال، زایچوسکی، 1986). پس از آن باید اطمینان حاصل کند که او در مقایسه با جمعیتی که نمونه ای از آنها است از موادی با درگیری زیاد (به نسبت درگیری کم) استفاده می کند. بنابراین، اگر شرکت کنندگان دانش آموزان باشند، محقق به پیش آزمون محصولات و برندهای تجاری که در حال حاضر آنها خریداری می کنند نیاز دارد تا ارتباط و اهمیت بیشتر (کمتر) آنها را مورد توجه قرار دهد.
بسیاری از تحقیقات تجربی تبلیغاتی از برندهای ساختگی یا نسبتاً ناشناخته استفاده می کنند. مزیت این کار این است که اطمینان حاصل شود که دانش، نگرش یا تجربیات با نام تجاری قبلی بر نتایج مطالعه تاثیر نمی گذارد. با این حال، این نیز برای ارتباط یافته ها با وضعیت تبلیغات معمول مشکل ایجاد می کند. اکثر تبلیغات برای افراد مشهوری است که قبلاً شناخته شده اند. آیا افراد به احتمال زیاد به تبلیغ و یادآوری تبلیغات برندهای شناخته شده و ناشناخته احتیاج دارند؟ اگر نه، انتخاب یک برند واقعی یا فرضی ممکن است بر نتایج مطالعه تأثیر بگذارد. اکثر آنچه که ما از تحقیقات تبلیغاتی می دانیم ممکن است در مورد چگونگی تاثیر تبلیغات بر برندهای جدید بیشتر از آگهی هایی که برای برندهای موجود وجود دارد بر روی ما تاثیر بگذارد. محققان باید در مورد این موضوع و مسائل مشابه طراحی تحقیقات تجربی فکر کنند. این موارد اغلب به صورت تک خط در بخش محدودیت مقالات به پایان می رسد، اما قبل از طراحی مطالعه، تهیه مواد و انجام آزمایش، مهم است که هزینه ها و مزایا را ارزش گذاری کنیم. حقیقتاً به خاطر اینکه یک مطالعه منتشر شده به روش خاصی انجام شده، به این معنی نیست که روش مشابه برای مطالعه دیگری مناسب است.
به طور مشابه، اکثر مطالعات تبلیغاتی صرفاً در معرض یک تبلیغ قرار می گیرند. این می تواند برای آزمایش بعضی از نظریه ها مفید باشد، اما همچنین روشن است که مواجهه چندگانه ممکن است متفاوت از مواجهه اولیه با یک تبلیغ باشد (کاسیوپو و پتی، 1980). علاوه بر این، بعضی از نظریه ها (مانند یادگیری وابسته بدون ارزشیابی) فرض می کنند که تنها در معرض یک عامل قرار گرفتن ممکن است برای تولید اثر کافی باشد، اما چندین مواجهه (مثلاً لوتچین و فابر، 2016) مؤثرتر خواهد بود. در شرایطی مانند این، مهم است که طرحی داشته باشید تا اجازه تکرار تبلیغ را بدهد. اگر چنین طرحی مورد نظر است، تصمیم گیری های اضافی مانند استفاده از توزیع توده ای (تکرارهای چندگانه همه اتفاقات در معرض یک عامل زمینه ای) یا توزیع فاصله ای پیام ها (تکرارهای مکرر در طول زمان)، باید تعیین شود (برای اطلاعات بیشتر در مورد تکرار تبلیغ، به دیدگاه پیچمن و استورات، 1988 نگاه کنید).
در نهایت، بسیاری از تحقیقات تجربی تبلیغاتی برای تمرکز توجه شرکت کنندگان به محرک تبلیغاتی طراحی شده اند. از افراد خواسته می شود که به تبلیغ نگاه کنند یا یک صفحه نمایش حاوی پیام تبلیغاتی نشان داده شود. این امر توجه به پیام را تضمین می کند و احتمال وقوع یک اثر احتمالی را افزایش می دهد. با این حال، اکثر افراد تبلیغات را به این روش در زندگی روزانه خود مشاهده نمی کنند. در عوض، آنها تبلیغات را در یک محیط متمرکز مشاهده می کنند، در حالی که در فعالیت های دیگر شرکت می کنند و در نهایت صرفاً به این تبلیغات توجه می کنند. تبلیغات طراحی شده که از طریق درهم ریختگی شکست بخورد و توجه بیشتری نشان دهد، ممکن است در شرایطی که نیاز به توجه مطرح نیست، به جز زمانی که به عنوان بخشی از آزمایش مورد نیاز باشد، اثربخشی بیشتری بدست آورد. مطالعات تبلیغاتی مربوط به توجه اغلب نیازمند شرایط غیرفعال معنی دار می باشد. دستورالعمل های ارائه شده به شرکت کنندگان نیز می تواند بر نتایج یک مطالعه تاثیر بگذارد. به عنوان مثال، داف (2009) دریافت که دستورالعمل برای مرور یک وب سایت در مقابل جستجوی اطلاعات محتوای خاص منجر به اثرات بسیار متفاوت بر روی تبلیغات پیرامونی می شود.
البته، هیچ طرح صحیحی برای تحقیقات تجربی تبلیغاتی وجود ندارد. هر تصمیم فردی در طراحی یک مطالعه نیاز به تفکر عمیق در مورد این دارد که چگونه می توان آن را با نظریه آزمایش کرد. این نظریه است که باید طرح تجربی را هدایت کند.
طرح های تجربی پیچیده تر
ما فقط آن طرح های آزمایشی را که برای بررسی تأثیر یک متغیر مستقل در یک یا چند متغیر وابسته مورد آزمایش قرار گرفته اند، مورد بررسی قرار داده ایم. این ها به عنوان طرح های یک طرفه بین شرکت کنندگان شناخته می شوند، زیرا آنها تنها یک متغیر مستقل را آزمایش می کنند و به این دلیل است که شرکت کنندگان به یک و تنها یک وضعیت رفتار اختصاص داده می شوند و مقایسه بین گروه ها است. انواع مختلفی از طرح ها وجود دارد، اما با توجه به محدودیت های فضا، ما نمی توانیم جزئیات را در اینجا توضیح دهیم. طرح های آزمایشی درون شرکت کنندگان یا اندازه گیری های مکرر وجود دارد که در آن شرکت کنندگان یکسان ممکن است در معرض بیش از یک رفتار قرار گیرند (به عنوان مثال، پترسون و همکاران، 2016). به عنوان مثال، شرکت کنندگان ممکن است یک تبلیغات را با یک فرد (تأیید کننده) مشهور ببینند و سپس یک تبلیغ دیگر را با یک تایید کننده مصرف کننده معمولی یا برعکس ببینند. طرح های بین شرکت کنندگان، که در آن شرکت کنندگان تنها یک وضعیت رفتار را مشاهده می کنند، بیشتر در تحقیقات تبلیغاتی مورد استفاده قرار می گیرند. دلایل متعددی برای این وجود دارد، اما یکی از دلایل مهم این است که طرح های بین شرکت کنندگان باعث می شود که برای شرکت کنندگان دشوار باشد که حدس بزنند این مطالعه بر روی چه چیزی است. شرکت کنندگانی که یک تأیید کننده مشهور را می بینند و سپس یک تایید کننده مصرف کننده معمولی را می بینند ممکن است متوجه شوند که این مطالعه در مورد تأیید کنندگان یا منبع پیام است و به جای اینکه به طوری طبیعی پاسخ دهند، آنها فکر می کنند که محقق می خواهد آنها چطور پاسخ دهند و آنطور پاسخ می دهند (به عنوان یک اثر تقاضا شناخته شده است؛ به شیمپ، هایت و اشنایدر، 1991 نگاه کنید). 
علاوه بر این، ما صرفاً طرح های یک طرفه ای را که دارای دو گروه باشند، در نظر می گیریم: یک گروه آزمایشی و یک گروه کنترل یا دو شرایط مختلف. طرح یک طرفه می تواند بیش از دو سطح داشته باشد؛ محققان ممکن است بخواهند اثرات یک متغیر مستقل را با سه یا چند سطح مختلف مطالعه کنند. به عنوان مثال، یک محقق ممکن است بخواهد تأثیرات تکرار بر نگرش نسبت به یک تبلیغ را بررسی کند تا بتواند به صورت تصادفی شرکت کنندگان را به سطوح مختلف تکرار تقسیم کند، درحالی که افراد مختلف قبل از رتبه بندی تبلیغ آن را یک، پنج و ده بار می بینند.
ما بر اصلی ترین نوع تحقیق تجربی با یک متغیر مستقل و یک متغیر وابسته تمرکز کرده ایم. با این حال، اغلب محققان به تاثیر دو یا چند متغیر مستقل در یک (یا بیشتر) متغیر وابسته اهمیت می دهند. طرح فاکتوریل دو طرفه شامل دو متغیر مستقل است که در تمام روش های ممکن ترکیب شده است. به عنوان مثال، یادآوری مطالعه پیام پنهانی یا خارج از محدوده آگاهی (کارمینز، استروب و کالوس، 2006) به طور خلاصه پیش از این در این مقاله مورد بررسی قرار گرفت. یک متغیر مستقل در این مطالعه، نوع تحریک هایی است که به صورت پنهانی یا ناخودآگاه ارائه می شدند: نام یک برند واقعی چای یا یک کلمه بی معنی. متغیر مستقل دیگر در این مطالعه سطح تشنگی شرکت کنندگان بود: نیمی از شرکت کنندگان درمان شور را برای تشنگی انجام دادند و نیم دیگر آن را انجام ندادند. در این مثال دو نوع متغیر مستقل (نوع محرک و درجه تشنگی) وجود دارد که هر کدام دو سطح (نوع محرک: نام تجاری در مقابل کلمه بی معنی؛ درجه تشنگی: بالا و پایین) داشتند. این یک طرح فاکتوریل دو طرفه است، زیرا دو متغیر مستقل وجود دارد که در همه روش های ممکن برای ایجاد چهار شرایط مختلف رفتار با تخصیص تصادفی شرکت کنندگان به یک و تنها یکی از چهار شرایط تقسیم می شوند: نام تجاری+تشنگی زیاد؛ نام تجاری+تشنگی کم؛ کلمه بی معنی+تشنگی زیاد؛ کلمه بی معنی+تشنگی کم. این طرح همچنین می تواند فاکتوریل 2*2 نامیده شود، جایی که 2 عامل اول به متغیر مستقل با دو سطح اشاره دارد و 2 عامل دوم به متغیر مستقل دیگر که دارای دو سطح است اشاره می کند. طرح فاکتوریل 3*2 دارای دو متغیر مستقل یکی با دو سطح و دیگری با سه سطح و در مجموع شش شرایط رفتار ممکن است. طراحی 2*2*2، دارای سه متغیر مستقل هر کدام با دو سطح و مجموع هشت شرایط است.
در تحقیقات تجربی فاکتوریل ممکن است نتایج چند گانه مورد توجه قرار گیرد. یک تحقیق تجربی فاکتوریل 2*2 را در نظر بگیرید که اثرات کیفیت استدلال (قوی و ضعیف) و درگیری شخصی (بالا و پایین) را در نگرش نسبت به ارتباطات متقاعد کننده ارزیابی می کند (پتی و همکاران، 1983). ممکن است کیفیت استدلال بر نگرش تأثیر داشته باشد، به طور متوسط شرکت کنندگانی که پیام هایی با استدلال های قوی را می خوانند، نگرش مطلوبتری نسبت به افرادی که پیام هایی با استدلالات ضعیف را می خوانند، خواهند داشت. این یک اثر اصلی کیفیت استدلال است. همچنین ممکن است تأثیر اصلی دخالت شخصی وجود داشته باشد (به عنوان مثال، شرکت کنندگان با درگیری زیاد نسبت به شرکت کنندگان با درگیری کم نگرش مطلوبتری داشتند). برای این مثال، فرض کنید هیچ اثر اصلی دخالت وجود ندارد. با این حال، دخالت ممکن است بر روی نگرش تاثیر داشته باشد. ممکن است اثر متقابل وجود داشته باشد، جایی که اثر یک متغیر مستقل بر متغیر وابسته به سطح متغیر مستقل دیگری بستگی دارد. در این مثال، اثر کیفیت استدلال بر نگرش ها ممکن است به سطح درگیری های شخصی بستگی داشته باشد: شرکت کنندگان با درگیری زیاد، اثرات بیشتری را از کیفیت استدلال نشان دادند (شرکت کنندگانی که استدلال های قوی را خوانده بودند به مطلوبیت پیام متقاعد شده بودند، در حالی که شرکت کنندگانی که استدلال های ضعیف را خوانده بودند علیه این پیام متقاعد شدند)، در حالی که شرکت کنندگان با درگیری کم، اثرات کیفیت استدلال را تأیید نکردند (آنها نگرش های خنثی را بدون در نظر گرفتن اینکه آیا آراء قوی یا ضعیف را خوانده اند، نشان می دادند).
برای یک تحقیق تجربی فاکتوریل دو طرفه، هر ترکیبی از دو اثر اصلی و یک تعامل (یا غیر آن) ظاهر شود. محققان برای سه مرحله تحقیق تجربی فاکتوریل (به عنوان مثال، سه متغیر مستقل که با A و B و C نام گذاری شدند) باید سه اثر اصلی محتمل را (یک برای هر متغیر مستقل)، سه اثر متقابل دو طرفه (A*B و A*C و B*C) و یک تعامل سه طرفه محتمل را (A*B*C) در نظر بگیرند. برای فاکتوریل چهار طرفه، ممکن است چهار اثر اصلی، شش تعامل دوطرفه، سه تعامل سه طرفه و یک تعامل چهار طرفه محتمل وجود داشته باشد. هنگامی که بیش از سه متغیر مستقل در تحقیق تجربی طرح فاکتوریل وجود دارد، انجام آن بسیار دشوار و تفسیر نتایج آنها می تواند بسیار پیچیده و سخت باشد. خوانندگان علاقه مند به تعمق بیشتر در این موضوع باید به طرح های تحقیق تجربی و منابع آماری معرفی شده توسط یاکوبچی (2001)، یاکوبچی و چرچیل (2009) یا روزنتال و روسنو (2007) مراجعه نمایند. 
مسائل اخلاقی برای شرکت کنندگان و پژوهشگران
محققان مسئولیت اخلاقی در مورد شرکت کنندگان تحقیق را بر عهده دارند. دانشگاه ها تقریباً همیشه دارای هیئت داوران بررسی اخلاقی هستند که تحقیقات پیشنهادی را بررسی می کنند تا اطمینان دهند که قبل از آغاز تحقیق حداقل آسیب به شرکت کنندگان می رسد. این شامل سه اصل اصلی است: احترام به افراد، منفعت و عدالت (کمیسیون ملی حمایت از موضوعات انسانی تحقیقات زیست پزشکی و رفتاری، 1979). احترام به افراد به معنی رفتار مستقل با هر فرد و محافظت از کسانی است که ممکن است دچار اختلال استقلال باشند. بنابراین، شرکت کنندگان باید برای شرکت در تحقیق تجربی دانشگاه رضایت آگاهانه داشته باشند. منفعت به معنی آسیب رساندن به افراد به قیمت حداکثر کردن سود آنها نیست. شرکت در تحقیقات تجربی باید دارای حداقل ریسک باشد و برای شرکت کنندگان منافعی از قبیل مزایای تحصیلی یا پاداش برای مشارکت داشته باشد. عدالت به این معنی است که ما باید در نظر بگیریم که چه کسی از این تحقیق منفعت برده و چه کسی ممکن است از آن آسیب ببیند.
بسیاری از تحقیقاتی تجربی شامل نوعی فریب است (به عنوان مثال، در یک تحقیق بین شرکت کنندگان که افراد از وجود شرایط دیگر آزمایش اگاه نباشند). بررسی سه دهه (76-19975، 90-1989 و 97-1996) تحقیقات بازاریابی منتشر شده نشان داد که 43.4٪ تا 58.5٪ از مطالعات شامل نوعی استفاده از فریب شرکت کنندگان بودند (کیمل، 2001). محققان تعهد دارند زمانی که شرکت کنندگان درگیر مشارکت در تحقیق نیستند، درباره ماهیت واقعی مطالعه به آنها اطلاعات دهند. با وجود اینکه فریب منفعل (به عنوان مثال، عدم ارائه اطلاعات به شرکت کنندگان در مورد شرایط دیگر) ممکن است یک گمراهی خفیف به نظر برسد، کسانی هستند که معتقدند تحقیقات فریبنده هرگز توجیه نمی شود زیرا ممکن است به شرکت کنندگان، حرفه و حتی جامعه آسیب برساند (بامریند، 1985).
محققان همچنین برای انجام کار و ارائه گزارش مسئولیت اخلاقی دارند، تا در مورد ارائه یافته ها یا عدم آن صادق باشند. بدیهی است، محققان هرگز نباید داده ها یا نتایج را تولید کنند، اما آزمایش ها می توانند انجام شوند، تحلیل و گزارش شوند، به طوری که امکان دستیابی به نتایج قابل توجه (به عنوان مثال قابل انتشار) اما سوال برانگیز را به حداکثر برسانند. این نیز می تواند یک مسئله اخلاقی باشد.
به عنوان مثال، در یک آزمایش منتشر شده، 20 نفر از شرکت کنندگان به صورت تصادفی انتخاب شدند تا به جمله «هنگامی که من 64 ساله ام» بیتلز یا کالیمبا که بخشی از آهنگ سیستم عامل رایانه ویندوز 7 است گوش دهند، و سپس سن شان را نشان دهند. یافته های آنها نشان داد که گوش دادن به جمله «هنگامی که من 64 ساله ام» باعث شده است که افراد نسبت به کسانی که به «کالیمبا» گوش دادند خود را مسن تر جلوه دهند (سیمونز و همکاران، 2011). با این حال، هدف واقعی تحقیق آنها این بود که چگونه روش های تجربی قابل قبول می تواند برای دستیابی به نتایج مثبت-غلط استفاده شود. آنها نتایج خود را بدین شکل بدست آوردند (1) انتخاب حجم نمونه خود برای آزمایش با توقف جمع آوری داده ها به محض دستیابی به نتایج قابل توجه، (2) انتخاب تنها چند متغیر وابسته منتخب برای گزارش از میان بسیاری از متغیرهای جمع آوری شده، (3) استفاده از کوواریانس برای تجزیه و تحلیل داده های خود، و (4) عدم گزارش تمام شرایط آزمایشی که آنها انجام دادند. در شبیه سازی های کامپیوتری سیمونز و همکاران (2011) نشان دادند که با استفاده از تمام این چهار تکنیک، احتمال دریافت یک نتیجه قابل توجه نادرست (یعنی مثبت-غلط) از 5% مرسوم به 60.7% افزایش می یابد (p <.05). این به طور بالقوه به زمینه تحقیق (با ایجاد یک پایگاه اطلاعاتی دروغین)، اعتبار شخصی محقق (با انتشار مطالعات غلط و غیر قابل تکرار)، شرکت کنندگان (که زمان خود را با مشارکت در تحقیقات غیرقانونی خراب می کنند) و جامعه (که ممکن است از تحقیقات مثبت کاذب استفاده کند) آسیب می زند. محققان مسئولیت همه این گروه ها را دارند تا تحقیق را با تصمیم درباره اندازه نمونه قبل از انجام تحقیق، استفاده از نمونه های مناسب بزرگ، گزارش تمام متغیرها و شرایط مطالعه، گزارش نتایج با و بدون تحلیل کوواریانس، صرفاً عدم گزارش مطالعاتی که نتایج قابل توجهی دارد، در حالی که سایر نتایج حذف شود، و گزارش نتایج با و بدون مشاهداتی که غیرقابل قبول یا غیرقابل استفاده هستند، انجام داده و گزارش صادقانه آن را ارائه دهند (به سیمونز و همکاران، 2011 نگاه کنید). 
تحقیقات تجربی می توانند ابزار قدرتمندی باشند برای افزایش درک اینکه چرا چیزها اتفاق می افتد و کمک به پیش بینی زمانی که چیزی ممکن است دوباره اتفاق بیافتد. در تحقیقات تبلیغاتی، مهم است که درک مفاهیم مربوط به طرح یک آزمایش انجام شود. در حالی که تبلیغات یک زمینه کاربردی است، هنوز نیاز به استفاده از متغیرهای با دقت توسعه یافته و طرح های کنترل شده تحت نظریه و تفکر دقیق است. به این ترتیب محققان می توانند امیدوار باشند که بدانند چه چیزی ممکن است منجر به نتیجه خاصی شود. با این حال، در برخی موارد، زمینه ها یا محرک هایی که بیش از حد کنترل می شوند، می توانند اعتبار را به خطر بیندازند و به طور بالقوه قدرت پیش بینی کنندگی که به دست آمده را تهدید کند. به عنوان مثال، توجه اجباری به یک تبلیغ که در بسیاری از زمینه های آزمایشگاهی اتفاق می افتد ممکن است به اثرات مشابهی با توجه جزئی به یک تبلیغ در شرایط طبیعی منجر نگردد. هدف از تحقیق باید به ما کمک کند تا مشخص شود چه عواملی در هر مطالعه خاص بسیار مهم هستند. عاملی کلیدی استفاده از تحقیقات تجربی برای بهبود کیفیت نظریه های تبلیغاتی و درک بهتر اثرات این است که (1) مطالعاتی را که طراحی آنها با نظریه و منطق هدایت می شود، توسعه دهیم (2) برای کنترل و یا رد توضیحات جایگزین تلاش کنیم و (3) استانداردهای اخلاقی بالا را حفظ کنیم.