پژوهشی که در دانشگاه "ام.آی.تی"(MIT) صورت گرفت، نشان می‌دهد روش جمع‌آوری داده در سیستم‌های هوش مصنوعی، منجر به بروز تبعیض نژادی و جنسیتی در آنها می‌شود.
پژوهشگران، سیستم‌های بسیاری را بررسی کردند و تبعیض حیرت‌آوری را در آنها یافتند. "ایرن چن"(Irene Chen)، دانشجوی دکتری دانشگاه ام.آی.تی و نویسنده ارشد این پژوهش گفت: دانشمندان علوم رایانه، اغلب عقیده دارند که راه کاهش تبعیض در سیستم‌های هوش مصنوعی، طراحی الگوریتم‌های بهتر است اما پژوهش ما نشان می‌دهد که با ارائه داده‌های بهتر می‌توان، تفاوت چشمگیری در سیستم‌ها ایجاد کرد.
این گروه پژوهشی، یک سیستم پیش‌بینی درآمد را به عنوان نمونه بررسی کرد و دریافت که این سیستم، درآمد پایین‌تری را برای کارمندان زن در نظر می‌گیرد. آنها دریافتند با تغییر پایگاه داده‌های سیستم می‌توان امکان بروز چنین اشتباهاتی را تا 40 درصد کاهش داد.
در بررسی یک سیستم دیگر مشخص شد که هوش مصنوعی در پیش‌بینی مرگ و میر در واحد مراقبت‌های ویژه، دقت کمتری برای بیماران آسیایی به خرج می‌دهد. گفتنی است که پژوهشگران هشدار دادند ممکن است روش‌های کنونی برای کاهش تبعیض، به دقت کمتر سیستم‌ها در تشخیص افراد غیر آسیایی منجر شود.
به گفته چن، یکی ار تصورات غلط در حوزه هوش مصنوعی این است که همیشه وجود داده‌های بیشتر، بهتر است. در صورتی که پژوهشگران باید از افرادی که نمایندگان کمتری در جامعه دارند، داده‌های بیشتری گردآوری کنند.
این گروه پژوهشی، مقاله پژوهش خود را در نشست سالانه "سیستم‌های پردازش اطلاعات عصبی"(NIPS) در مونترآل ارائه خواهند داد.