Нужно зайти в Настройки, найти вкладку «Почта, адреса, календари», затем пролистать список опций до группы «Контакты». Нужный раздел называется «Показать в перекл. программ», именно там можно отключить показ недавних, избранных или сразу всех контактов в панели многозадачности.