Общее дело не задерживают из-за одного опоздавшего.
Говорят, начиная без того, кто опаздывает: собрание, обед, отъезд. Присловье звучит как правило вежливости наоборот — берегут время большинства, а не одного.
Начинаем прямо сейчас, он догонит: семеро одного не ждут.