намёк или упрёк в чей-то адрес
Это камень в мой огород?
От прямого вреда: соседу тайком бросали камни в огород, чтобы мешать пахоте и портить землю. Отсюда и о словах, сказанных будто бы вообще, а метящих в одного.
огород — Участок для овощей у дома.