кайка-то есть, да воротки-то нет
(иноск.) — каемся да продолжаем грешить, не сворачивая с пути
Ср. Привыкла собака за возом бежать — бежит и за санями — а седина в бороду... и договаривать не надо — старая пословица! Кайка-то есть у нас, у всех, да воротки нету.
Даль. Отец с сыном.
Большой толково-фразеологический словарь Михельсона
Русская мысль и речь: свое и чужое. Опыт русской фразеологии. Сборник образных слов и иносказаний