Нужно ли знать фразу о времени до того, как я заговорю?

Нет, но она нужна до глагола, а это гораздо меньшее окно. Большинство говорящих находят фразу по мере формирования предложения, и этого достаточно рано: ориентир обычно идёт перед основным глаголом. Если он появился позже, закончите и заново назовите окно в коротком уточнении. Единственный случай, требующий планирования, — рассказ с несколькими событиями: сначала зафиксируйте порядок ориентиров.

Один короткий путь полностью избавляет от выбора: позаимствуйте его из вопроса. Вопрос в past simple, например Where did you go?, обычно ждёт такую же форму в ответ. Вопрос в present perfect, например Have you been there?, оставляет окно открытым, поэтому та же форма на него отвечает. Отвечать той формой, о которой спросили, не всегда лучший выбор, но почти всегда безопасный и не требует времени на размышления.

Один вопрос до глагола: как говорить по английски без грамматики →