Конечно, PPPoE присутствует, как в случае с виндами, так и с роутером.
PPPoE, как и PPTP, как и L2TP, как и куча других протоколов, является протоколом туннелирования.
Из этого следует, что Ethernet трафик инкапсулируется в PPP тоннель. А на обратной стороне, соответственно, декапсулируется.
Таким образом, становится понятно, что у PPPoE тоннеля есть две точки, его начальная (инициирующая), и конечная (терминирующая). Инициирующей стороной может быть любое устройство, пусть роутер, а пусть компутер. Есть некоторые различия в реализации самого тоннеля, но ими обычно можно пренебречь.
Логин и пароль нужны НЕ всегда, здесь камрад Moderator aka Andis ошибается. Вот например, в "Стрим-Бизнес" -- не нужно ни логина ни пароля, их вообще нет, только для ЛК. Достаточно VPI/VCI и мы в сети, инкапсуляция выбирается автоматом (у меня даже на домашнем Стриме давным-давно она скакала с T1.413 на G.DMT и обратно, по 3 раза на дню).
