OK, sind wir schon einen Schritt weiter

Von wem der DSL-Splitter ist, ist mal grundsätzlich egal. Der Router wird bei der Konstellation, die Du beschreibst, die Eumex-Dose ersetzen (sprich: Die Kabel, die jetzt in der Eumex-Dose verschwinden, gehen dann in den Router).
Der Router, im engen Sinne, muss nicht installiert werden, sondern von den Rechnern muss eine Netzwerkverbindung (einmal LAN, einmal WLAN) zu dem Router hergestellt werden; dafür hast Du aber meist eine Install-CD beim Router. Die jetzige Netzwerkverbindung muss deaktiviert werden.
Bei der Installation mit dem strippengebundenen PC (LAN) anfangen, die Sicherheitsschlüssel notieren und dann äquivalent bei der WLAN-Installation eingeben.
Ist kein Hexenwerk
