怎么理解 RNN 循环神经网络工作原理？

对于简单的网络，比如全连接的我可以理解，就是训练一个函数：
y = f(x, θ)
那么，只要输入一组 x 和 y ，就可以训练出θ。


但是对于 RNN ，我不大理解的是：
1. 它的网络结构是不定的，多重的。假如循环了 n 次，相当于要训练 n 个函数: f1(x,θ), f2(x,θ),,, fn(x,θ).
2. 对于这样多重的网络结构，它是怎么训练收敛的？
3. 后面输入进来训练的 x ，是否会对前面已经训练好的θ产生影响（类似灾难性遗忘）