二元二次方程通常以方程组的形式出现。（否则往往有无数组解，则解是不确定的。）
这类方程的解法按大类来归类，有
1）消元法 使方程变化为只含一个未知数的方程
2）降次法 使方程组通过变形成为
二元一次方程组 而各方法因为具体的题型不同，也还有不同的应变处理方法。如 代入法；加减法；整体替换法；
换元法。。。等等。
你给出的例子，那只是一个代数式而不是方程。更不是有确定解的方程组。
假定 x²+2xy+3y²=11 还有一个方程 x+y=3 一起共同组成一个方程组
那么可以按你指定的思路解这个方程组
(x²+2xy+y²)+2y²=11
（x+y)²+2y²=11
把 x+y=3 => (x+y)²=9 代入
9+2y²=11 => 2y²=11-9 => 2y²=2 => y²=1 => y= ±1
x+1=3 => x1=3-1=2 ;x-1=3 => x2=4 【把y=±1代入x+y=3】
∴方程组的解为 {x1=2,y1=1 和 {x2=4,y2=-1