Buenas Felix
Las matrices por defecto se crean por columnas, eso se puede cambiar con el parámetro byrow. solve(X,Y) resuelve el sistema que quieres, si quitas la Y calcula la matriz inversa de X
> X<-matrix(c(6,17,9,23),2,2, byrow=T)
> Y<-c(1,4)
> solve(X, Y)
[1] 3 -1
> solve(X)
[,1] [,2]
[1,] -1.533333 1.133333
[2,] 0.600000 -0.400000
Un saludo