Mª del Mar
En este caso tenemos más ecuaciones que incognitas.
El ran(A) tiene que ser menor o igual que 3 mientras quel el ran(A*) menor o igual que 4.
Cuando k es distinto de 0, lo que es distinto de 0 es el determinante de A* y por lo tanto ran(A*)=4 distinto de ran(A), el sistema es incompatible.
Normalmente empezamos caculando det(A) y en este ejercicio era más lógico empezar por det(A*). Eso es lo que te estará confundiendo.
Os recuerdo que ya tenéis permiso para publicar y que podéis preguntar publicando entrada en lugar de utilizar los comentarios.