Gross fick sparken efter att Schalke förlorat sju av tio matcher sedan schweizaren tog över i december.
Han var Schalkes fjärde tränare den här säsongen. Tidigare har David Wagner, Manuel Baum och under en kort period Huub Stevens basat över laget utan framgång.
Krisklubben ligger sist i tabellen med nio poäng på 23 matcher. Schalke 04 har bara lyckats vinna en match i ligan och har nio poäng upp till säker mark.
Peter Knäbel tar över laget tillfälligt.