En Madrid habría de encontrar, por  fin, al maestro que buscaba en la persona de Francisco Giner de los Ríos, maestro y amigo al que acudirá muchas veces a lo largo de su vida en busca de consuelo y consejo. Y en el Krausismo encontrará la escuela filosófica que mejor encaja con sus ideas.

En la filosofía krausista encontraría Costa uno de las fuentes fundamentales de su pensamiento: "Estoy muy triste. Tengo el mal de los libros, el mal de la ciencia. Ayer leí parte de El Ideal de la Humanidad, por Krause y Sanz del Rio. Cuánto me gusta la filosofía!".

Los profesores expulsados de la universidad por defender la libertad de cátedra y negarse a ajustar sus enseñanzas a los dogmas oficiales en materia religiosa, política o moral,  encabezados por Francisco Giner de los Ríos, Gumersindo Azcárate y Nicolás Salmerón, fundan en 1876 la Institución Libre de Enseñanza, en la que Costa participa desde el primer momento, como profesor y director de su revista, el BILE.  En los diez años que duró su vinculación con la ILE, Costa pudo desarrollar su vocación como docente y como investigador, además de alcanzar gran notoriedad en los medios intelectuales y profesionales del país.

El Costa postuniversitario ha adquirido su formación jurídica y filosófica de base, incorporando la doctrina krausista, bajo la inspiración de los maestros Giner, Maranges, Azcárate, Salmerón... Es el Costa claramente institucionista, con una gran influencia de la Escuela Histórica del Derecho y con marcada influencia positivista, que se dejará notar en sus escritos de todo tipo, especialmente agrarios. Un Costa, pues, ya maduro e institucionista, pero aún pre-regeneracionista. El joven campesino superdotado e intelectualmente voraz, pero autodidacta, se convierte ahora en un académico, siempre mal acomodado dentro de la intelligentsia liberal, pero con pleno dominio de sus métodos y fuentes intelectuales.