De la crítica de estas fallidas y amargas experiencias, surgirá, primero, el análisis sistemático del orden oligárquico del Estado de la Restauración como obstáculo político fundamental para una modernización agraria (en el marco del desarrollo capitalista) que no desembocase en un nuevo confrontamiento civil.

La crítica radical del sistema político de la Restauración le lleva a hacer un análisis riguroso del mismo que se convirtió en una de sus obras principales: Oligarquía y caciquismo como la forma actual de gobierno en España, que había presentado en el Ateneo de Madrid en su célebre información sobre este tema en 1901. Obra cumbre de la sociología política española de su época y durante muchas décadas.

 Costa presenta en el Ateneo de Madrid su famosa memoria sobre Oligarquía y Caciquismo, como la forma actual de gobierno en España, en la que hace una diagnóstico sociológico y una denuncia del sistema político español: "no es la forma de gobierno en España la misma que impera en Europa, aunque un día lo haya pretendido la Gaceta: nuestro atraso en este respecto no es menos que en ciencia y cultura, que en industria, que en agricultura, que en milicia, que en Administración pública. No es (y sobre esto me atrevo a solicitar especialmente la atención del auditorio), no es nuestra forma de gobierno un régimen parlamentario, viciado por corruptelas y abusos, según es uso entender, sino al contrario, un régimen oligárquico, servido, que no moderado, por instituciones aparentemente parlamentarias. O dicho de otro modo: no es el régimen parlamentario la regla, y excepción de ella los vicios y las corruptelas denunciadas en la prensa y en el Parlamento mismo durante sesenta años: al revés, eso que llamamos desviaciones y corruptelas constituyen el régimen, son la misma regla. En el fondo, parece que es igual, y, sin embargo, el haberse planteado el problema en una forma invertida, tomando como punto de mira y de referencia no la realidad, sino la Gaceta, lo imaginado, no lo vivido, conforme procedía, ha influido desfavorablemente en nuestra conducta, en la conducta de los tratadistas, de los propagandistas, de la opinión, siendo causa de que nuestro atraso en este orden no nos haya parecido tan africano ni nos haya preocupado lo que nos debía preocupar, de que no hayamos cobrado todo el horror que le debíamos al régimen execrable, infamante y embrutecedor que conducía a la nación, en desbocada carrera, al deshonor y a la muerte".

A esta Memoria siguió una encuesta a los principales intelectuales, escritores, políticos y profesionales del país, respondiendo más de sesenta personalidades que se pronuncian sobre el problema sometido a debate. Estas respuestas constituyen un magnífico repertorio de las diferentes corrientes ideológicas del momento.

Por último, Costa presenta un resumen a la información sobre Oligarquía y Caciquismo del Ateneo de Madrid, Costa hará un último intento de crear un nuevo partido de intelectuales. Una alianza entre el pueblo y los intelectuales que tiene como referencia a Rusia, donde "van unidos los trabajadores y los intelectuales del Imperio, y en España no. Allí la juventud de las aulas y los pensadores más ilustres van del brazo con los hombres del taller...".

Pero ante el vacío que despierta su llamada, acabará ofreciendo su programa a la Unión Republicana en 1903. Esta nueva frustración le lleva afirmar: "En España, las clases intelectuales han desertado de su puesto".

El Costa plenamente regeneracionista de este período evoluciona desde una posición de confianza en la rectificación del curso histórico económico y político de la España de la Restauración, "desde dentro", y mediante la movilización de la clases "neutras" y "activas" o "productoras", de marcado carácter interclasista, que hiciera posible una revolución "desde arriba", a una posición de clara crítica radical del sistema, que califica de "oligárquico y caciquil", de claro corte populista, cuyo espacio político es el del republicanismo radical.