Puede parecer algo básico y de sentido común, pero hay que intentar eliminar todo el código innecesario. En este caso hablamos del que tenemos en HTML (que también se puede minimizar) además del CSS o el JavaScript.
Con la limpieza d código también hay que revisar bibliotecas JavaScript u otros elementos que no se usan siempre.
Un ejemplo sencillo podría ser el del sistema recaptcha de Google. En su documentación original te indican que cargues el script para que funcione, y en muchas ocasiones se coloca en todas las páginas, aunque sólo se utiliza realmente en las que hay formularios. En estos casos deberíamos sólo cargar el script en los lugares en los que sean necesite.