2003 - 2004, de Memorial address a MY STORY

En julio del 2003 fue lanzado &, el cual fue el tercero titulado por una letra estratégica que contenía más de 2 sencillos principales. Se grabaron videos para las tres canciones de este single, al contrario de las canciones del single de "H" del cual ninguna de sus canciones tuvo videos. Más tarde, al llegar el lanzamiento del trigésimo sencillo de la artista, "forgiveness", se decidió celebrar un concierto de conmemoriación titulado a museum ~30th single collection live~, que recopiló los más exitosos temas de su carrera. A finales de este año Ayumi lanzó su primer mini-álbum, titulado Memorial address, en el que sólo había tres canciones inéditas, lo que causó algo de descontento entre los fanáticos. A pesar de las críticas debido al poco material nuevo, se incluyeron videos musicales de todas las canciones del álbum a excepción de una, lo que lo hizo sin duda un éxito en ventas. El álbum concedió a Ayumi el récord de ser la única solista femenina en conseguir un disco de platino con un mini-álbum., aparte del mini-album más vendido en Japón.

El año 2004 fue un año de revolución para Ayumi, tanto musical como también internamente; fue el año de incursión en nuevos estilos musicales, principalmente el Pop-rock y Rock acústico, así como también la gran polémica interna de Avex en la que fue uno de los principales ejes. Su sencillo "Moments" se convirtió en su primer sencillo en ser lanzado en formatos CD y DVD. Los singles que procederían a este serían lanzados en estos dos formatos hasta estos días. Todo iba normalmente hasta que poco tiempo después de lanzar su sencillo "INSPIRE" ocurrió algo inesperadamente: la prensa anunció que Max Matsuura, productor y amigo de Ayumi desde su debút en 1998, renunciaba a Avex Group Holdings junto a otro productor, Ryuhei Chiba. Estos dos personajes eran considerados una de las principales influencias de la discográfica, y con su partida incluso se presagió la decadencia de la esta, conocida como uno de las más populares dentro de la cultura Pop japonesa y asiática. Se especulaba sobre cual sería el futuro de Ayumi como artista, porque Matsuura había sido su gran soporte, y ya que no estarían más juntos. La especulación se hizo insostenible hasta que la misma Ayumi escribió un mensaje en el blog personal de su página web, diciendo que no abandonaría a Matsuura, y si él había decidido dejar el sello, lo más probable era que ella se iría a su lado. Tras dos días de cobertura mediática sobre el desmorone de Avex (ya que si Ayumi se iba sus ganancias caerían a nivel catastrófico) todo volvió a la normalidad una vez Matsuura y Chiba decidieron regresar a Avex, sólo dos días después de su renuncia oficial. A finales del agitado 2004 para Ayumi y su sello, tuvo salida su esperado álbum MY STORY, su primer full album desde el 2002. Al igual que todos sus álbumes de estudio, se convirtió rápidamente en un éxito, vendiendo más de un millón de copias. En el 2005 se lanzaron al mercado re-ediciones del álbum de MY STORY en versiones SACD, DVD-Audio y un nuevo álbum llamado MY STORY Classical que continúa algunas de las canciones del álbum interpretadas con instrumentos de Música clásica.