Alors qu'il se dirigeait vers la scène où il allait se voir remettre un MTV2 Award pour Sugar, We're Going Down, la seule chose à laquelle pensa Pete Wentz, bassiste et chanteur de Fall Out Boy, fut ceci : « Pourvu que je ne dise pas de gros mots. » Dans la foulée, le groupe originaire de la banlieue de Chicago fut nommé pour un Grammy Award dans la catégorie Meilleur nouvel artiste. Mais les honneurs ne s'arrêtèrent pas là. Fall Out Boy remporta trois Teen Choice Awards et leur clip pour Dance, Dance fut désigné Prix du public aux MTV Video Music Awards et nommé dans la catégorie Meilleur clip par un groupe.

Malgré cette vague de succès, les membres du groupes sont restés attachés à leurs valeurs ; pas dans le sens où ils n'ont pas changé, mais dans le sens où ils jouent la musique qu'ils aiment écouter sans se laisser influencer par la tendance du moment. N'ayant jamais eu pour ambition de devenir célèbres, ils ont encore du mal à croire à leur succès récent.

Se qualifiant eux-mêmes d'intellos, ils répèteraient aussi dur s'ils jouaient pour 5 personnes que lorsqu'ils jouent pour 5 000 personnes. « En essayant de plaire au plus grand nombre, on finit par ne plus plaire à personne », explique Patrick Vaughn Stump, chanteur et guitariste de Fall Out Boy.

Après le raz-de-marée provoqué par l'album From Under the Cork Tree, ils ont pris garde de ne pas considérer le succès comme acquis. Plutôt que de se reposer sur leurs lauriers, les membres de Fall Out Boy ont choisi de se remettre immédiatement au travail, malgré l'enchaînement des dates d'une tournée titanesque, en enregistrant leur album suivant, Infinity on High.

Le titre de l'album est extrait d'une lettre écrite par Vincent van Gogh en 1888, dans laquelle il décrit l'énergie instillée dans son travail par sa santé retrouvée. « Prendre conscience des étoiles et de l'infini, en haut. Alors, finalement, la vie semble presque enchantée. »

Le premier single, This Ain't a Scene, It's an Arms Race est un regard ironique sur « la manière dont nous somme fascinés et obsédé par ce qui est nouveau dans les domaines artistique, culturel et amoureux », déclare Wentz. Le refrain est dans un style punk-rock binaire endiablé et les couplets lourdement cadencés. Diffusé officiellement pour la première fois aux American Music Awards, le titre est entré directement dans le Top 100 Pop du magazine Billboard du nombre de passages à l'antenne.

Cet album se démarque quelque peu des précédentes réalisations du groupe, marquant le retour du producteur de Cork Tree, Neal Avron, et l'arrivée du producteur de R&B Babyface. « On adore ses idées en ce qui concerne la mélodie », explique Wentz pour justifier leur collaboration avec Babyface. « Patrick chante avec plus d'amplitude vocale et plus de conviction et il cherchait quelqu'un qui pourrait véhiculer tout ça. »

Dans Hum Hallelujah, le troisième couplet est annoncé par un rythme de batterie énergique semblable à celui des danses tribales des Indiens d'Amérique - mis à part les tambourins -, accompagné de refrains en chœur qui ne sont pas sans rappeler le célèbre Hallelujah de Leonard Cohen, faisant référence à un passage difficile de la vie personnelle de Wentz, lorsqu'il a dû se battre pour surmonter l'isolement ressenti lors de l'enregistrement de Cork Tree.

Il ressort de cet album quelque chose de nocturne, avec même parfois quelques touches de musique classique. Golden débute par une suite mélodieuse d'accords au piano, minimaliste, décomposée tout au long d'un premier couplet poignant, soulignée par la voix de Stump, si triste comparée aux notes joyeuses du piano qui l'accompagne. Thriller est aussi bien un cadeau offert aux fans de Fall Out Boy qui suivent le groupe depuis le début et une réponse à tous les critiques qui lui prédisaient un échec retentissant.

« Pour véritablement apprécier cet album, il faut l'acheter, le rapporter chez soi et l'écouter dans l'obscurité, conseille Wentz. On est passionnés par la musique qu'on joue et parfois, sincèrement, cette passion semble se transmettre au public. »