Score TF

Fréquence du Terme (TF) est une mesure qui quantifie l'importance d'un mot dans une phrase ou un document spécifique, par rapport à la longueur de la phrase ou du document. En essence, c'est une façon de mettre en évidence la fréquence d'apparition d'un mot, ajustée pour la taille du texte afin d'assurer l'équité entre des textes de différentes longueurs.

TF est calculé en utilisant une échelle logarithmique pour atténuer l'effet des fréquences très élevées, ce qui aide à maintenir une importance équilibrée entre tous les mots. La formule utilisée ici est log(1 + (frequency of the word in the sentence) / (total number of words in the sentence)). Cet ajustement tient compte de l'intuition que la signification d'un mot pour une phrase n'augmente pas linéairement avec sa fréquence.

Pour chaque phrase dans notre liste de phrases tokenisées (tokenized_sentences), nous calculons le score TF pour chaque mot unique. Cela est réalisé en parcourant chaque mot dans une phrase, en calculant sa fréquence par rapport à la longueur de la phrase, et en appliquant la formule logarithmique. Le résultat est un dictionnaire pour chaque phrase, associant les mots à leurs scores TF respectifs.