Des tokens aux vecteurs
Item
- Title
- Des tokens aux vecteurs
- Description
- L'intervenant souligne qu'en informatique tout est représentation, comme la multiplication facilitée par les chiffres arabes. Un token (jeton) peut être un mot, une partie de mot ou une lettre ; « démystifier » produit quatre jetons, ce qui fait payer davantage le français. Chaque modèle possède un tokenizer (segmenteur) attribuant un index selon la fréquence. Les jetons deviennent des vecteurs, comparables aux coordonnées GPS, regroupant les mots selon leur usage dans un espace latent.
- Outil
-
GPT-5 mini
- startTime
- 2128
- endTime
- 2425
- Identifier
- urn:uuid:789efe2a-0764-4cff-bbed-7558f9bcf4f5
Linked resources
| Title | Class |
|---|---|
Penser la carte et le territoire : l'espace latent de l'IA générative à l'épreuve de la sobriété |
Annotations
There are no annotations for this resource.
