Embeddings
Embeddings zijn numerieke representaties — vectoren — van tekst, beeld of audio die vergelijkbare betekenissen dicht bij elkaar plaatsen in een hoogdimensionale ruimte. Ze vertalen vage menselijke concepten naar coördinaten, waardoor vragen als 'gaat deze alinea over hetzelfde als die andere' een meetbare afstand worden in plaats van een gok.
Embeddings vormen de onderlaag van semantische zoek, aanbevelingssystemen en de retrieval-stap in retrieval-augmented generation. Een model leest een stuk content en geeft een reeks getallen terug; een vector database slaat die getallen op en vindt razendsnel de dichtstbijzijnde buren bij een query. Twee stukken tekst die hetzelfde betekenen komen dicht bij elkaar te liggen, ook als ze geen woord met elkaar gemeen hebben, en dat is wat de techniek bij een eerste demo bijna magisch laat voelen.
De getallen zelf hebben geen betekenis buiten het model dat ze produceerde. Een embedding uit het ene foundation model is niet vergelijkbaar met een uit een ander, en embeddings uit een oudere versie van hetzelfde model zijn ook niet direct vergelijkbaar met een nieuwere versie. Dat heeft praktische gevolgen zodra een systeem in productie staat.
De eerlijke conclusie: een embedding is niet beter dan het model dat 'm produceerde, en van model wisselen betekent alles opnieuw embedden wat je hebt opgeslagen. Bij een kleine collectie is dat een weekendklus. Bij een collectie van miljoenen documenten is het een echte migratie met kosten, downtime en herindexering, dus de keuze van het embeddingmodel verdient dezelfde zorg als de keuze van het LLM erbovenop.
