Uitleg
Encoder-decoder is fundamentele architectuur voor sequence-to-sequence taken. Encoder verwerkt input-sequentie en comprimering naar fixed-size context vector. Decoder genereert output-sequentie element-voor-element usando context.
Dit patroon werkt goed voor machine translation (bron-taal naar doel-taal), samenvatting (lange tekst naar korte samenvatting), en vraag-beantwoording. Origineel met RNNs, nu meestal met transformers.
Attention-mechanisme verbetert encoder-decoder: decoder kan over alle encoder-outputs focussen. Dit lost probleem op waar context vector bottleneck was. Modern seq2seq modellen met attention presteren veel beter.
⚡ Voorbeelden
- •Machine translation: encoder verwerkt bron-zin, decoder genereert doel-zin
- •Abstractieve samenvatting: encoder leest artikel, decoder genereert samenvatting
- •Vraag-beantwoording: encoder begrijpt vraag, decoder genereert antwoord
Trefwoorden
sequence-to-sequencecontext-vectorinput-output-afbeeldingarchitectuur