Uitleg
InstructGPT was OpenAI's weg om GPT-3 te verbeter zodat het beter menselijke instructies zou volgen. Dit werd gedaan door RLHF (Reinforcement Learning from Human Feedback).
InstructGPT werd veel beter bevonden in werkelijke mensentaken ondanks kleiner zijn dan GPT-3. Dit toonde aan dat alignment met menselijke voorkeuren even belangrijk is als schaal.
InstructGPT was de basis voor ChatGPT en toonde hoe RLHF kan helpen om betere AI-systemen te maken.
⚡ Voorbeelden
- •InstructGPT volgde instructies beter dan GPT-3, bijvoorbeeld "wat is 2+2? Verklaar alsof ik 5 ben"
- •Het toonde dat menselijke feedback cruciaal is voor praktisch nuttige AI
- •ChatGPT is waarschijnlijk gebaseerd op gelijkaardige technologie als InstructGPT
Trefwoorden
instructie-volgenalignmentrlhfmens-feedback