Mi sembra un buon approccio per avere una prima valutazione “bias free”.
Hai provato a vedere se coglie le sfumature?
Ad esempio, considerando il prompt della pasta, hai provato a chiedergli la stessa cosa aggiungendo qualcosa che introduce un piccolo livello di innovazione?
Quello che non ho capito, infine, è se hai fatto training dell’LLM con i tuoi dati estrapolati dai precedenti incontri di cui parli all’inizio del post oppure se le risposte sono fornite da LLM “as is”, qualunque piattaforma tu abbia usato.
Molto interessante David, grazie.
Mi sembra un buon approccio per avere una prima valutazione “bias free”.
Hai provato a vedere se coglie le sfumature?
Ad esempio, considerando il prompt della pasta, hai provato a chiedergli la stessa cosa aggiungendo qualcosa che introduce un piccolo livello di innovazione?
Quello che non ho capito, infine, è se hai fatto training dell’LLM con i tuoi dati estrapolati dai precedenti incontri di cui parli all’inizio del post oppure se le risposte sono fornite da LLM “as is”, qualunque piattaforma tu abbia usato.
> sfumature
Non ho provato, ma sono sicuro che le coglie bene...
> training
No, uso Claude 3.5 Sonnet così com'è per queste valutazioni.