AI Humanizers: Il problema (Slop)^2

Come funzionano gli "humanizer" dell'IA (e perché non funzionano)

Gli "humanizer" per l'IA sono strumenti utilizzati per modificare il testo al fine di eludere i sistemi di rilevamento dell'IA. Gli humanizer non mirano a riprodurre il linguaggio umano, ma sono progettati per eludere il rilevamento con ogni mezzo a disposizione. Ciò comporta un peggioramento della qualità del testo, poiché gli humanizer rendono i risultati generati dall'IA meno umani, meno comprensibili e meno accurati. Questo porta a quello che chiameremo: il problema (Slop)^2.

Le strategie utilizzate dagli "humanizer" rivelano una fondamentale incomprensione del funzionamento dei sistemi di rilevamento dell'IA. È noto che i testi generati dall'IA ricorrono a elementi distintivi quali un linguaggio formale e una formattazione strutturata, oltre a fare un uso eccessivo di parole come "delve" e "tapestry". Parafrasando il testo, manipolando la punteggiatura e inserendo caratteri fuori contesto, gli "humanizer" producono testi che possono portare alla previsione: 100% umano. In un articolo precedente, abbiamo dimostrato che cambiare la formulazione o inserire caratteri casuali nel testo non è efficace per eludere un buon sistema di rilevamento dell'IA.

La maggior parte dei programmi di umanizzazione include strumenti propri per il rilevamento dell'IA, che ne sottolineano l'efficacia dimostrando che il testo non è più generato dall'IA. Ciò non va preso alla lettera, poiché un rilevamento efficace dell'IA è in grado di resistere ai programmi di umanizzazione e alla parafrasi.

Problemi comuni di Humanizer

1. Errori di punteggiatura causati da codice fisso

Humanizer_1 sostituisce spesso i trattini con virgole. Si tratta chiaramente di una scelta intenzionale. In un campione di 194 testi contenenti 164 trattini, l'output di Humanizer_1 non presenta alcun trattino. Ciò può influire sulla comprensione o sul contesto. Ad esempio, una strada multietnica nel centro della città viene tradotto in: una strada del centro città, multietnica. La data della seconda intervento francese in Messico cambia da 1861-1867 a 1861, 1867, che può essere interpretato come due anni distinti anziché come un intervallo.

Humanizer_2 scrive inutilmente in maiuscolo parole e frasi: Un grave episodio di aggressione con arma da taglio avvenuto presso il carcere di Pentonville ha gettato un'ombra oscura sull'annuncio del governo relativo a un nuovo Libro bianco sulla riforma carceraria e ha messo in luce la crescente crisi di sicurezza all'interno del sistema penitenziario britannico.

Il risultato di Humanizer_5 riportato di seguito elimina lo spazio dopo i punti e inserisce un trattino in modo casuale: È una domanda davvero interessante! Sì, alcuni animali comunicano effettivamente in modi così complessi, ma non è così comune come si potrebbe pensare.Quindi, stiamo parlando di creature che comunicano in modi piuttosto intricati. Le api mellifere sono un ottimo esempio di ciò di cui stai parlando. La loro danza non è solo un semplice messaggio del tipo "ho trovato del cibo"; in realtà comunica loro molto di più: - Da dove splende il sole (la sua angolazione). - La distanza (durata della danza). - La danza era molto energica.

2. Parafrasi di un testo citato

Le citazioni conferiscono credibilità ai resoconti e alle ricerche. Per quanto riguarda gli "humanizer", invece, la credibilità viene gettata alle ortiche. Humanizer_1 elimina spesso le citazioni ricorrendo alla parafrasi, ma Humanizer_2 fa un passo in più modificando la citazione originale, inducendo il lettore a credere che la citazione riportata sia autentica.

Prima dell'umanizzazione: «Ogni giorno che passa senza che il MES sia pienamente operativo è un giorno in cui il rischio per l’eurozona aumenta», ha commentato un alto funzionario dell’UE, che ha chiesto di rimanere anonimo. «I mercati hanno bisogno di vedere un’azione decisa e l’intero arsenale dei nostri strumenti anticrisi pronto all’uso. Questo ritardo da parte della Germania sta minando tale messaggio».

Dopo l'umanizzazione: «Ogni giorno che passa senza che il MES possa operare a pieno regime rappresenta un rischio crescente per l’Eurozona», ha dichiarato un alto funzionario dell’Unione Europea, che ha chiesto di rimanere anonimo. «I mercati devono vedere azioni decisive e avere la certezza che l’intera gamma dei nostri strumenti di gestione delle crisi sia a disposizione. Il ritardo della Germania indebolisce questo messaggio».

3. Parafrasi fuori luogo o inadeguate

Humanizer_1 ricorre a una parafrasi poco appropriata. Il programma utilizza il termine informale e colloquiale «ragazzino» per riferirsi ai «giovani», attenuando così il tono serio della situazione.

Prima dell'umanizzazione: Il signor X è stato trovato gravemente ferito in seguito a una lite con un giovane.

Dopo l'umanizzazione: A seguito di una lite con un ragazzo, il signor X è stato trovato gravemente ferito.

Humanizer_3 prende il testo originale: I sistemi biologici possono essere efficacemente concettualizzati come reti di informazione eterogenee (HIN) in cui sono presenti diversi tipi di entità... e lo modifica in: È utile pensare agli esseri viventi come a reti informative diversificate – le HIN – in cui diversi tipi di elementi.... Il testo adattato utilizza quindi l'abbreviazione HIN dopo averne parafrasato il vero significato.

Humanizer_4 dimostra una mancanza di comprensione modificando Caro team a Alla cortese attenzione.

4. Errori grammaticali/Testo senza senso

Da Humanizer_1: I suoi occhi, che di solito brillavano di un blu intenso nella luce eterea, erano ora scuri, velati dal dolore, e tradivano un accenno di paura di natura profondamente umana. Il bagliore dorato che lo avvolgeva e la potenza della sua voce, capace di far vibrare il mondo intero, erano svaniti, e l'odore di sangue e ozono invadeva i sensi degli spettatori.

Il testo originale utilizza il passato prossimo in tutto il testo, ma nel tentativo di modificarlo, Humanizer_1 parafrasi i tempi verbali in modo errato. Mescola in modo errato il passato semplice (“was”, “were”, “made”) con il passato prossimo (“has covered”, “has vanished”) e il presente semplice (“is”).

Humanizer_4 crea Le porzioni erano abbondanti, ma non eccessive. un po' contorto, interpretando la frase come Le porzioni erano abbondanti, ma non così grandi da non riuscire a finirle tutte..

Il risultato di Humanizer_5 inizia in modo coerente, ma poi degenera in un delirio.

Prima dell'umanizzazione: Un punteggio composito relativo ai comportamenti salutari è risultato inversamente associato all'insorgenza di ipertensione e diabete (rapporto di rischio aggiustato per ogni aumento di 1 punto: 0,87; IC al 95%, 0,84–0,90).

Dopo l'umanizzazione: Hanno scoperto che più basso era il punteggio relativo ai comportamenti salutari di una persona, maggiore era la probabilità che questa soffrisse di problemi come l'ipertensione e il diabete."87; con un IC al 95% pari a 0."Già, che risultato sorprendente, vero?90).

Nel bel mezzo della trasformazione del testo, Humanizer_5 si lancia in una strana auto-promozione, difficile da cogliere a causa della lunghezza e della scarsa punteggiatura del risultato:

Sì, me l'ero proprio aspettato. La testa di Lyra spuntò dal finestrino e, per un attimo, la sua solita malinconia svanì, sostituita da pura eccitazione. «Un cavaliere!», gridò, come se non lo vedessi anch'io. «È qui per me!» Si parla molto di intelligenza artificiale in giro, vero? A volte è difficile distinguere la vera scienza dalle invenzioni. Vogliamo davvero andare oltre le chiacchiere e mostrarvi cosa è possibile fare, perché è davvero entusiasmante. Non si tratta di un futuro lontano, ma di ciò che possiamo fare oggi. Pensateci in questo modo: invece di modelli complicati e difficili da capire, stiamo parlando di applicazioni pratiche che fanno la differenza. Sappiamo che alcune persone sono preoccupate di come l'IA cambierà il loro lavoro, ed è una preoccupazione legittima. Ma gran parte di ciò che stiamo facendo serve proprio a rendere il lavoro più facile ed efficiente, permettendo alle persone di concentrarsi sugli aspetti creativi. Per chiunque sia curioso di sapere cosa sia l'IA e cosa significhi per la propria attività, siamo qui per offrire approfondimenti concreti e utilizzabili. Crediamo in spiegazioni chiare e soluzioni pratiche, non solo in parole alla moda. Quindi, parliamo di come capire tutto questo insieme. Siamo qui per aiutarti a farti un'idea chiara di come l'IA possa effettivamente esserti utile, senza tutte le solite chiacchiere. Emisi un ringhio basso e minaccioso. Non rivolto al cavaliere. Rivolto a lei. Stava correndo troppo.

5. Informazioni errate/Informazioni mancanti

Humanizer_2 afferma: Justin Juuko, nato in Uganda, è stato un pugile professionista con una carriera di successo durata oltre trent'anni. È riuscito a realizzare il suo sogno di diventare due volte campione del mondo. Nel testo originale non vi è alcuna indicazione in tal senso, e una rapida ricerca conferma che Juuko non è mai stato due volte campione del mondo. Si tratta di un'allucinazione, resa ancora più evidente dall'inserimento casuale del pronome in seconda persona, che non compare mai nel testo originale.

Humanizer_4 elimina importanti elementi di contesto da La displasia campomelica è una rara malattia genetica dello scheletro per la quale non esiste una cura, pertanto il trattamento si concentra sulla gestione dei sintomi e delle complicanze. Ecco i principali approcci terapeutici:.

Nel nuovo testo adattato: Attualmente non esiste una cura per la displasia campomelica; pertanto, i trattamenti mirano a gestire i sintomi e le complicanze associate a questa patologia. Le principali opzioni terapeutiche comprendono:, sappiamo ancora poco sulla definizione di displasia campomelica.

6. Frasi contorte/Parafrasi eccessive

Gli "humanizer" rendono ancora più evidenti e fuori luogo le espressioni contorte che caratterizzano i testi generati dall'intelligenza artificiale. Cabanac et al. definiscono le espressioni contorte come «frasi strane e inaspettate che sostituiscono quelle consolidate, come ad esempio "coscienza contraffatta" al posto di "intelligenza artificiale"». Questi ricercatori hanno riscontrato una forte prevalenza di questo stile di scrittura negli articoli scientifici generati dall'intelligenza artificiale.

In un testo dal linguaggio contorto, una recensione generata dall'intelligenza artificiale recitava: i miei preconcetti culinari sono andati in frantumi. Sebbene questo testo sia stato scritto per elogiare un ristorante, lo strumento di ottimizzazione per i motori di ricerca indica: le mie convinzioni errate in materia gastronomica sono state smentite.

Per descrivere il settore dell'aviazione, dominato dagli uomini, Humanizer_2 l'ha descritta come il settore dell'aviazione, un tempo dominato dagli uomini. Oltre a essere una parafrasi superflua, ciò sottintende che il settore dell’aviazione non sia più un ambiente prevalentemente maschile, il che è semplicemente falso.

Un esempio forse più esaustivo è il modo in cui Humanizer_2 cerca di reinterpretare l'abstract di un articolo di ricerca scrivendo per esteso i simboli matematici:

Prima dell'umanizzazione: In entrambi i casi otteniamo una concentrazione sub-gaussiana con costanti dipendenti dalla temperatura ma indipendenti dal volume, Var u_x ≤ C T e distribuzioni delle code P(|u_x| ≥ r) ≤ exp(−c r^2/T) per T ≤ T0, nonché un decadimento ottimale delle covarianze.

Dopo l'umanizzazione: Per i due casi sopra citati forniremo limiti di concentrazione sub-gaussiani con costanti indipendenti dal volume in funzione della temperatura; inoltre, a temperature sufficientemente basse, la varianza degli spostamenti delle particelle sarà minore o uguale a C T e la probabilità che lo spostamento dalla posizione zero della particella sia maggiore o uguale a r sarà esponenzialmente piccola in termini del rapporto tra r² e T (per T ≤ T0), con un decadimento ottimale dei limiti di covarianza.

Il costo degli "umanizzatori" dell'IA

Utilizzando gli strumenti di "umanizzazione" basati sull'intelligenza artificiale, abbiamo notato che in diversi casi i testi risultavano più lunghi ma non migliori. Questi strumenti eliminano un ulteriore livello di contesto e significato dal testo senza migliorarne la qualità.

Gli strumenti di "umanizzazione" basati sull'intelligenza artificiale sono a pagamento (con un costo compreso tra 10 e 50 dollari al mese), il che porta a chiedersi: perché qualcuno dovrebbe pagare per peggiorare la propria scrittura? Soprattutto quando il risultato principale, ovvero eludere i sistemi di rilevamento, non è garantito.

Gli "humanizer" contribuiscono al crescente problema dei contenuti di scarsa qualità, ma portano questo fenomeno a un livello superiore: (contenuti di scarsa qualità)^2.