Cosa ci impegniamo a fare — e perché è difficile
I principi etici nel settore tecnologico hanno un problema strutturale: costano poco finché non costano niente. Diventano reali solo quando entrano in conflitto con qualcosa — un cliente, un contratto, una scadenza. Quindi invece di elencare principi, elenchiamo conflitti.
Il conflitto con la domanda di certezza. I clienti, legittimamente, vogliono risposte. Spesso vogliono un numero che giustifichi una decisione già orientata, che rassicuri un board, che riduca l'ansia dell'incertezza. Noi produciamo range, scenari, intervalli di confidenza — e dobbiamo farlo anche quando la pressione è nella direzione opposta. Anche quando il cliente direbbe preferire l'illusione ben confezionata alla verità scomoda. Questo è il conflitto più frequente. Non sempre lo vinciamo, ma è quello su cui non siamo disposti a cedere sistematicamente.
Il conflitto con l'uso finale opaco. Un modello predittivo è uno strumento. Gli strumenti vengono usati — e a volte vengono usati per fare cose che chi li ha costruiti non avrebbe scelto. Quando il contesto d'uso diventa chiaro e quel contesto include danno sistematico, inganno strutturale, o la riduzione di persone a variabili senza diritto di replica — usciamo. Non è una posizione comoda in un mercato competitivo. È l'unica posizione coerente con quello che scriviamo qui.
Il conflitto con la deriva silenziosa. Un modello che invecchia senza essere monitorato non è un problema tecnico futuro — è un problema etico presente. Continuare a usare previsioni che non descrivono più il mondo reale, sapendo che qualcuno sta prendendo decisioni su di esse, è una forma di negligenza. Il monitoraggio del drift, le revisioni periodiche, i meccanismi di allerta non sono servizi aggiuntivi. Sono la condizione minima per poter dire che si sta lavorando responsabilmente.
Il conflitto con l'espansione silenziosa dei dati. I modelli invitano spesso a chiedere di più: più variabili, più granularità, più storia. Non sempre serve. Raccogliamo e conserviamo solo ciò che è proporzionato allo scopo concordato; evitiamo di trattenere oltre il necessario. Quando una richiesta allarga il perimetro oltre il necessario, preferiamo discutere i rischi piuttosto che acquisire silenziosamente superficie aggiuntiva.