Omissis
English
Tutti i documenti

Per iniziare

In azienda

Console centrale

Il modello

Sicurezza e licenze

Documentazione › Sicurezza e licenze

Componenti di terze parti

Omissis è distribuito con licenza Apache 2.0. Questo repository contiene solo codice nostro: le librerie qui sotto vengono installate come dipendenze (pip install), non sono copiate nel repository. Le licenze sono quelle dichiarate dai pacchetti alle versioni indicate; vanno ricontrollate a ogni aggiornamento.

Modello di base

Componente Licenza Note
mmBERT-base, mmBERT-small MIT modello linguistico da cui parte l'addestramento

Programma (app/requirements.txt)

Pacchetto Versione provata Licenza
mitmproxy 12.3.1 MIT
pystray 0.19.5 LGPL-3.0
Pillow 13.0.0 MIT-CMU
lxml 6.1.3 BSD-3-Clause
pypdf 7.0.1 BSD-3-Clause
websocket-client 1.9.2 Apache-2.0
winrt-runtime e winrt-Windows.* (PyWinRT) 4.1.0 MIT

Solo per le prove automatiche (app/requirements-test.txt): playwright 1.65.1 (Apache-2.0), python-docx 1.2.0 (MIT), openpyxl 3.1.5 (MIT), python-pptx 1.0.2 (MIT).

Modello (model/requirements.txt)

Pacchetto Versione provata Licenza
torch 2.11.0 BSD-3-Clause
transformers 5.22.2 Apache-2.0
tokenizers 0.23.3 Apache-2.0
safetensors 0.8.0 Apache-2.0
huggingface-hub 2.4.0 Apache-2.0
numpy 2.4.6 BSD-3-Clause e altre permissive
onnxruntime (installazione leggera) 1.31.1 MIT

Cosa contiene l'installer

L'installer per Windows porta con sé, oltre al codice di questo repository: l'interprete Python ufficiale in versione «embeddable» (licenza PSF); le librerie elencate nel file libraries.txt installato accanto al programma, ciascuna con la propria licenza nella sua cartella *.dist-info; le librerie di esecuzione di Microsoft Visual C++ (msvcp140*.dll, vcruntime140*.dll), che Microsoft consente di distribuire insieme ai programmi che le usano. L'installer è costruito con Inno Setup (licenza propria, libera). I pesi del modello non sono nell'installer.

Cosa cambia se si distribuisce un pacchetto già pronto

pystray è LGPL-3.0. Usarla come dipendenza installata a parte non impone nulla al nostro codice. Se si distribuisce un installer che la contiene, chi lo riceve deve poterla sostituire con una versione modificata: con Python basta lasciarla come modulo separato e riportare qui la sua licenza. Nessun componente di questo progetto è AGPL: per i PDF si usa pypdf.

Dati di addestramento dei modelli

I pesi di omissis-base e omissis-small sono stati addestrati, oltre che sui documenti sintetici prodotti da questo progetto, sulle parti di addestramento di queste raccolte pubbliche, convertite alle etichette del progetto da model/external_data.py (che le scarica: non sono ridistribuite qui). Le parti di prova non sono state usate.

Raccolta Autori Licenza
ai4privacy/pii-masking-openpii-1m Ai4Privacy CC BY 4.0
nvidia/Nemotron-PII NVIDIA CC BY 4.0
gretelai/gretel-pii-masking-en-v1 Gretel Apache-2.0
gretelai/synthetic_pii_finance_multilingual Gretel Apache-2.0
piimb/privy (da beki/privy) Benjamin Kilimnik MIT
dglover1/mapa-eur-lex progetto MAPA, su testi di EUR-Lex CC BY 4.0
Wismut/nym-pii-multilingual-data progetto nym MIT
Text Anonymization Benchmark Pilán, Lison, Øvrelid, Papadopoulou, Sánchez, Batet (2022), su sentenze della Corte europea dei diritti dell'uomo MIT
urchade/synthetic-pii-ner-mistral-v1 Urchade Zaratiana Apache-2.0

Il benchmark PIIMB (CC BY-NC 4.0) è usato solo per misurare: model/benchmark.py lo scarica, non è ridistribuito e non è servito ad addestrare.

Lo stesso documento nel repository: THIRD_PARTY.md