20
submitted 2 weeks ago* (last edited 2 weeks ago) by inlandempire@jlai.lu to c/technologie@jlai.lu
top 6 comments
sorted by: hot top new old
[-] keepthepace@tarte.nuage-libre.fr 5 points 2 weeks ago

Le problème:

  • Ils le font tous
  • Y a pas d'autre moyens pour concurrencer ceux qui le font derrière des portes fermées
  • NVidia publie ses datasets (ce qui est cool pour l'open-source!), donc est bien plus obligée de l'admettre
  • J'ai aucun espoir que dans un climat aussi polarisé contre «l'IA» on arrive à trouver un créneau pour une tolérance des ayant-droits vis à vis de ces usages (Google a une époque faisait des partenariats avec des bibliothèques par exemple)

De plus en plus de labos passent à des données dites synthétiques pour entraîner leurs LLMs, c'est à dire que ce sont des données produites par d'autres LLMs, dont on «ne sait pas» s'ils ont piraté des contenus pour être entraînés, mais les datasets synthétiques, c'est sur, y a zéro copyright dedans (car la sortie d'un modèle génératif n'est pas copyrightable, d'après une étrange décision de justice US).

C'est une perte de temps pour contourner techniquement un manquement législatif, ça rend assez amer, mais bon, le copyright s'est toujours pas adapté à l'existence d'internet, lui demander de s'adapter à l'IA, ça a peu de chances d'arriver avant 2080.

[-] RelativityRanger@jlai.lu 1 points 2 weeks ago

À noter que réinjecter un corpus synthétique réduit mécaniquement les performances d'un modèle
https://en.wikipedia.org/wiki/Model_collapse

[-] keepthepace@tarte.nuage-libre.fr 1 points 2 weeks ago

On a eu plusieurs articles qui ont présenté ça comme une fatalité mais ça n'a pas l'air de se retrouver en pratique dans les LLMs

Pendant au moins une génération, ça s'explique assez bien: Dans les teratokens qui ont été injectés, y a beaucoup de trucs à jeter, y a des choses fausses, y a des redondances, des infos obsolètes, des textes de mauvaise qualité.

Un LLM qui a déjà effectué un apprentissage dessus a moyen de ressortir un dataset sans ces choses. C'est techniquement des infos qui ont disparues, peut être même certaines infos utiles filtrées par erreur, mais c'est aussi un dataset qui va aller à l'essentiel et retenir plus rapidement les choses importantes. La généralisation arrive plus vite.

[-] inlandempire@jlai.lu 3 points 2 weeks ago
[-] Professeur_Falken@jlai.lu 2 points 2 weeks ago

"On s'en fout de l’illégalité, on veut juste la BDD."

[-] Electricd@lemmybefree.net 1 points 1 week ago

Tout le monde le sait en vrai, mais c'est assez drôle de les voir solliciter des projets communautaires

this post was submitted on 22 Jan 2026
20 points (100.0% liked)

Technologie - 🤖

1010 readers
15 users here now

Ici concerne le champs de domaine large de la technologie : actualités sur l'informatique, partage de programme informatique et de code, montrer vos projets Arduino, ect.

Mégafil ici

founded 2 years ago
MODERATORS