import re
from itertools import cycle, islice
padrao_pontuacao = re.compile(r'(?<=[\.\?\!;:\—…])\s+')
def fragmentar_logico_50000_pontuacao_e_n(texto):
# Fragmentação por pontuação (preserva tudo)
fragmentos_pontuacao = padrao_pontuacao.split(texto)
# Fragmentação adicional por \n (preserva vazios)
fragmentos_finais = []
for frag in fragmentos_pontuacao:
fragmentos_finais.extend(frag.split("\n"))
# Gera 50k linhas com custo mínimo
linhas = [f"* {frag}" for frag in islice(cycle(fragmentos_finais), 50000)]
return "\n".join(linhas)
padrao_pontuacao = re.compile(r'(?<=[\.\?\!;:\—…])\s+')
fragmentos = padrao_pontuacao.split(texto)
resultado.append(f"* {frag}")
from itertools import cycle, islice
linhas = [f"* {frag}" for frag in islice(cycle(fragmentos), 50000)]
resultado.append(...)
"\n".join(resultado)
with open("texto.txt", "r") as f:
texto = f.read()











No comments:
Post a Comment