folder Tahribat.com Forumları
linefolder Python
linefolder Python3 Aynı Olan Değerleri Silme



Python3 Aynı Olan Değerleri Silme

  1. KısayolKısayol reportŞikayet pmÖzel Mesaj
    EcHoLL
    EcHoLL's avatar
    Kayıt Tarihi: 04/Eylül/2008
    Erkek

    özellikle combolist maillist password listelerinde aynı olan değerleri siler duclicate temizliği yüksek MB olan dosyaları saniyeler içinde temizler.

     

    def yinelenenleri_temizle(kaynak_dosya, hedef_dosya):
        with open(kaynak_dosya, 'r', encoding='utf-8') as dosya:
            satirlar = dosya.readlines()

        temiz_satirlar = list(set(satirlar))

        with open(hedef_dosya, 'w', encoding='utf-8') as hedef:
            hedef.writelines(temiz_satirlar)

    # Örnek kullanım:
    kaynak_dosya_adı = 'metin.txt'
    hedef_dosya_adı = 'temizlenmis_metin.txt'

    yinelenenleri_temizle(kaynak_dosya_adı, hedef_dosya_adı)


    "Hayat zor olabilir ama ben de kolay sayılmam." insanları Silahsızlandırmak onları köleleştirmek için En iyi Yoldur.
  2. KısayolKısayol reportŞikayet pmÖzel Mesaj
    yolbulucu
    yolbulucu's avatar
    Banlanmış Üye
    Kayıt Tarihi: 06/Nisan/2007
    Homo

    o kadar ugrasmaya gerek yokki :

    uniq metin.txt > temizlenmis_metin.txt


    29.99cm, titanyum kaplamalı, çift damarlı, su ve yağ soğutmalı.
  3. KısayolKısayol reportŞikayet pmÖzel Mesaj
    zalimadam
    zalimadam's avatar
    Kayıt Tarihi: 08/Şubat/2011
    Erkek

    programa gui ekledim ve boşluklarıda temizliyor. temizlenmiş txt dosyasını bulunduğu klasör içine atıyor :D

    https://www.virustotal.com/gui/file-analysis/YzIxMjRjZTY2N2QxNmI4ZDI4MjY2ODFjODhkY2EyOTI6MTcwMjkwMTQzNw==

     

    https://www.dosyaupload.com/1rnm1/TBT_TXT_TEMIZLEYICI.7z

     


    fukara hamam böceklerini zehirleyen adam.
  4. KısayolKısayol reportŞikayet pmÖzel Mesaj
    nick6
    0x656e
    0x656e's avatar
    Kayıt Tarihi: 19/Mayıs/2012
    Homo
    yolbulucu bunu yazdı

    o kadar ugrasmaya gerek yokki :

    uniq metin.txt > temizlenmis_metin.txt

    sortlamadın o yüzden zortladı şu an :D 

  5. KısayolKısayol reportŞikayet pmÖzel Mesaj
    yolbulucu
    yolbulucu's avatar
    Banlanmış Üye
    Kayıt Tarihi: 06/Nisan/2007
    Homo
    0x656e bunu yazdı
    yolbulucu bunu yazdı

    o kadar ugrasmaya gerek yokki :

    uniq metin.txt > temizlenmis_metin.txt

    sortlamadın o yüzden zortladı şu an :D 

    al amk :D

    sort metin.txt | uniq > temiz_metin.txt


    29.99cm, titanyum kaplamalı, çift damarlı, su ve yağ soğutmalı.
  6. KısayolKısayol reportŞikayet pmÖzel Mesaj
    yolbulucu
    yolbulucu's avatar
    Banlanmış Üye
    Kayıt Tarihi: 06/Nisan/2007
    Homo
    EcHoLL bunu yazdı

    özellikle combolist maillist password listelerinde aynı olan değerleri siler duclicate temizliği yüksek MB olan dosyaları saniyeler içinde temizler.

     



        temiz_satirlar = list(set(satirlar))

    tüm dosyayı memory ye alıyorsun, büyük dosyalarda ramin yetmez


    29.99cm, titanyum kaplamalı, çift damarlı, su ve yağ soğutmalı.
  7. KısayolKısayol reportŞikayet pmÖzel Mesaj
    EcHoLL
    EcHoLL's avatar
    Kayıt Tarihi: 04/Eylül/2008
    Erkek
    yolbulucu bunu yazdı
    EcHoLL bunu yazdı

    özellikle combolist maillist password listelerinde aynı olan değerleri siler duclicate temizliği yüksek MB olan dosyaları saniyeler içinde temizler.

     



        temiz_satirlar = list(set(satirlar))

    tüm dosyayı memory ye alıyorsun, büyük dosyalarda ramin yetmez

    4 milyon satır taradım bir sorun yok yüksek gb belki olabilir hızlı şekilde bununla çözüyorum


    "Hayat zor olabilir ama ben de kolay sayılmam." insanları Silahsızlandırmak onları köleleştirmek için En iyi Yoldur.
Toplam Hit: 1507 Toplam Mesaj: 7
dublicate text remove