Permalink
Reply
Bu aralar programlama haricinde neredeyse her şeyle uğraşıyorum :-)
Ama gene de geçen hafta sonu Python ile bir örümcek yazdım.
Stackoverflow'un site haritasını kendisinin her mesaj yazıldığında otomatik olarak oluşturduğunu duymuştum:
http://www.codinghorror.com/blog/2008/10/the-importance-of-sitemaps.html
Bunun ne faydası olabilir diye düşünebilirsiniz. Şöyle düşünün ki özellikle dinamik içeriğe sahip bir siteye sahipseniz, arama motorları sitenizin içeriği yerine SSS sayfasını ya da aynı sayfaları farklı isimlerle dizine kaydedebilir. Düşünün ki arama yapan kullanıcılar içerikten ziyade kullandığınız sohbet yazılımının SSS sayfalarını görüyorlar.
Böyle pek de aklımda yokken geçen hafta sonu pattern.web kütüphanesini kullanarak bu örümceği yazdım.
Kaynak kodunu da buradan bulabilirsiniz:
https://gist.github.com/erdemoncel/bc01f6a406d64d39a156
Ama site haritası oluştururken sanırım UTF-8 kodlaması yüzünden bazı problemler çıktı.
Demek istediğim bu örümceği D ile yazmak nasıl olurdu. Bu konuda bir deneyimi olan var mı acaba.
Ya da şöyle olabilir. Python ile yazdığımız örümcek bize site haritasının içeriğini oluşturacak tüm bağlantıları aldı getirdi. Bunları kullanarak xml biçiminde bir site haritası (http://support.google.com/webmasters/bin/answer.py?hl=tr&answer=183668&topic=8476&ctx=topic) oluşturmak istiyoruz.
Aslında örümcek bağlantıları bir kütüğe yazdıktan sonra D programımız bunları açıp okuyabilir. Ama gene de iki iş olmuş olacak. D programımız bu python programını çalıştırsa ve bu bilgileri alsa daha güzel olurdu.
Programın tamamını D ile yazmak da düşünülebilir ama örümceği yazmaktan ziyade benzersiz içeriği ayıklamak biraz zor oldu açıkçası ;-)
--
[ Bu gönderi, http://ddili.org/forum'dan dönüştürülmüştür. ]