Php ile Farklı Sayfadan Veri Çekme (CURL)

Merhabalar, bu gönderide farklı sayfadan (herhangi bir ihlal/şikayet ile karşılaşmamak adına harici sayfa olarak https://www.omurserdar.com/kategori/isletim-sistemleri adresini kullandım) CURL ile nasıl veri çekileceğinden bahsediyorum.  Bu işlemi, örnek üzerinden ifade etmeye çalışıyorum.

Curl işlemlerini hazırlamak/başlatmak için curlBaslat isminde parametre alan fonksiyon mevcut. Parametre olarak hangi sayfa üzerinde işlem gerçekleştireceği belirtilmesi gerekmekte. Bu fonksiyonu, DOMDocument sınıfından nesne örneklendirmesi oluşturduktan sonra bu sınıftaki loadHTML fonksiyonuna parametre olarak verdim. Daha sonrasında sınıfta bulunan getElementsByTagName ile hangi DOM nesnesi üzerinden (div, p, h1, img), getAttribute ile hangi veri seçici(id, class, data-id, value ya da özel seçici; fiyat, durum gibi) üzerinde bulunan verinin getirilmesini istediğimi döngüler ve koşullar ile belirttim. 

Karakter sorunu yaşamamak için curlBaslat sınıfında mb_convert_encoding fonksiyonunu kullandım. Bu fonksiyonda dönüştürülecek olan metni ilk parametreye, hangi karakter setine dönüştüreceğimi ikinci parametreye, hangi karakter setinden dönüştüreceğimi ise üçüncü parametreye yazdım. mb_convert_encoding  isimli fonksiyon için daha detaylı bilgiye https://suatdilek.com.tr/haber/php-mb-convert-encoding-turkce-karakter-hatasi/67 adresinden erişilebilir. 

PHP Kodları

• function curlBaslat($sayfa){
• $curl = curl_init($sayfa);
• curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
• curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
• curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);
• curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 0);
• $data = curl_exec($curl);
• return mb_convert_encoding($data,"UTF-8", "auto");
• }

• function yaz($aciklama,$veri=""){
• echo $aciklama." ".$veri."
  ";
• }

• $dom=new DOMDocument();
• $dom->loadHTML(curlBaslat("https://www.omurserdar.com/kategori/isletim-sistemleri"),LIBXML_NOWARNING);
•  
• foreach($dom->getElementsByTagName('img') as $tag){
• if($tag->getAttribute('class')=='card-img'){
• $makaleResimURL=trim($tag->getAttribute('src'));
• yaz("Makale Resim URL: ",$makaleResimURL);
• }
• }

• foreach($dom->getElementsByTagName('h5') as $tag){
• if($tag->getAttribute('class')=='card-title text-primary'){
• $makaleBaslik=trim($tag->nodeValue);
• yaz("Makale Başlık: ",$makaleBaslik);
• }
• }

şeklindedir.