Notes

using MassTransit;
using OpenQA.Selenium;
using OpenQA.Selenium.Chrome;
using OpenQA.Selenium.Support.UI;
using SeleniumApplication.Data;
using SeleniumExtras.WaitHelpers;
using Shared.Dtos.Jobs;
using WebDriverManager;
using WebDriverManager.DriverConfigs.Impl;

namespace SeleniumApplication.Consumers;

public class JobSearchConsumer : IConsumer<JobSearchDto>
{
private readonly SeleniumApplicationDbContext _dbContext;
public JobSearchConsumer(SeleniumApplicationDbContext dbContext)
{
this._dbContext = dbContext;
}


public async Task Consume(ConsumeContext<JobSearchDto> context)
{
new DriverManager().SetUpDriver(new ChromeConfig());

using IWebDriver driver = new ChromeDriver();
var jobs = new List<SeleniumApplication.Models.Job>();

try
{
driver.Navigate().GoToUrl(context.Message.WebUrl);
driver.Manage().Window.Maximize();

var wait = new WebDriverWait(driver, TimeSpan.FromSeconds(10));
var searchInput = wait.Until(ExpectedConditions.ElementIsVisible(By.ClassName("search__input")));
searchInput.SendKeys(context.Message.KeyWord);

Thread.Sleep(2000);


int previousItemCount = 0;
int currentItemCount = 0;
int maxAttempts = 5; // En fazla deneme sayısı
int attempts = 0;

while (attempts < maxAttempts)
{
// 'list__scroller' sınıfına sahip div elementini kaydırıyoruz
((IJavaScriptExecutor)driver).ExecuteScript("document.getElementById('scroller_desctop').scrollTop = document.getElementById('scroller_desctop').scrollHeight;");
Thread.Sleep(3000); // Bekleme süresi, içeriklerin yüklenmesi için gerekli zaman tanır

// Şu anki içerik sayısını kontrol ediyoruz
previousItemCount = currentItemCount;
currentItemCount = driver.FindElements(By.ClassName("list__item")).Count;

// Eğer içerik sayısı artmıyorsa, döngüyü durdur
if (currentItemCount == previousItemCount)
{
attempts++; // Deneme sayısını artırıyoruz
if (attempts >= maxAttempts)
{
break; // Maksimum deneme sayısına ulaşıldığında döngüden çık
}
}
else
{
attempts = 0; // Yeni içerik yüklendiğinde deneme sayısını sıfırla
}
}

var listItems = wait.Until(ExpectedConditions.VisibilityOfAllElementsLocatedBy(By.ClassName("list__item")));

Console.WriteLine(listItems.Count);
foreach (var item in listItems)
{
if (item.GetAttribute("class").Contains("list__item--reklam"))
continue;

var anchor = item.FindElement(By.ClassName("list__item__text"));
if (anchor == null)
continue;

var h3 = item.FindElement(By.ClassName("list__item__title"));

var jobTitle = h3?.Text ?? string.Empty;
var companyName = anchor.Text.Replace(jobTitle, "").Trim();

var job = new SeleniumApplication.Models.Job
{
Keyword = context.Message.KeyWord,
Title = jobTitle,
Url = anchor.GetAttribute("href"),
CompanyName = companyName
};

jobs.Add(job);
}

_dbContext.Jobs.AddRange(jobs);
_dbContext.SaveChanges();
}
catch (WebDriverException ex)
{
Console.WriteLine("An error occurred while navigating to the URL: " + ex.Message);
}

driver.Quit();

Console.WriteLine($"JobSearchConsumer => KeyWord: {context.Message.KeyWord}, WebUrl: {context.Message.WebUrl}");
}
}