WIP: implementations of Konachan / yande.re posts
This commit is contained in:
parent
e3f8e5ff31
commit
22eeb0757d
1 changed files with 135 additions and 1 deletions
|
@ -29,6 +29,8 @@
|
||||||
#include <KIO/Scheduler>
|
#include <KIO/Scheduler>
|
||||||
#include <KImageCache>
|
#include <KImageCache>
|
||||||
|
|
||||||
|
using KIO::StoredTransferJob;
|
||||||
|
|
||||||
namespace Danbooru {
|
namespace Danbooru {
|
||||||
|
|
||||||
///////
|
///////
|
||||||
|
@ -67,7 +69,7 @@ void KonachanDanbooruService::getPostList() {
|
||||||
parameters.insert("limit", QString::number(m_maxPosts));
|
parameters.insert("limit", QString::number(m_maxPosts));
|
||||||
parameters.insert("page", QString::number(m_currentPage));
|
parameters.insert("page", QString::number(m_currentPage));
|
||||||
|
|
||||||
QUrl danbooruUrl = requestUrl(m_url, POST_URL, m_username,
|
QUrl danbooruUrl = requestUrl(m_url, postUri(), m_username,
|
||||||
m_password, parameters, m_tags);
|
m_password, parameters, m_tags);
|
||||||
|
|
||||||
// qCDebug(LIBDANBOORU) << "Final constructed post URL" << danbooruUrl;
|
// qCDebug(LIBDANBOORU) << "Final constructed post URL" << danbooruUrl;
|
||||||
|
@ -82,6 +84,138 @@ void KonachanDanbooruService::getPostList() {
|
||||||
|
|
||||||
}
|
}
|
||||||
|
|
||||||
|
void KonachanDanbooruService::processPostList(KJob *job)
|
||||||
|
{
|
||||||
|
|
||||||
|
// qCDebug(LIBDANBOORU) << "Got post data OK";
|
||||||
|
|
||||||
|
if (job->error()) {
|
||||||
|
Q_EMIT(downloadError(job->errorString()));
|
||||||
|
}
|
||||||
|
|
||||||
|
StoredTransferJob *jobResult = qobject_cast<StoredTransferJob *>(job);
|
||||||
|
|
||||||
|
if (jobResult == 0) {
|
||||||
|
Q_EMIT(downloadError(QString("Internal error")));
|
||||||
|
return;
|
||||||
|
|
||||||
|
}
|
||||||
|
|
||||||
|
QByteArray data = jobResult->data();
|
||||||
|
|
||||||
|
bool ok;
|
||||||
|
bool needsXML = job->property("needsXML").toBool();
|
||||||
|
|
||||||
|
QList<QVariant> postList;
|
||||||
|
|
||||||
|
if (needsXML) {
|
||||||
|
// Special cases for pools
|
||||||
|
postList = parseDanbooruResult(data, QString("post"), &ok);
|
||||||
|
} else {
|
||||||
|
postList = parseDanbooruResult(data, &ok).toList();
|
||||||
|
}
|
||||||
|
|
||||||
|
if (!ok) {
|
||||||
|
Q_EMIT(downloadError(QString("Unable to decode data")));
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
// How many posts do we have to fetch?
|
||||||
|
|
||||||
|
if (postList.isEmpty()) {
|
||||||
|
// qCDebug(LIBDANBOORU) << "No posts found";
|
||||||
|
Q_EMIT(postDownloadFinished());
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
m_postsToFetch = postList.length();
|
||||||
|
|
||||||
|
for (auto element : postList) {
|
||||||
|
|
||||||
|
QVariantMap map = element.toMap();
|
||||||
|
DanbooruPost *post = new DanbooruPost(map);
|
||||||
|
|
||||||
|
// Remove unwanted posts
|
||||||
|
|
||||||
|
if (isPostBlacklisted(post, m_blacklist, m_maxRating)) {
|
||||||
|
m_postsToFetch--;
|
||||||
|
delete post;
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
QPixmap pix;
|
||||||
|
|
||||||
|
// qCDebug(LIBDANBOORU) << "About to donwload images";
|
||||||
|
|
||||||
|
if (m_cache && m_cache->findPixmap(post->thumbnailUrl().url(), &pix)) {
|
||||||
|
|
||||||
|
post->setPixmap(pix);
|
||||||
|
Q_EMIT(postDownloaded(post));
|
||||||
|
m_postsToFetch--;
|
||||||
|
|
||||||
|
if (m_postsToFetch == 0) {
|
||||||
|
qCDebug(LIBDANBOORU) << "Post download finished";
|
||||||
|
Q_EMIT(postDownloadFinished());
|
||||||
|
}
|
||||||
|
|
||||||
|
} else {
|
||||||
|
|
||||||
|
StoredTransferJob *pixmapJob = KIO::storedGet(post->thumbnailUrl(),
|
||||||
|
KIO::NoReload, KIO::HideProgressInfo);
|
||||||
|
|
||||||
|
// We don't want to overload the servers, so set some rational
|
||||||
|
// priority
|
||||||
|
|
||||||
|
KIO::Scheduler::setJobPriority(static_cast<KIO::SimpleJob *>(job), 1);
|
||||||
|
|
||||||
|
QVariant variant;
|
||||||
|
variant.setValue(post);
|
||||||
|
|
||||||
|
// pixmapJob->setProperty("danbooruPost", variant);
|
||||||
|
|
||||||
|
connect(pixmapJob, &StoredTransferJob::result, [post, this, pix](KJob * job) mutable {
|
||||||
|
|
||||||
|
if (job->error())
|
||||||
|
{
|
||||||
|
Q_EMIT(downloadError(job->errorString()));
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
StoredTransferJob *jobResult = qobject_cast<StoredTransferJob *>(job);
|
||||||
|
|
||||||
|
if (!pix.loadFromData(jobResult->data()))
|
||||||
|
{
|
||||||
|
Q_EMIT(downloadError(QString("Pixmap data could not be loaded")));
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
post->setPixmap(pix);
|
||||||
|
|
||||||
|
if (m_cache)
|
||||||
|
{
|
||||||
|
//qCDebug(LIBDANBOORU) << "Inserting item in cache";
|
||||||
|
m_cache->insertPixmap(post->thumbnailUrl().url(), pix);
|
||||||
|
}
|
||||||
|
|
||||||
|
m_postsToFetch--; // One less post to do
|
||||||
|
|
||||||
|
//qCDebug(LIBDANBOORU) << "Current posts remaining" << m_currentPosts;
|
||||||
|
Q_EMIT(postDownloaded(post));
|
||||||
|
|
||||||
|
if (m_postsToFetch == 0)
|
||||||
|
{
|
||||||
|
// qCDebug(LIBDANBOORU) << "Post download finished";
|
||||||
|
Q_EMIT(postDownloadFinished());
|
||||||
|
}
|
||||||
|
|
||||||
|
});
|
||||||
|
|
||||||
|
}
|
||||||
|
|
||||||
|
}
|
||||||
|
|
||||||
|
}
|
||||||
|
|
||||||
} //namespace Danbooru
|
} //namespace Danbooru
|
||||||
|
|
||||||
|
|
||||||
|
|
Loading…
Add table
Add a link
Reference in a new issue